[kafka-ui] - ‘500 (Internal Server Error)’ 에러

dev-최웅렬 — Wed, 8 Mar 2023 14:02:47 +0900

에러

프로젝트에서 Kafka를 사용하게 되어 Docker로 Kafka 환경을 구축하는 중이었다.

Docker를 이용해 Kafka와 Kafka-ui를 실행하고 있었는데 Kafka-ui에서 Kafka에 접속할 수 없는 에러가 발생했다.

원인

처음 참고한 블로그는 아래의 블로그다.

https://tychejin.tistory.com/361

[Docker] Docker로 Zookeeper, kafka 설치(docker-compose.yml)

1. Zookeeper, Kafka 컨테이너 이미지 가져오기 1_1. Zookeeper docker pull wurstmeister/zookeeper 1_2. Kafka docker pull wurstmeister/kafka 2. docker-compose 파일 생성 # compose 파일 버전 version: '3' services: # 서비스 명 zookeeper: #

tychejin.tistory.com

해당 블로그에서는 docker compose로 single broker kafka를 실행하는 예제를 다루고 있었다.

kafka의 상태를 쉽게 확인하기 위해 kafka-ui를 추가하면 좋을 것이라 생각했고, 동일한 블로그의 아래 글을 참고해서 docker-compose.yml을 작성했다.

https://tychejin.tistory.com/391

[Docker] Docker로 Kafka-UI 설치(docker-compose.yml)

1. Kafka-UI 컨테이너 이미지 가져오기 docker pull provectuslabs/kafka-ui 2. docker-compose 파일 생성 # compose 파일 버전 version: '3' services: # 서비스 명 kafka-ui: # 사용할 이미지 image: provectuslabs/kafka-ui # 컨테이너

tychejin.tistory.com

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 127.0.0.1      
      KAFKA_CREATE_TOPICS: "Topic:1:1"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock
    depends_on:
      - zookeeper
  kafka-ui:
    image: provectuslabs/kafka-ui
    container_name: kafka-ui
    ports:
      - "8080:8080"
    environment:
      - KAFKA_CLUSTERS_0_NAME=local
      - KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:9092
      - KAFKA_CLUSTERS_0_ZOOKEEPER=zookeeper:2181

이 경우에 docker-compose up -d 명령어를 이용하여 kafka와 kafka-ui 모두를 build 하고 실행 할 수 있다.

문제는 kafka-ui의 환경변수 중 kafka:9092에 있었다.

docker-compose 명령어를 통해 docker container를 실행시키면 해당 docker-compose 그룹만의 네트워크를 생성하게 된다.

이 때 외부에서는 따로 바인딩했던 포트를 이용해 localhost:9092와 같이 접근할 수 있으므로 문제가 없지만, 컨테이너와 컨테이너가 통신하기 위해서는 localhost가 아니라 내부 네트워크에서 새롭게 생성된 도커 컨테이너의 IP 주소에 접근해야 한다.

같은 네트워크 그룹에 묶여있으면 컨테이너의 이름으로 접근할 수 있다. 따라서 kafka:9092로 접근하는 것은 아무 문제가 없을 것이라고 생각했다.

하지만 kafka의 설정에서는 127.0.0.1로 접근하는 연결 요청만 허용하고 있었고, 따라서 kafka:9092로는 접근이 불가능했다.

해결

가장 간단한 해결 방법은 host.docker.internal을 사용하는 것이다.

공식 문서에 따르면 컨테이너에서 호스트의 서비스에 접근하고 싶다면 host.docker.internal을 사용할 것을 권장하고 있다.

EC2 서버에서는 해당 주소를 찾을 수 없어 문제가 있었지만, 다행히 윈도우에서는 해당 주소를 사용할 수 있었다.

동시에 kafka는 일반적으로 multi broker 구조로 생성한다고 한다. 따라서 다른 블로그에서 작성한 docker-compose.yml을 사용하였다.

참고

https://docs.docker.com/desktop/networking/

Explore networking features

docs.docker.com

https://velog.io/@tkaltk123/docker-%ED%99%98%EA%B2%BD%EC%97%90-kafka-cluster-%EA%B5%AC%EC%B6%95%ED%95%98%EA%B8%B0

docker 환경에 kafka cluster 구축하기

kafka를 사용하기 전에, docker compose를 사용해 로컬에 kafka cluster를 구축하려고 한다.zookeeperZOO_MY_ID 클러스터 내에서 사용할 식별자이다. 유일해야 한다.ZOO_SERVERS 이부분은 무슨 의미인지 모르겠다.k

velog.io

MusiCat

[Ubuntu] - 'Error: 0x800701bc WSL 2'에러

에러

원인

해결

참고

[kafka-ui] - ‘500 (Internal Server Error)’ 에러

에러

원인

해결

참고