Free Lines Arrow
본문 바로가기
Message Queue/Kafka

[kafka] EC2 에 kafka 설치

by skahn1215 2022. 7. 10.
728x90
반응형

시작하기전

  • 시작 하기전 AWS 에 인스턴스를 생성했다고 가정 하겠습니다.

EC2 인바운드 규칙 설정

Host 설정

  • 파일 연뒤 아래와 같이 저장
  • 해당 호스트를 가지고
 vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost6 localhost6.localdomain6

0.0.0.0 test-broker01

Zookeeper 설치

wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

Zookeeper 환경설정

broker id 생성

vi /var/lib/zookeeper/myid 
입력후 1 로 저장

Zookeeper 환경 설정

  • 환경 설정 후 아래와 같이 저장
vi ./apache-zookeeper-3.6.3-bin/conf/zoo.cfg
아래와 같이 입력후 저장
# The number of milliseconds of each tick
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=20
syncLimit=5
server.1=test-broker01:2888:3888

Zookeeper 실행

 sudo ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh start  ./apache-zookeeper-3.6.3-bin/conf/zoo.cfg


Kafka 설치

 wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz

kafka 설정

  • 이부분이 제일 중요하다.
 vi ./kafka_2.11-2.1.0/config/server.properties
  • broker.id = 1 위에서 생성한 브로커 아이디를 저장한다.
  • 아래 두개의 설정이 주석으로 되어 있는데 주석을 먼저 푼다.
    - listeners=PLAINTEXT://:9092
    - advertised.listeners=PLAINTEXT://

  • 생성된 인스턴스의 public ipv4 의 주소를 넣는다.
    - advertised.listeners=PLAINTEXT://3.91.239.118:9092
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1

############################# Socket Server Settings #############################

# The address the socket server listens on. It will get the value returned from 
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://:9092

# Hostname and port the broker will advertise to producers and consumers. If not set, 
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://3.91.239.118:9092

kafka 실행

sudo ./kafka_2.11-2.1.0/bin/kafka-server-start.sh  ./kafka_2.11-2.1.0/config/server.properties
728x90
반응형

댓글