[kafka] EC2 에 kafka 설치

시작하기전

• 시작 하기전 AWS 에 인스턴스를 생성했다고 가정 하겠습니다.

EC2 인바운드 규칙 설정

Host 설정

• 파일 연뒤 아래와 같이 저장
• 해당 호스트를 가지고

 vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost6 localhost6.localdomain6

0.0.0.0 test-broker01

Zookeeper 설치

wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

Zookeeper 환경설정

broker id 생성

vi /var/lib/zookeeper/myid 
입력후 1 로 저장

Zookeeper 환경 설정

• 환경 설정 후 아래와 같이 저장

vi ./apache-zookeeper-3.6.3-bin/conf/zoo.cfg

아래와 같이 입력후 저장
# The number of milliseconds of each tick
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=20
syncLimit=5
server.1=test-broker01:2888:3888

Zookeeper 실행

 sudo ./apache-zookeeper-3.6.3-bin/bin/zkServer.sh start  ./apache-zookeeper-3.6.3-bin/conf/zoo.cfg

Kafka 설치

 wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz

kafka 설정

• 이부분이 제일 중요하다.

 vi ./kafka_2.11-2.1.0/config/server.properties

• broker.id = 1 위에서 생성한 브로커 아이디를 저장한다.
• 아래 두개의 설정이 주석으로 되어 있는데 주석을 먼저 푼다.
  - listeners=PLAINTEXT://:9092
  - advertised.listeners=PLAINTEXT://
  
  
• 생성된 인스턴스의 public ipv4 의 주소를 넣는다.
  - advertised.listeners=PLAINTEXT://3.91.239.118:9092

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1

############################# Socket Server Settings #############################

# The address the socket server listens on. It will get the value returned from 
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://:9092

# Hostname and port the broker will advertise to producers and consumers. If not set, 
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://3.91.239.118:9092

kafka 실행

sudo ./kafka_2.11-2.1.0/bin/kafka-server-start.sh  ./kafka_2.11-2.1.0/config/server.properties