关于Kafka(单机版)的下载、安装、配置、启动、测试等,请参考另一篇文章:CentOS安装Kafka

搭建集群只需在此基础上增加一些配置,本文也主要介绍这些和集群相关的配置,其他步骤不再赘述

假设节点数为3,ip分别为:10.20.1.52,10.20.1.53,10.20.1.54

一、配置

1、先安装并配置其中一台机器(10.20.1.52)
修改server.properties
shell> cd /usr/local/kafka_2.12-2.2.0/
shell> vim config/server.properties

编辑以下内容

############################# Server Basics #############################

# 3个节点此处分别设置为:broker.id=1,broker.id=2,broker.id=3
broker.id=1

############################# Socket Server Settings #############################

# 3个节点此处分别设置为:PLAINTEXT://10.20.1.52:9092,PLAINTEXT://10.20.1.53:9092,PLAINTEXT://10.20.1.54:9092
listeners=PLAINTEXT://10.20.1.52:9092
# 3个节点此处分别设置为:PLAINTEXT://10.20.1.52:9092,PLAINTEXT://10.20.1.53:9092,PLAINTEXT://10.20.1.54:9092
advertised.listeners=PLAINTEXT://10.20.1.52:9092

############################# Log Basics #############################

# 默认为/tmp/kafka-logs,可能会被删掉
log.dirs=/usr/local/kafka_2.12-2.2.0/logs

############################# Zookeeper #############################

# 末尾的/kafka可选,但是建议配置上,因为注册到ZooKeeper的除了kafka可能还有其他服务,增加根目录便于区分
zookeeper.connect=10.20.1.52:2181,10.20.1.53:2181,10.20.1.54:2181/kafka
2、复制到其他节点(10.20.1.53,10.20.1.54)

第一台机器配置好以后,直接复制到其他节点然后稍加修改即可(当然,如果你愿意,也可以按照相同的步骤再重复安装配置一次,注意修改server.properties的内容即可)

shell> scp -r /usr/local/kafka_2.12-2.2.0/ root@10.20.1.53:/usr/local/
shell> scp -r /usr/local/kafka_2.12-2.2.0/ root@10.20.1.54:/usr/local/

然后分别修改其他两台机器上的配置文件(server.properties)

shell> cd /usr/local/kafka_2.12-2.2.0/
shell> vim config/server.properties
# 10.20.1.53
broker.id=2
listeners=PLAINTEXT://10.20.1.53:9092
advertised.listeners=PLAINTEXT://10.20.1.53:9092
# 10.20.1.54
broker.id=3
listeners=PLAINTEXT://10.20.1.54:9092
advertised.listeners=PLAINTEXT://10.20.1.54:9092

二、启动

分别启动3个Kafka节点

shell> cd /usr/local/kafka_2.12-2.2.0
shell> bin/kafka-server-start.sh -daemon config/server.properties

如果使用kafka-manager,需要开启JMX_PORT

shell> JMX_PORT=9999 bin/kafka-server-start.sh -daemon config/server.properties

三、测试

1、查看ZooKeeper注册信息
shell> cd /usr/local/zookeeper-3.5.3-beta/
shell> bin/zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /
[kafka, test, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /kafka
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification]
[zk: localhost:2181(CONNECTED) 2] ls /kafka/brokers
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 3] ls /kafka/brokers/ids
[1, 2, 3]

其中,1,2,3即为3台kafka节点server.properties中配置的broker.id的值

2、kafka命令

第一台机器(10.20.1.52)创建topic

shell> bin/kafka-topics.sh --create --bootstrap-server 10.20.1.52:9092 --replication-factor 3 --partitions 1 --topic test

# 查看集群的topic详情,也可以分别连接另外两台机器查看topic是否已同步
shell> bin/kafka-topics.sh --describe --bootstrap-server 10.20.1.52:9092 --topic test 
Topic:test      PartitionCount:1        ReplicationFactor:3     Configs:segment.bytes=1073741824
        Topic: test     Partition: 0    Leader: 1       Replicas: 1,2,3 Isr: 1,2,3

第二台机器(10.20.1.53)发送消息

bin/kafka-console-producer.sh --broker-list 10.20.1.53:9092 --topic test
>Hello
>World

第三台机器(10.20.1.54)消费消息

bin/kafka-console-consumer.sh --bootstrap-server 10.20.1.54:9092 --topic test --from-beginning
Hello
World

文章来源于互联网,如有雷同请联系站长删除:CentOS安装Kafka集群

发表评论