BigData-Notes/notes/installation/基于Zookeeper搭建Kafka高可用集群.md
2019-05-29 15:43:07 +08:00

7.8 KiB
Raw Blame History

基于Zookeeper搭建Kafka高可用集群

一、Zookeeper集群搭建
        1.1 下载 & 解压
        1.2 修改配置
        1.3 标识节点
        1.4 启动集群
        1.5 集群验证
二、Kafka集群搭建
        2.1 下载解压
        2.2 拷贝配置文件
        2.3 修改配置
        2.4 启动集群
        2.5 创建测试主题

一、Zookeeper集群搭建

为保证集群高可用Zookeeper集群的节点数最好是奇数最少有三个节点所以这里搭建一个三个节点的集群。

1.1 下载 & 解压

下载对应版本Zookeeper这里我下载的版本3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/

# 下载
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
# 解压
tar -zxvf zookeeper-3.4.14.tar.gz

1.2 修改配置

拷贝三份zookeeper安装包。分别进入安装目录的conf目录,拷贝配置样本zoo_sample.cfg zoo.cfg并进行修改,修改后三份配置文件内容分别如下:

zookeeper01配置

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-cluster/data/01
dataLogDir=/usr/local/zookeeper-cluster/log/01
clientPort=2181

# server.1 这个1是服务器的标识可以是任意有效数字标识这是第几个服务器节点这个标识要写到dataDir目录下面myid文件里
# 指名集群间通讯端口和选举端口
server.1=127.0.0.1:2287:3387
server.2=127.0.0.1:2288:3388
server.3=127.0.0.1:2289:3389

如果是多台服务器则集群中每个节点通讯端口和选举端口可相同IP地址修改为每个节点所在主机IP即可。

zookeeper02配置与zookeeper01相比只有dataLogDirdataLogDir不同:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-cluster/data/02
dataLogDir=/usr/local/zookeeper-cluster/log/02
clientPort=2182

server.1=127.0.0.1:2287:3387
server.2=127.0.0.1:2288:3388
server.3=127.0.0.1:2289:3389

zookeeper03配置与zookeeper0102相比也只有dataLogDirdataLogDir不同:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-cluster/data/03
dataLogDir=/usr/local/zookeeper-cluster/log/03
clientPort=2183

server.1=127.0.0.1:2287:3387
server.2=127.0.0.1:2288:3388
server.3=127.0.0.1:2289:3389

配置参数说明:

  • tickTime用于计算的基础时间单元。比如session超时N*tickTime
  • initLimit:用于集群,允许从节点连接并同步到 master节点的初始化连接时间以tickTime的倍数来表示
  • syncLimit:用于集群, master主节点与从节点之间发送消息请求和应答时间长度心跳机制
  • dataDir:数据存储位置;
  • dataLogDir:日志目录;
  • clientPort用于客户端连接的端口默认2181

1.3 标识节点

分别在三个节点的数据存储目录下新建myid文件,并写入对应的节点标识。Zookeeper集群通过myid文件识别集群节点并通过上文配置的节点通信端口和选举端口来进行节点通信选举出leader节点。

创建存储目录:

# dataDir
mkdir -vp  /usr/local/zookeeper-cluster/data/01
# dataDir
mkdir -vp  /usr/local/zookeeper-cluster/data/02
# dataDir
mkdir -vp  /usr/local/zookeeper-cluster/data/03

创建并写入节点标识到myid文件:

#server1
echo "1" > /usr/local/zookeeper-cluster/data/01/myid
#server2
echo "2" > /usr/local/zookeeper-cluster/data/02/myid
#server3
echo "3" > /usr/local/zookeeper-cluster/data/03/myid

1.4 启动集群

分别启动三个节点:

# 启动节点1
/usr/app/zookeeper-cluster/zookeeper01/bin/zkServer.sh start
# 启动节点2
/usr/app/zookeeper-cluster/zookeeper02/bin/zkServer.sh start
# 启动节点3
/usr/app/zookeeper-cluster/zookeeper03/bin/zkServer.sh start

1.5 集群验证

使用jps查看进程并且使用zkServer.sh status查看集群各个节点状态。如图三个节点进程均启动成功并且两个节点为follower节点一个节点为leader节点。

二、Kafka集群搭建

2.1 下载解压

Kafka安装包官方下载地址http://kafka.apache.org/downloads ,本用例下载的版本为2.2.0,下载命令:

# 下载
wget https://www-eu.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
# 解压
tar -xzf kafka_2.12-2.2.0.tgz

这里j解释一下kafka安装包的命名规则kafka_2.12-2.2.0.tgz为例前面的2.12代表Scala的版本号Kafka采用Scala语言进行开发后面的2.2.0则代表Kafka的版本号。

2.2 拷贝配置文件

进入解压目录的 config目录下 ,拷贝三份配置文件

# cp server.properties server-1.properties
# cp server.properties server-2.properties
# cp server.properties server-3.properties

2.3 修改配置

分别修改三份配置文件中的部分配置,如下:

server-1.properties

# The id of the broker. 集群中每个节点的唯一标识
broker.id=0
# 监听地址
listeners=PLAINTEXT://hadoop001:9092
# 数据的存储位置
log.dirs=/usr/local/kafka-logs/00
# Zookeeper连接地址
zookeeper.connect=hadoop001:2181,hadoop001:2182,hadoop001:2183

server-2.properties

broker.id=1
listeners=PLAINTEXT://hadoop001:9093
log.dirs=/usr/local/kafka-logs/01
zookeeper.connect=hadoop001:2181,hadoop001:2182,hadoop001:2183

server-3.properties

broker.id=2
listeners=PLAINTEXT://hadoop001:9094
log.dirs=/usr/local/kafka-logs/02
zookeeper.connect=hadoop001:2181,hadoop001:2182,hadoop001:2183

针对上面配置,需要特别说明的是log.dirs指的是数据日志的存储位置,确切的说,就是分区数据的存储位置,而不是程序运行日志的位置。程序运行日志的位置是通过同一目录下的log4j.properties进行配置的。

2.4 启动集群

分别指定不同配置文件启动三个Kafka节点。启动后可以使用jps查看进程此时应该有三个zookeeper进程和三个kafka进程。

bin/kafka-server-start.sh config/server-1.properties
bin/kafka-server-start.sh config/server-2.properties
bin/kafka-server-start.sh config/server-3.properties

2.5 创建测试主题

创建测试主题:

bin/kafka-topics.sh --create --bootstrap-server hadoop001:9092 --replication-factor 3 --partitions 1 --topic my-replicated-topic

创建后可以使用以下命令查看创建的主题信息:

bin/kafka-topics.sh --describe --bootstrap-server hadoop001:9092 --topic my-replicated-topic

可以看到分区0的有0,1,2三个副本且三个副本都是可用副本都在ISR(in-sync Replica 同步副本)列表中其中1为首领副本此时代表集群已经搭建成功。