From 8fe057eb6228bbda66c1b1909ec127648a3cc291 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=BD=97=E7=A5=A5?= <1366971433@qq.com> Date: Mon, 3 Jun 2019 18:02:35 +0800 Subject: [PATCH] =?UTF-8?q?kafka=E7=AE=80=E4=BB=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- notes/Kafka简介.md | 20 +++++++++++++------- 1 file changed, 13 insertions(+), 7 deletions(-) diff --git a/notes/Kafka简介.md b/notes/Kafka简介.md index a11c458..d5e4349 100644 --- a/notes/Kafka简介.md +++ b/notes/Kafka简介.md @@ -15,8 +15,8 @@ ApacheKafka是一个分布式的流处理平台。它具有以下特点: + 支持消息的发布和订阅,类似于RabbtMQ、ActiveMQ等消息队列; -+ 支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错性; -+ 支持数据在线实时处理; ++ 支持消息的持久化存储,并通过多副本分布式的存储方案来保证消息的容错; ++ 支持数据实时处理; + 高吞吐率,单broker可以轻松处理数千个分区以及每秒百万级的消息量; + 能保证消息的可靠性投递。 @@ -28,9 +28,9 @@ Kafka的基本数据单元被称为message(消息),为减少网络开销,提 ### 2.2 Topics And Partitions -kafka 的消息通过Topics(主题)进行分类,可以把Topics理解为关系型数据库中的表。一个主题可以被分为若干个Partitions(分区),一个分区就是一个提交日志(commit log)。 +Kafka的消息通过Topics(主题)进行分类,可以把Topics理解为关系型数据库中的表。一个主题可以被分为若干个Partitions(分区),一个分区就是一个提交日志(commit log)。 -消息以追加的方式写入分区,然后以先入先出的顺序读取。kafka通过分区来实现数据的冗余和伸缩性,分区可以分布在不同的服务器上,这意味着一个Topic可以横跨多个服务器,以提供比单个服务器更强大的性能。 +消息以追加的方式写入分区,然后以先入先出的顺序读取。Kafka通过分区来实现数据的冗余和伸缩性,分区可以分布在不同的服务器上,这意味着一个Topic可以横跨多个服务器,以提供比单个服务器更强大的性能。 由于一个Topic包含多个分区,因此无法在整个Topic范围内保证消息的顺序性,但可以保证消息在单个分区内的顺序性。 @@ -58,8 +58,14 @@ kafka 的消息通过Topics(主题)进行分类,可以把Topics理解为关系 一个独立的kafka服务器被称为broker。broker 接收来自生产者的消息,为消息设置偏移量,并提交消息到磁盘保存。broker为消费者提供服务,对读取分区的请求做出响应,返回已经提交到磁盘的消息。 -broker是集群(Cluster)的组成部分。每一个集群都有一个broker同时充当了集群控制器(controller)的角色(自动从集群的活跃成员中选举出来),控制器负责管理工作,包括将分区分配给broker和监控broker。 +broker是集群(Cluster)的组成部分。每一个集群都有一个broker同时充当了集群控制器(controller)的角色(自动从集群的活跃成员中选举出来),控制器负责管理工作,包括将分区分配给broker和监控broker。 -在集群中,一个分区(Partition)从属一个broker,该broker被称为分区的首领(leader)。一个分区可以分配给多个broker,这个时候会发生分区复制。这种复制机制为分区提供了消息冗余,如果有一个broker失效,其他broker可以接管领导权。 +在集群中,一个分区(Partition)从属一个broker,该broker被称为分区的首领(Leader)。一个分区可以分配给多个broker,这个时候会发生分区复制。这种复制机制为分区提供了消息冗余,如果有一个broker失效,其他broker可以接管领导权。 -
\ No newline at end of file +
+ + + +## 参考资料 + +1. Neha Narkhede, Gwen Shapira ,Todd Palino(著) , 薛命灯(译) . Kafka权威指南 . 人民邮电出版社 . 2017-12-26 \ No newline at end of file