在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
带你深度剖析Kafka架构知识点,学习了解Kafka数据处理、Kafka 核心组件、broker和集群、Consumer与topic关系、Kafka消息的分发、Consumer的负载均衡开发技术。
1. Kafka数据处理步骤
1.1 Producer产生消息发送到Broker中;
1.2 Leader状态的Broker接收消息,写入到相应topic中;
1.3 Leader状态的Broker接收完毕以后,传给Follow状态的Broker作为副本备份;
1.4 Consumer消费Broker中的消息。
2. Kafka 核心组件
2.1 Producer:消息生产者产生的消息将会被发送到某个topic;
2.2 Consumer:消息消费者,消费的消息内容来自某个topic;
2.3 Topic:消息根据topic进行归类,topic其本质是一个目录,即将同一主题消息归类到同一个目录;
2.4 Broker:每一个kafka实例(或者说每台kafka服务器节点)就是一个broker,一个broker可以有多个topic;
2.5 Zookeeper: Zookeeper集群不属于kafka内的组件,但kafka依赖 Zookeeper集群保存meta信息,所以在此做声明其重要性。
3. broker和集群
一个独立的Kafka服务器称为broker,broker接收来自生产者的消息为消息设置偏移量并提交消息到磁盘保存。broker为消费者提供服务,对读取分区的请求作出响应,返回已经提交到磁盘上的消息。根据特定的硬件及其性能特征,单个broker可以轻松处理数千个分区以及每秒百万级的消息量。
broker是集群的组成部分。每个集群都有一个broker同时充当了集群控制器的角色(自动从集群的活跃成员中选举出来)。控制器负责管理工作,包括将分区分配给broker和监控broker。在集群中,一个分区从属于一个broker,该broker被称为分区的首领。一个分区可以分配多个broker,这个时候会发生分区复制。这种复制机制为分区提供了消息冗余,如果一个broker失效,其他broker可以接管领导权。不过,相关的消费者和生产者都要重新连接到新的首领。
4. Consumer与topic关系
kafka只支持Topic
•每个group中可以有多个consumer,每个consumer属于一个consumer group;通常情况下,一个group中会包含多个consumer,这样不仅可以提高topic中消息的并发消费能力,而且还能提高”故障容错”性,如果group中的某个consumer失效那么其消费的partitions将会由其它consumer自动接管。
•对于Topic中的一条特定的消息,只会被订阅此Topic的每个group中的其中一个consumer消费,此消息不会发送给一个group的多个consumer;那么一个group中所有的consumer将会交错的消费整个Topic,每个group中consumer消息消费互相独立,我们可以认为一个group是一个”订阅”者。
•在kafka中,一个partition中的消息只会被group中的一个consumer消费(同一时刻);
一个Topic中的每个partions,只会被一个”订阅者”中的一个consumer消费,不过一个consumer可以同时消费多个partitions中的消息。
•kafka的设计原理决定,对于一个topic,同一个group中不能有多于partitions个数的consumer同时消费,否则将意味着某些consumer将无法得到消息,而处于空闲状态。
kafka只能保证一个partition中的消息被某个consumer消费时是顺序的;事实上,从Topic角度来说,当有多个partitions时,消息仍不是全局有序的。
5. Kafka消息的分发
•Producer客户端负责消息的分发
•kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;
•当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接;
•消息由producer直接通过socket发送到broker,中间不会经过任何”路由层”。事实上,消息被路由到哪个partition上由producer客户端决定,比如可以采用”random””key-hash””轮询”等。
•如果一个topic中有多个partitions,那么在producer端实现”消息均衡分发”是必要的。
•在producer端的配置文件中,开发者可以指定partition路由的方式。
•Producer消息发送的应答机制
设置发送数据是否需要服务端的反馈,有三个值0,1,-1
–0: producer不会等待broker发送ack
–1: 当leader接收到消息之后发送ack
–-1: 当所有的follower都同步消息成功后发送ack
request.required.acks=0
6. Consumer的负载均衡
当一个group中,有consumer加入或者离开时,会触发partitions均衡.均衡的最终目的,是提升topic的并发消费能力,步骤如下:
1.假如topic1,具有如下partitions: P0,P1,P2,P3
2.加入group A 中,有如下consumer: C0,C1
3.首先根据partition索引号对partitions排序: P0,P1,P2,P3
4.根据consumer.id排序: C0,C1
5.计算倍数: M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)
6.然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]
想系统的学习大数据的内容,欢迎咨询课程老师~
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
十二个Java程序员必须掌握的Java开发框架
十二个Java程序员必须掌握的Java开发框架有哪些?Java 开发应用很广泛,所以程序员就业行业和方向也很多,随着互联的发展,人工智能、大数据、区块链,很多Java 程序员选择Java Web/后端开发。然而程序员之前的区别还是很大的,如果想要拿高薪,作为一个程序员需要不断学习。
9675
2019-04-10 00:08:24
Java 开发中20种常用类库和 API
java开发人员应该熟悉的常用的库与API::日志、JSON解析、单测、XML解析、字节码处理、数据库连接池、集合类、邮件、加密、嵌入式SQL数据库、JDBC故障诊断以及序列化等20个方面的常用类库!
9456
2019-07-24 18:27:45
十种超实用Java测试框架库
老话说得好:工欲善其事,必先利其器。测试是应用程序生命周期里至关重要的一步,应用程序在进行最后的部署之前,需要通过测试来确保它的负载管理能力以及在特殊情况下的工作条件和工作加载情况。因此,本文例举了十种超实用的Java测试框架库,希望可以帮到大家。
6758
2019-07-05 17:47:32
Spring学习干货xml配置实例
今天,小编将分享大家在学习Spring框架的时候都会遇到的xml配置实例的干货讲解。大家都应该知道,Spring提供的最基本功能是,对象无需自己查找或者创建与它相关联的其他对象,由容器负责将需要相互协作的对象引用传递给各个对象。如果如果没有配置,Spring只是一个没有任何作用的空容器。因此Spring提供了使用XML文件配置和使用注解配置Bean的方式。
7321
2019-08-08 11:58:53
Java程序员Spring Security安全框架需要学什么?
作为一个Java程序员需要掌握Spring Security安全框架,学习Spring Security概念、项目认证功能、项目授权功能、Spring Security集成spring boot、相关实战项目。Spring Security是Spring旗下一款强大的安全框架,是企业常用的安全框架。
6763
2019-12-17 17:41:04