在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
Kafka消息的分发流程是什么?使用kafka向指定Topic发送消息时,如果该Topic具有多个partition,无论消费者有多少,最终都会保证一个partition内的消息只会被一个Consumer group中的一个Consumer消费,也就是说同一Consumer group中的多个Consumer自动会起到负载均衡的效果。
Kafka消息的分发介绍:
• Producer客户端负责消息的分发
• kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;
• 当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接;
• 消息由producer直接通过socket发送到broker,中间不会经过任何”路由层”。事实上,消息被路由到哪个partition上由producer客户端决定,比如可以采用”random””key-hash””轮询”等。
• 如果一个topic中有多个partitions,那么在producer端实现”消息均衡分发”是必要的。
• 在producer端的配置文件中,开发者可以指定partition路由的方式。
• Producer消息发送的应答机制
设置发送数据是否需要服务端的反馈,有三个值0,1,-1
– 0: producer不会等待broker发送ack
– 1: 当leader接收到消息之后发送ack
– -1: 当所有的follower都同步消息成功后发送ack
request.required.acks=0
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
Java开发中进程和线程的区别是什么?
Java开发中进程和线程的区别是什么?进程是具有一定独立功能的程序关于某个数据集合上的一次 运行活动,进程是系统进行资源分配和调度的一个独立单位;线程自己基本上不拥有 系统资源,只拥有一点在运行中必不可少的资源。
9327
2019-06-04 10:40:05
架构和框架的区别是什么?对比分析
架构和框架的区别是什么?相信问这个问题的一定是新手小白。确实会有人在刚刚入门编程的时候,架构和框架的傻傻分不清。本文就框架和架构的定义、使用、特点等等方面,进行对比分析。
14829
2019-08-14 10:19:24
Git是什么?新手小白入门教程
本文是专门针对新手小白的入门教程,将用通俗易懂的方式讲解“Git是什么”,主要从版本控制、版本控制系统和仓库几方面来具体阐述。
7081
2019-08-09 15:24:33
MySQL数据库基础知识汇总梳理
本文对MySQL数据库基础知识进行了汇总和梳理,主要内容有认识数据库、常见数据库排行榜、SQL的概念以及DDL操作数据库。希望大家看完之后,能够能够理解数据库的概念,并且能够使用SQL语句操作数据库。
6213
2020-07-03 15:02:31
Java入门基础课程学什么?
作为一名程序员有坚实的Java基础知识对于后期的开发非常重要,零基础入门的Java初学者应该学习哪些内容呢?Java课程学习面向对象、Java语法、JSP和HTML、WebServer、开发工具、框架等内容。
3722
2020-10-15 17:39:43