在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
入门学习架构师必备技能之Kafka,Kafka是一个开源流处理平台由Scala和Java编写,很多小伙伴目前还没晋升到架构师的行列中可能接触不到,但是可以提前学习一下相关的知识,为了将来的发展做好准备。
Kafka是一个开源流处理平台由Scala和Java编写。高吞吐量的分布式发布订阅消息系统可以处理消费者在网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力,今天我们一起来学习Kafka的知识相关知识吧!
一、Kafka有哪些优势?
1、多生产者
可以无缝地支持多个生产者,不管客户端在使用单个主题还是多个主题。
2、多消费者
支持多个消费者从一个单独的消息流上读取数据,而且消费者之间互不影响。
3、基于磁盘的数据存储
支持消费者非实时地读取消息,由于消息被提交到磁盘,根据设置的规则进行保存。当消费者发生异常时候,意外离线,由于有持久化的数据保证,可以实现联机后从上次中断的地方继续处理消息。
4、伸缩性
用户在开发阶段可以先试用单个broker,再扩展到包含3个broker的小型开发集群,然后随着数据量不断增长,部署到生产环境的集群可能包含上百个broker。
5、高性能
Kafka可以轻松处理巨大的消息流,在处理大量数据的同事,它还能保证亚秒级的消息延迟。
二、Kafka常见的使用场景有哪些?
1、消息
kafka更好的替换传统的消息系统,消息系统被用于各种场景(解耦数据生产者,缓存未处理的消息等),与大多数消息系统比较,kafka有更好的吞吐量,内置分区,副本和故障转移,这有利于处理大规模的消息。
根据经验消息往往用于较低的吞吐量,但需要低的端到端延迟,并需要提供强大的耐用性的保证。在这一领域的kafka比得上传统的消息系统,如ActiveMQ或RabbitMQ等。
2、网站活动追踪
kafka原本的使用场景是用户的活动追踪,网站的活动(网页游览,搜索或其他用户的操作信息)发布到不同的话题中心。这些消息可实时处理,实时监测,也可加载到Hadoop或离线处理数据仓库。
3、指标
kafka也常常用于监测数据。分布式应用程序生成的统计数据集中聚合。
4、日志聚合
许多人使用Kafka作为日志聚合解决方案的替代品。日志聚合通常从服务器中收集物理日志文件,并将它们放在中央位置(可能是文件服务器或HDFS)进行处理。Kafka抽象出文件的细节,并将日志或事件数据更清晰地抽象为消息流。这允许更低延迟的处理并更容易支持多个数据源和分布式数据消费。
5、流处理
kafka中消息处理一般包含多个阶段。其中原始输入数据是从kafka主题消费的,然后汇总,丰富,或者以其他的方式处理转化为新主题,例如,一个推荐新闻文章,文章内容可能从“articles”主题获取;然后进一步处理内容,得到一个处理后的新内容,最后推荐给用户。
这种处理是基于单个主题的实时数据流。从0.10.0.0开始,轻量,但功能强大的流处理,就可以这样进行数据处理了。除了Kafka Streams,还有ApacheStorm和Apache Samza可选择。
6、事件采集
事件采集是一种应用程序的设计风格,其中状态的变化根据时间的顺序记录下来,kafka支持这种非常大的存储日志数据的场景。
7、提交日志
kafka可以作为一种分布式的外部日志,可帮助节点之间复制数据,并作为失败的节点来恢复数据重新同步,kafka的日志压缩功能很好的支持这种用法,这种用法类似于Apacha BookKeeper项目。
除了以上关于kafka的知识点外,想成为一名合格的架构师要更多的知识、技能储备。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
IT培训机构靠谱吗?怎么识别不靠谱的IT机构?
选择靠谱的IT培训机构首先应该了解IT行业现状、报IT培训班有风险有哪些、认清IT培训机构并非是就业跳板,货比三家多进行考察,综合选择。不要盲目、冲动、随便的瞎蒙一个就直接去,那大概率事件就是入坑;不要偷懒,实地上门调查对比这个步骤绝对不能省;不要盲从,跟着同学、网友组团搭伙就去了,就算是培训过的同学推荐,也不过是一家之言,不具备专业性。
6626
2019-11-20 15:20:05
程序员接私活赚钱的平台推荐
相信现在许多程序员都有接私活赚钱的想法,那么哪里有比较靠谱的平台呢?本文就来为大家推荐目前国内外程序员接私活的平台,分别是快码众包、我要外包网、Coding码市、码易、我爱方案网、人人开发和oschina众包。不过大家在这些平台上接私活的时候,还是要先判断项目是否靠谱,以及薪资如何交付等问题。
8528
2020-01-15 19:43:49
IT程序员一般工作到多少岁?
程序员年龄一般不会超过35岁,只要学习能力和管理能力跟的上工作到四五十也没问题。年龄这个问题其实是大家比较关心的问题,因为大多数到了30多岁工作都6-8年,选择了转型,喜欢管理已经当了项目经理,口才比较好的可以转做产品经理,技术国营做架构等诸多职位变化,薪资待遇提升,30多岁坚守在代码一线的码农已经不多了。
29001
2020-03-16 14:53:32
北京IT程序员工资一般多少?
北上广是IT程序员的主要聚集地,北京的程序员就占据了全国的23.55%。北京有经验的程序员目前的平均薪资达到了14k以上,北京程序员整体的平均月薪在12k左右。作为一名IT程序员要常充电,提升自身的专业技能,薪资会随着个人专业水平和经验上涨。
18524
2020-03-18 10:55:35
做个码农还是做RSE?哪个前景好?
在互联网高速发展的时代,作为 RSE 在学术界能赚到的钱,也往往不如在科技大厂里做一名码农来得多。如果是你,你会选择在科学界做RSE实现科研价值还是去大厂当个码农挣大钱?
3784
2022-06-06 14:11:46