Kafka开发分布发布订阅消息系统学习路线,Kafka是一种快速可扩展设计内在分布式,分区的和可复制的分布式发布-订阅消息系统,被数千家公司使用。可以帮助使用Apache Kafka消息传递系统或者大数据分析领域发展的IT程序员解决使用Kafka集群的问题。
分布发布订阅消息系统学习路线:
一、初识Kafka
1、概念详解
2、安装与配置
3、Java第一个程序
4、服务端常用参数配置
二、生产者
1、消息发送
2、原理剖析
3、生产者参数详解
三、消费者
1、概念入门
2、消息接收
四、主题
1、管理
2、增加分区
3、必要参数配置
4、偏移量管理
五、分区
1、副本机制
2、Leader选举
3、分区重新分配
4、自动再均衡
5、修改副本因子
6、分区分配策略
六、物理存储
1、日志存储概述
2、磁盘存储
七、稳定性
1、事务
2、控制器
3、可靠性保证
4、一致性保证
八、高级应用
1、命令行工具
2、数据管道
3、延时队列
4、流式处理
5、SpringBoot整合
九、集群管理
1、集群使用场景
2、集群搭建
3、多集群同步
十、监控
1、监控度量指标
2、Broker监控
3、主题分区监控
4、生产者监控
5、消费者监控
6、Kafka、Eagle
学习Kafka架构技术优势:
Kafka集群在运行期间可以轻松地扩展或收缩可以添加或删除代理,而不会宕机。可以扩展一个Kafka主题来包含更多的分区。由于一个分区无法扩展到多个代理,所以它的容量受到代理磁盘空间的限制。能够增加分区和代理的数量意味着单个主题可以存储的数据量是没有限制的。
容错性和可靠性Kafka 的设计方式使某个代理的故障能够被集群中的其他代理检测到。由于每个主题都可以在多个代理上复制,所以集群可以在不中断服务的情况下从此类故障中恢复并继续运行。
关于Kafka使用价值场景:
1、日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如Hadoop、Hbase、Solr等;
2、消息系统:解耦和生产者和消费者、缓存消息等;
3、用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到Hadoop、数据仓库中做离线分析和挖掘;
4、运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告;
5、流式处理:比如spark streaming和storm;
7、事件源。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
JavaEE框架面试题五问
小编整理了有关JavaEE框架面试题,虽然只有五道,但是却是比较经典且难以回答的问题,希望可以帮到大家。
4027
2019-07-31 20:47:36
Java流行框架Struts、Hibernate和Spring对比
最近几年Java一直名列最受欢迎的编程语言榜前,而在Java开发中Struts、Hibernate和Spring这三流行框架常常起了关键作用,因此本文将对比这三种Java流行框架,分析它们的产生和各自的优缺点。
4607
2019-08-02 12:03:48
Java并发与线程免费课程推荐
Java并发与线程免费课程推荐,Java开发中涉及线程的基础知识、线程的启动与终止、线程间的互斥处理与协作、线程的应用、线程的数量管理以及性能优化等内容。
2313
2019-12-03 15:07:22
分布式版本控制Git工作原理是什么?
分布式版本控制Git适合分布式开发,强调个体;公共服务器压力和数据量不会太大;速度快灵活;任意两个开发者之间可以很容易的解决冲突;离线工作。 但学习周期相对而言比较长;不符合常规思维;代码保密性差,开发者把整个库克隆下来可以完全公开所有代码和版本信息。
2803
2020-02-20 17:10:36
Spring框架功能模块构成及概念
Spring框架功能模块构成,Spring框架采用分层架构,功能要素被分成20个模块,分为Core Container、Data Access/Integration、Web、AOP、Instrumentation、Messaging和Test。
2908
2020-05-19 11:28:45
热门文章
- 大数据的薪资怎么样?想学大数据了?
- 吐血整理的大数据学习资源大全
- 数据分析行业到底有多卷
- 传智教育在线课程助力职场升级,看IT人才如何破局职业瓶颈
- 传智教育博学谷赋能在职人群,推出系列公开课及大咖1对1聊技术
- 大数据开发的前景和就业如何?该如何去学习它?
- 成为架构师,读书之外什么更重要?
- 如何从Java工程师成长为架构师?
- 比较实用的大数据分析模型有哪些?
- Java原子操作之CAS原子指令学习 查看更多
扫描二维码,了解更多信息
