Kafka是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。在大数据面试中,Kafka也是一个必考点。因此小编汇总了历年来比较经典常见的大数据Kafka进阶面试题。
一、Kafka的介绍
1、什么是Kafka?
Apache Kafka 是一个开源消息系统,由 Scala 写成。是由 Apache 软件基金会开发的一个开源消息系统项目。Kafka 最初是由 LinkedIn 开发,并于 2011 年初开源。2012 年 10 月从 Apache Incubator 毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
Kafka 是一个分布式消息队列:生产者、消费者的功能。它提供了类似于JMS 的特性,但是在设计实现上完全不同,此外它并不是 JMS 规范的实现。Kafka 对消息保存时根据 Topic 进行归类,发送消息者称为 Producer,消息接受者称为 Consumer,此外 kafka 集群有多个 kafka 实例组成,每个实例(server) 成为 broker。无论是 kafka 集群,还是 producer 和 consumer 都依赖于 zookeeper 集群保存一些 meta 信息,来保证系统可用性。
2、Kafka与传统消息系统的区别
(1)在架构模型方面
RabbitMQ 遵循 AMQP 协议,RabbitMQ 的 broker 由 Exchange,Binding,queue组成,其中 exchange 和 binding 组成了消息的路由键;客户端 Producer 通过连接channel 和server 进行通信,Consumer 从queue 获取消息进行消费(长连接,queue有消息会推送到 consumer 端,consumer 循环从输入流读取数据)。rabbitMQ 以broker 为中心;有消息的确认机制。kafka 遵从一般的 MQ 结构,producer,broker,consumer,以 consumer 为中心,消息的消费信息保存的客户端 consumer 上,consumer 根据消费的点,从broker 上批量 pull 数据;无消息确认机制。
(2)在吞吐量
Kafka具有高的吞吐量,内部采用消息的批量处理,zero-copy 机制,数据的存储和获取是本地磁盘顺序批量操作,具有 O(1)的复杂度,消息处理的效率很高。rabbitMQ 在吞吐量方面稍逊于 kafka,他们的出发点不一样,rabbitMQ 支持对消息的可靠的传递,支持事务,不支持批量的操作;基于存储的可靠性的要求存储可以采用内存或者硬盘。
(3)在可用性方面
rabbitMQ 支持 miror 的 queue,主 queue 失效,miror queue 接管。kafka 的 broker 支持主备模式。
(4)在集群负载均衡方面
Kafka采用 zookeeper 对集群中的 broker、consumer 进行管理,可以注册 topic 到 zookeeper 上;通过 zookeeper 的协调机制,producer 保存对应 topic 的 broker 信息,可以随机或者轮询发送到 broker 上;并且 producer 可以基于语义指定分片,消息发送到 broker 的某分片上。
3、Kafka与 activeMQ 的区别。
Topic:主题,即一个标识,类似于 map 里面的 key,通过它来给消息分类, 消息根据 Topic 进行归类。
共同点:都有生产者和消费者两大组件,生产者发送消息给各自的服务器,(发送消息是就会定义一个 topic)并进行存储。
不同点:activeMQ:消费者会提前订阅自己需要的 topic,当该 topic 中有了消息以后,activeMQ 服务器会发送消息给消费者,然后消费者再去服务器中拿到自己想要的数据。
Kafka:消费者(指定 topic)会定时去 kafka 服务器中拿该 topic 中的数据。
4、Kafka的组件介绍
producer:生产者,主要用于我们的消息的生产,通过 producer 将我们的消息 push 到Kafka集群当中。
topic:某一类消息的高度抽象,可以理解成某一类消息的集合,一类消息,每个topic 将被分成多个 partition(区),在集群的配置文件中配置。
broker:Kafka的服务器,一个 broker 就代表一个服务器的节点partition:分区的概念,一个 topic 当中的消息,可以拆分成多个 partition 分区,存放在多个不同的服务器上,实现数据存放的横向扩展。
repliaction:副本,所有的 partition 都可以指定存放几个副本,做到数据的冗余,保证数据的安全。
segment:每个 partiiton 由多个 segment 组成,segment 又包含了两部分,一个.log 文件,一个是.index 文件。
.log:存放我们的日志文件,所有的数据,最后都以日志文件的形式存放到了Kafka集群当中。
.index :索引文件,所有的.log 文件的索引都存放在了这里,便于我们查找某一条日志文件的快速。
consumer:消费者,消费我们 kafka 集群当中的消息, 问题:如何知道消费者消费到了哪一条消息来了?可以通过记录的方式,记下来每次我们消费的位置。
第一种记录方式:Kafka的本地文件系统,比较慢,对应 kafka 的一个慢速消费的方式。
第二种记录方式:zookeeper 当中的节点数据记录,比较快,对应 kafka 的一个快速消费的方式。
offset:偏移量,就是记录的我们消费到了哪一条数据来了。发布者发到某个 topic 的消息会被均匀的分布到多个 part 上,broker 收到发布消息往对应 part 的最后一个 segment 上添加该消息。
以上就是大数据Kafka进阶面试题汇总。还没有看够的同学可以报名博学谷的大数据就业班,有线上的高级讲师和就业老师,专门为大家培训大数据面试的相关内容,帮助大家顺利拿到offer。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
数据挖掘、数据分析以及大数据之间的区别有哪些?
进入大数据时代,和数据相关的名词都被人们津津乐道。那数据挖掘、数据分析以及大数据之间有哪些区别呢?数据挖掘是发现信息以及收集数据的过程;数据分析则是将现有数据进行归纳以及分析得出相应结论的过程。而大数据则更加关注数据本身,重要表现就是数据量大,数据的多样性等等。
4750
2019-06-20 18:11:53
大数据技术自学能学会吗?大数据应该如何自学?
大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。那大数据技术自学能学会吗?大数据应该如何自学呢?
2936
2019-08-14 10:21:23
云计算之云的分类
云计算大数据是现在发展的时代趋势,然而还是有很多人还不懂什么是云计算。本文就云的分类为切入点,为大家简单介绍一下云计算,让大家都能大概了解云计算的概念。
3075
2019-08-01 13:06:01
博学谷云计算大数据培训班课程怎么样?
在线学习已经成为现在年轻人最主要的学习途径。博学谷作为国内高端的IT在线教育平台,依托传智播客13年教学经验的沉淀,推出云计算大数据培训课程。每年都有非常多的小伙伴在博学谷平台学习,对于还在观望的同学,博学谷云计算大数据培训班课程怎么样?在博学谷学习有什么优势呢?
1818
2019-09-06 18:22:40
大数据测试的发展和困境分析
随着大数据技术的日益深入发展,大数据测试应运而生。可以预见,大数据测试将成为软件测试工程师的发展目标之一。可能对于许多人来讲,大数据测试还是一个十分陌生的概念。实际上,大数据测试不同于传统的软件测试,在测试类型、策略和工具上,都有很大的不同。本文将为大家仔细分析一下大数据测试的发展和困境,下面我们一起来看看!
1315
2020-03-03 23:44:15
MySQL数据库基础
¥99 基础 216
云计算大数据Zookeeper教程
免费 进阶 931
Flink基础入门与开发实践
¥299 进阶 205
电商大数据应用之用户画像
免费 基础 806
零基础7天精通kettle8.2
¥49.9 基础 749
推荐课程
热门文章
- 好用的JS前端开发框架有哪些?
- 上海大数据培训机构哪家好?怎么选?
- 互联网产品经理培训大概多少钱?如何收费?
- 学习软件测试开发培训有必要吗?
- 无经验面试新媒体运营转行可行吗?
- 零基础参加软件测试培训有必要吗?
- Python培训课程哪个好?应该学什么?
- UI设计培训费用要多少钱?靠不靠谱?
- 哪个Python培训机构好些?怎么选?
- 这样的Java自学姿势 学废最快 查看更多
扫描二维码,了解更多信息
