在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
Kafka是由Java编写的一个开源流处理平台，因为它强大的动作流数据处理功能而备受大数据开发者的欢迎。因而作为大数据的开发者，掌握Kafka也就掌握了大数据最重要的一项核心技术。本文是一篇新手入门Kafka的安装教程，下面小编将手把手结合图片详细的指导大家安装Kafka。
1、认识Kafka
Kakfa 是一个分布式的基于发布/订阅模式的消息队列（message queue），所谓的消息队列是指一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，再返回给用户。Kafka 的基础架构主要有 broker、生产者、消费者组构成，当前还包括 ZooKeeper。目前Kakfa主要应用于大数据的实时处理领域。
2、 安装 Kafka
步骤一：Kafka 的安装只需要解压安装包就可以完成安装。
tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/
步骤二： 查看配置文件。
[root@es1 config]# pwd
/usr/local/kafka/config
[root@es1 config]# ll
total 84
-rw-r--r--. 1 root root 906 Feb 8 2019 connect-console-sink.properties
-rw-r--r--. 1 root root 909 Feb 8 2019 connect-console-source.properties
-rw-r--r--. 1 root root 5321 Feb 8 2019 connect-distributed.properties
-rw-r--r--. 1 root root 883 Feb 8 2019 connect-file-sink.properties
-rw-r--r--. 1 root root 881 Feb 8 2019 connect-file-source.properties
-rw-r--r--. 1 root root 1111 Feb 8 2019 connect-log4j.properties
-rw-r--r--. 1 root root 2262 Feb 8 2019 connect-standalone.properties
-rw-r--r--. 1 root root 1221 Feb 8 2019 consumer.properties
-rw-r--r--. 1 root root 4727 Feb 8 2019 log4j.properties
-rw-r--r--. 1 root root 1925 Feb 8 2019 producer.properties
-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-1.properties
-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-2.properties
-rw-r--r--. 1 root root 6873 Jan 16 03:57 server.properties
-rw-r--r--. 1 root root 1032 Feb 8 2019 tools-log4j.properties
-rw-r--r--. 1 root root 1169 Feb 8 2019 trogdor.conf
-rw-r--r--. 1 root root 1023 Feb 8 2019 zookeeper.properties
（3）修改配置文件 server.properties。
设置 broker.id 这个是 Kafka 集群区分每个节点的唯一标志符。
步骤三：设置 Kafka 的数据存储路径。
步骤四：设置是否可以删除 topic，默认 Kafka 的 topic 是不允许删除的。
步骤五：Kafka 的数据保留的时间，默认是 7 天。
步骤六：Log 文件最大的大小，如果 log 文件超过 1 G 会创建一个新的文件。
步骤七：Kafka 连接的 ZooKeeper 的地址和连接 Kafka 的超时时间。
步骤八：默认的 partition 的个数。
步骤九：安装成功，启动 Kafka，每个 Kakfa 节点都需要手动启动，下面的方式阻塞的方式启动。
如何安装Kafka？相信大家看完新手安装Kafka教程指导，对于这个问题应该已经有了自己的答案。当然安装Kafka只是第一步，要想更加深入学习大数据的相关技术，可以来博学谷报名相关课程。
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
影响大数据与分析的因素有哪些？
下一篇：
大数据疫情防控应用 大数据与个人隐私之间存在的冲突
相关推荐 更多
大数据可视化相关工具介绍
大数据的实际应用中，有一个重要的环节，就是实现数据的可视化。这是数据分析结论导向的重要体现。你可以通过可视化的数据形式明晰的了解各种数据的分布以及占比，例如大数据招聘市场的分布、目前行业岗位薪资与学历的关系、大数据热门技术的应用比例等等。本文就和大家介绍一些大数据可视化的使用工具
9624
2019-08-09 18:04:01
数据科学家人才需求缺口大的原因
数据科学家人才需求缺口大的原因，很多公司需要资深的、经验丰富的数据科学家，帮助企业管理数据并利用这些信息为公司的发展服务，各行业排名前三分之一的企业中，使用了数据驱动决策分析，其生产率平均比竞争对手高5%，利润率高6%。
7318
2019-08-28 16:45:53
2020年大数据技术发展趋势如何？
未来大数据技术升级迭代快，人工智能逐渐崛起，分布式存储和计算技术不断发展，法律法规逐渐规范，必将迎来大数据技术快速的发展阶段。数据分析技术发展对体量庞大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识。
11734
2020-01-17 10:22:22
云计算是什么？通俗解释云计算的概念
如今，我们生活在云无所不在的时代，云计算也代表了互联网发展的重要趋势之一。虽然云计算与我们的生活和工作早已息息相关，可还是有很多人连云计算是什么都不知道。为了解决大家对于云计算的疑问，本文将用最通俗易懂的语言向大家解释云计算的相关概念、特点、核心技术以及应用。下面一起来看看吧~
16432
2020-05-19 15:31:42
2021年大数据发展趋势及动态
大数据已经走单纯的技术架构和技术体系，走向了社会基础设施。2020年“新基建”就将“大数据中心”定义为数字新基础设施的重要建设内容。基于隐私计算的数据流通技术成为实现数据联合计算的主要思路。隐私计算在保护数据本身不对外泄露的前提下实现了数据融合，为安全合规的数据流通带来了可能。
6576
2021-01-19 15:12:03
