在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
Kafka是由Java编写的一个开源流处理平台,因为它强大的动作流数据处理功能而备受大数据开发者的欢迎。因而作为大数据的开发者,掌握Kafka也就掌握了大数据最重要的一项核心技术。本文是一篇新手入门Kafka的安装教程,下面小编将手把手结合图片详细的指导大家安装Kafka。
1、认识Kafka
Kakfa 是一个分布式的基于发布/订阅模式的消息队列(message queue),所谓的消息队列是指一个用户要注册信息,当用户信息写入数据库后,后面还有一些其他流程,比如发送短信,则需要等这些流程处理完成后,再返回给用户。Kafka 的基础架构主要有 broker、生产者、消费者组构成,当前还包括 ZooKeeper。目前Kakfa主要应用于大数据的实时处理领域。
2、 安装 Kafka
步骤一:Kafka 的安装只需要解压安装包就可以完成安装。
tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/
步骤二: 查看配置文件。
[root@es1 config]# pwd
/usr/local/kafka/config
[root@es1 config]# ll
total 84
-rw-r--r--. 1 root root 906 Feb 8 2019 connect-console-sink.properties
-rw-r--r--. 1 root root 909 Feb 8 2019 connect-console-source.properties
-rw-r--r--. 1 root root 5321 Feb 8 2019 connect-distributed.properties
-rw-r--r--. 1 root root 883 Feb 8 2019 connect-file-sink.properties
-rw-r--r--. 1 root root 881 Feb 8 2019 connect-file-source.properties
-rw-r--r--. 1 root root 1111 Feb 8 2019 connect-log4j.properties
-rw-r--r--. 1 root root 2262 Feb 8 2019 connect-standalone.properties
-rw-r--r--. 1 root root 1221 Feb 8 2019 consumer.properties
-rw-r--r--. 1 root root 4727 Feb 8 2019 log4j.properties
-rw-r--r--. 1 root root 1925 Feb 8 2019 producer.properties
-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-1.properties
-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-2.properties
-rw-r--r--. 1 root root 6873 Jan 16 03:57 server.properties
-rw-r--r--. 1 root root 1032 Feb 8 2019 tools-log4j.properties
-rw-r--r--. 1 root root 1169 Feb 8 2019 trogdor.conf
-rw-r--r--. 1 root root 1023 Feb 8 2019 zookeeper.properties
(3)修改配置文件 server.properties。
设置 broker.id 这个是 Kafka 集群区分每个节点的唯一标志符。
步骤三:设置 Kafka 的数据存储路径。
步骤四:设置是否可以删除 topic,默认 Kafka 的 topic 是不允许删除的。
步骤五:Kafka 的数据保留的时间,默认是 7 天。
步骤六:Log 文件最大的大小,如果 log 文件超过 1 G 会创建一个新的文件。
步骤七:Kafka 连接的 ZooKeeper 的地址和连接 Kafka 的超时时间。
步骤八:默认的 partition 的个数。
步骤九:安装成功,启动 Kafka,每个 Kakfa 节点都需要手动启动,下面的方式阻塞的方式启动。
如何安装Kafka?相信大家看完新手安装Kafka教程指导,对于这个问题应该已经有了自己的答案。当然安装Kafka只是第一步,要想更加深入学习大数据的相关技术,可以来博学谷报名相关课程。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据专业学习难度大吗?需要学习什么技术?
众所周知,大数据专业是目前互联网行业中高薪岗位之一。然而看到高薪的机会,大部分同学立刻行动投入大数据专业的学习中,也有一部分同学发表自己的疑问:大数据专业这样高薪是否学习难度非常大?如果从事大数据专业工作,需要学习什么技术呢?
14049
2019-09-02 19:04:37
2020年大数据技术发展趋势如何?
未来大数据技术升级迭代快,人工智能逐渐崛起,分布式存储和计算技术不断发展,法律法规逐渐规范,必将迎来大数据技术快速的发展阶段。数据分析技术发展对体量庞大的结构化和半结构化数据进行高效率的深度分析,挖掘隐性知识。
10389
2020-01-17 10:22:22
数据科学与机器学习的区别是什么?
数据科学与机器学习的区别:机器学习是人工智能的一个分支,而数据科学是数据清理、准备和分析的学科。人们需要了解每种技术的工作原理,以及它们是如何一起工作的。数据科学是一种实践领域,而机器学习是一组工具和方法论。
6382
2020-05-13 15:36:30
HDFS入门基础学习总结
HDFS全称就是Hadoop分布式文件系统,作为Hadoop的核心组件,它提供了最底层的分布式存储服务。本文整理了HDFS设计目标和HDFS的重要特性等等内容,下面一起来看HDFS入门基础学习总结吧~
5147
2020-06-09 16:19:01
大数据开发离线计算框架知识点总结
大数据开发离线计算框架知识点总结,大数据在带来发展机遇的同时,也带来了新的挑战,催生了新技术的发展和旧技术的革新。大数据离线计算技术应用于静态数据的离线计算和处理,框架设计的初衷是为了解决大规模、非实时数据计算,更加关注整个计算框架的吞吐量。
6416
2020-07-16 16:41:14
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么?先掌握这三大核心关键技术
- 前端开发的工作方向有哪些?
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试?两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些,才能成为架构师 查看更多
扫描二维码,了解更多信息
