在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
Kafka是由Java编写的一个开源流处理平台,因为它强大的动作流数据处理功能而备受大数据开发者的欢迎。因而作为大数据的开发者,掌握Kafka也就掌握了大数据最重要的一项核心技术。本文是一篇新手入门Kafka的安装教程,下面小编将手把手结合图片详细的指导大家安装Kafka。
1、认识Kafka
Kakfa 是一个分布式的基于发布/订阅模式的消息队列(message queue),所谓的消息队列是指一个用户要注册信息,当用户信息写入数据库后,后面还有一些其他流程,比如发送短信,则需要等这些流程处理完成后,再返回给用户。Kafka 的基础架构主要有 broker、生产者、消费者组构成,当前还包括 ZooKeeper。目前Kakfa主要应用于大数据的实时处理领域。
2、 安装 Kafka
步骤一:Kafka 的安装只需要解压安装包就可以完成安装。
tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/
步骤二: 查看配置文件。
[root@es1 config]# pwd
/usr/local/kafka/config
[root@es1 config]# ll
total 84
-rw-r--r--. 1 root root 906 Feb 8 2019 connect-console-sink.properties
-rw-r--r--. 1 root root 909 Feb 8 2019 connect-console-source.properties
-rw-r--r--. 1 root root 5321 Feb 8 2019 connect-distributed.properties
-rw-r--r--. 1 root root 883 Feb 8 2019 connect-file-sink.properties
-rw-r--r--. 1 root root 881 Feb 8 2019 connect-file-source.properties
-rw-r--r--. 1 root root 1111 Feb 8 2019 connect-log4j.properties
-rw-r--r--. 1 root root 2262 Feb 8 2019 connect-standalone.properties
-rw-r--r--. 1 root root 1221 Feb 8 2019 consumer.properties
-rw-r--r--. 1 root root 4727 Feb 8 2019 log4j.properties
-rw-r--r--. 1 root root 1925 Feb 8 2019 producer.properties
-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-1.properties
-rw-r--r--. 1 root root 6865 Jan 16 22:00 server-2.properties
-rw-r--r--. 1 root root 6873 Jan 16 03:57 server.properties
-rw-r--r--. 1 root root 1032 Feb 8 2019 tools-log4j.properties
-rw-r--r--. 1 root root 1169 Feb 8 2019 trogdor.conf
-rw-r--r--. 1 root root 1023 Feb 8 2019 zookeeper.properties
(3)修改配置文件 server.properties。
设置 broker.id 这个是 Kafka 集群区分每个节点的唯一标志符。
步骤三:设置 Kafka 的数据存储路径。
步骤四:设置是否可以删除 topic,默认 Kafka 的 topic 是不允许删除的。
步骤五:Kafka 的数据保留的时间,默认是 7 天。
步骤六:Log 文件最大的大小,如果 log 文件超过 1 G 会创建一个新的文件。
步骤七:Kafka 连接的 ZooKeeper 的地址和连接 Kafka 的超时时间。
步骤八:默认的 partition 的个数。
步骤九:安装成功,启动 Kafka,每个 Kakfa 节点都需要手动启动,下面的方式阻塞的方式启动。
如何安装Kafka?相信大家看完新手安装Kafka教程指导,对于这个问题应该已经有了自己的答案。当然安装Kafka只是第一步,要想更加深入学习大数据的相关技术,可以来博学谷报名相关课程。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
如何通过云计算大数据在线培训视频学习项目实战经验?
目前通过参加云计算大数据培训是成为进入大数据行业的重要途径之一。而对于时间并不充裕或者无法脱产学习以及异地学习的朋友而言,更多的选择云计算大数据在线培训的方式学习。那如果通过云计算大数据在线培训视频学习项目实战经验呢?
6425
2019-08-06 19:00:46
如何利用大数据构建用户画像?
大数据时代,不仅普通用户可以享受到技术带来的便利,企业也可以从数据中提取有商业价值的信息,构建出用户画像,从而对用户行为进行分析和预测。虽然用户画像不是什么新鲜的概念,但是大数据技术的出现使得用户画像更加清晰客观。下面我们一起来看看如何利用大数据构建用户画像。
4348
2020-07-23 12:12:02
为什么大数据技术那么火?
大数据技术的概念早在2008年被Google提出。在我国2012年提出《大数据研究和发展计划》,从此我国的开放、共享和只能的大数据时代正式开启。随着一线互联网企业在大数据领域的成熟应用,以及国内政策的支持。2016年,云计算大数据技术再次成为人们所追捧的热门技术,与此同时国内大数据人才培养体系逐渐完善,为大数据的普及应用提供源源不断的人才支撑。
3363
2020-09-15 17:36:12
物联网和大数据可应用在哪些领域?
物联网和大数据是近年来最受媒体和企业关注的两大宏观技术趋势。两者也并驾齐驱,物联网旨在特定组织或环境中创建一个互联网络,使用该网络来收集数据并集中执行特定功能。物联网部署会生成大量以前未开发的数据,自动执行以前靠手动操作的任务。为了理解这些数据使自动化有意义需要对这些数据进行分析。
3542
2021-05-24 14:55:15
大数据批流处理之Lambda架构学习
大数据批流处理之Lambda架构,Lambda架构是当前大数据中批流处理方向影响最为深刻、应用最为广泛的架构。对于在云端的数据中心实现针对海量历史数据的批量计算及优化需要分别在云端、边缘端实现针对流数据的实时处理的场景。
2106
2022-03-02 10:17:27