• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 如何安装Kafka?新手安装教程指导

发布时间:2020-02-17 14:41:36 浏览 3357 来源:博学谷 作者:照照

    Kafka是由Java编写的一个开源流处理平台,因为它强大的动作流数据处理功能而备受大数据开发者的欢迎。因而作为大数据的开发者,掌握Kafka也就掌握了大数据最重要的一项核心技术。本文是一篇新手入门Kafka的安装教程,下面小编将手把手结合图片详细的指导大家安装Kafka。

     

    安装Kafka

     

    1、认识Kafka

     

    Kakfa 是一个分布式的基于发布/订阅模式的消息队列(message queue),所谓的消息队列是指一个用户要注册信息,当用户信息写入数据库后,后面还有一些其他流程,比如发送短信,则需要等这些流程处理完成后,再返回给用户。Kafka 的基础架构主要有 broker、生产者、消费者组构成,当前还包括 ZooKeeper。目前Kakfa主要应用于大数据的实时处理领域。

     

    2 安装 Kafka

     

    步骤一:Kafka 的安装只需要解压安装包就可以完成安装。

     

    tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/

     

    步骤二: 查看配置文件。

     

    [root@es1 config]# pwd

     

    /usr/local/kafka/config

     

    [root@es1 config]# ll

     

    total 84

     

    -rw-r--r--. 1 root root  906 Feb  8  2019 connect-console-sink.properties

     

    -rw-r--r--. 1 root root  909 Feb  8  2019 connect-console-source.properties

     

    -rw-r--r--. 1 root root 5321 Feb  8  2019 connect-distributed.properties

     

    -rw-r--r--. 1 root root  883 Feb  8  2019 connect-file-sink.properties

     

    -rw-r--r--. 1 root root  881 Feb  8  2019 connect-file-source.properties

     

    -rw-r--r--. 1 root root 1111 Feb  8  2019 connect-log4j.properties

     

    -rw-r--r--. 1 root root 2262 Feb  8  2019 connect-standalone.properties

     

    -rw-r--r--. 1 root root 1221 Feb  8  2019 consumer.properties

     

    -rw-r--r--. 1 root root 4727 Feb  8  2019 log4j.properties

     

    -rw-r--r--. 1 root root 1925 Feb  8  2019 producer.properties

     

    -rw-r--r--. 1 root root 6865 Jan 16 22:00 server-1.properties

     

    -rw-r--r--. 1 root root 6865 Jan 16 22:00 server-2.properties

     

    -rw-r--r--. 1 root root 6873 Jan 16 03:57 server.properties

     

    -rw-r--r--. 1 root root 1032 Feb  8  2019 tools-log4j.properties

     

    -rw-r--r--. 1 root root 1169 Feb  8  2019 trogdor.conf

     

    -rw-r--r--. 1 root root 1023 Feb  8  2019 zookeeper.properties

     

    3)修改配置文件 server.properties

     

    设置 broker.id 这个是 Kafka 集群区分每个节点的唯一标志符。

     

    步骤三:设置 Kafka 的数据存储路径。

     

    安装Kafka

     

    步骤四:设置是否可以删除 topic,默认 Kafka topic 是不允许删除的。

     

    安装Kafka

     

    步骤五:Kafka 的数据保留的时间,默认是 7 天。

     

    步骤六:Log 文件最大的大小,如果 log 文件超过 1 G 会创建一个新的文件。

     

    安装Kafka

     

    步骤七:Kafka 连接的 ZooKeeper 的地址和连接 Kafka 的超时时间。

     

    安装Kafka

     

    步骤八:默认的 partition 的个数。

     

    步骤九:安装成功,启动 Kafka,每个 Kakfa 节点都需要手动启动,下面的方式阻塞的方式启动。

     

    安装Kafka

     

    如何安装Kafka?相信大家看完新手安装Kafka教程指导,对于这个问题应该已经有了自己的答案。当然安装Kafka只是第一步,要想更加深入学习大数据的相关技术,可以来博学谷报名相关课程。

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 影响大数据与分析的因素有哪些? 下一篇: 大数据疫情防控应用 大数据与个人隐私之间存在的冲突

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码