在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
当你面试的时候突然被问到：flume 与 kafka 的整合。你会怎么回答？其实面试官提问的时候主要是想考察你对storm的理解，下面小编带大家一起分析这个问题的解答方式！
实现 flume 监控某个目录下面的所有文件，然后将文件收集发送到 kafka 消息系统中
第一步：flume 下载地址http：//archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 第二步：上传解压 flume
第三步：配置 flume.conf
为我们的 source channelsink 起名
a1.sources = r1 a1.channels = c1 a1.sinks = k1
指定我们的 source 收集到的数据发送到哪个管道
a1.sources.r1.channels = c1
指定我们的 source 数据收集策略a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /export/servers/flumedata a1.sources.r1.deletePolicy = never
a1.sources.r1.fileSuffix = .COMPLETED a1.sources.r1.ignorePattern = ^(.)*\\.tmp$ a1.sources.r1.inputCharset = GBK
指定我们的 channel 为 memory，即表示所有的数据都装进 memory当中a1.channels.c1.type = memory
指定我们的 sink 为 kafkasink，并指定我们的 sink 从哪个 channel当中读取数据a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = test
a1.sinks.k1.kafka.bootstrap.servers = node01： 9092， node02： 9092， node03： 9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
启动 flume
bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1
-Dflume.root.logger=INFO， console
把文件放到 flumeData 文件夹下，刷新，文件会自动变为.COMPLETED 文件
以上就是关于flume 与 kafka 的整合的全部知识点了，大家都了解了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hbase面试宝典（下）
下一篇：
大数据培训有哪些课程？
相关推荐 更多
大数据面试题 Hadoop/MapReduce，Spark，Strom，Hive 的特点及适用场景
随着移动互联网的发展，云计算大数据开发求职者越来越多，面对如此激烈的市场竞争，小编特为大家整理了大数据面试题：Hadoop/MapReduce，Spark，Strom，Hive 的特点及适用场景。
9628
2019-07-09 15:08:42
大数据面试题 Hadoop的联邦机制
大数据学习需要掌握很多技术知识点，包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop的联邦机制。
10686
2019-07-18 23:40:42
大数据面试题 Hive数仓开发的基本流程
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。数据仓库的设计大体上可以分为以下几个步骤：概念模型设计、技术准备工作、逻辑模型设计、物理模型设计、数据仓库生成、数据仓库运行与维护。下面我们来看看Hive数仓开发的基本流程。
11393
2019-07-15 16:07:11
大数据进阶面试题Storm开源软件
在大数据求职者眼中，Storm肯定是一款高效的开源软件，它主要用于解决数据的实时计算和实时的处理等方面的问题。同时Storm也是大数据进阶面试题的重难点，因此小编整理了一些近些年来比较经典常见有关Storm的面试题,希望对大家有用。
7014
2019-08-15 16:41:39
大数据工程师常见面试题 编程模型
在大数据工程师的面试过程中，编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容，感兴趣的小伙伴就赶紧接着看下去吧！
6014
2019-10-14 18:46:44
