在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
当你面试的时候突然被问到：flume 与 kafka 的整合。你会怎么回答？其实面试官提问的时候主要是想考察你对storm的理解，下面小编带大家一起分析这个问题的解答方式！
实现 flume 监控某个目录下面的所有文件，然后将文件收集发送到 kafka 消息系统中
第一步：flume 下载地址http：//archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 第二步：上传解压 flume
第三步：配置 flume.conf
为我们的 source channelsink 起名
a1.sources = r1 a1.channels = c1 a1.sinks = k1
指定我们的 source 收集到的数据发送到哪个管道
a1.sources.r1.channels = c1
指定我们的 source 数据收集策略a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /export/servers/flumedata a1.sources.r1.deletePolicy = never
a1.sources.r1.fileSuffix = .COMPLETED a1.sources.r1.ignorePattern = ^(.)*\\.tmp$ a1.sources.r1.inputCharset = GBK
指定我们的 channel 为 memory，即表示所有的数据都装进 memory当中a1.channels.c1.type = memory
指定我们的 sink 为 kafkasink，并指定我们的 sink 从哪个 channel当中读取数据a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = test
a1.sinks.k1.kafka.bootstrap.servers = node01： 9092， node02： 9092， node03： 9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
启动 flume
bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1
-Dflume.root.logger=INFO， console
把文件放到 flumeData 文件夹下，刷新，文件会自动变为.COMPLETED 文件
以上就是关于flume 与 kafka 的整合的全部知识点了，大家都了解了吗？
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
大数据Hbase面试宝典（下）
下一篇：
大数据培训有哪些课程？
相关推荐 更多
大数据工程师面试时需要注意的那些致命判断题
大数据工程师属于IT行业里面的高薪岗位，所以企业在招聘的时候不仅仅要考虑他们的专业技能，还要考察大数据工程师对于问题的判断能力，从而保障项目的高效率执行。所以和大家分享一些大数据工程师面试时需要注意的那些致命判断题。
8829
2019-06-27 18:23:44
大数据面试题之分布式资源调度框架Yarn
Yarn作为一个资源管理、任务调度的框架，其重要性不言而喻。尤其是在近些年的大数据面试中，更是面试题的重点知识之一。为了大家在面试的时候，能够准备的更加充分，小编整理了一份有关分布式资源调度框架Yarn的大数据面试题,内容包括Yarn的架构、工作流程、调度器Scheduler。
8954
2019-09-12 11:00:53
大数据工程师常见面试题 编程模型
在大数据工程师的面试过程中，编程模型的相关问题常常是绕不过去的一个考点。同时编程模型也是大数据工程师工作中非常重要的知识技能。下面就来讲讲Spout、Bolt、并行度、消息不丢失这几方面的内容，感兴趣的小伙伴就赶紧接着看下去吧！
6877
2019-10-14 18:46:44
大数据疑难解答 Hbase内部是什么机制？
众所周知，HBase是一个非关系型数据库，它的特征是分布式、列式存储、开源和版本化。无论是在大数据的面试中，还是大数据的工作中，这都是一个经常会出现的难题，然而却很少人能够说清Hbase内部机制。今天我们就花些时间聊聊Hbase内部是什么机制。
8154
2019-10-17 18:13:28
大数据岗位Spark面试题整理附答案
众所周知，Spark作为一个集群计算平台和内存计算系统，它是专门为速度和通用目标设计的。从事大数据岗位的工作者，像是ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师都需要熟练掌握Spark相关知识点，因此Spark也是常常会出现的必考面试题。下面我整理了一些Spark面试题，并附上了答案，一起来看看做一做吧！
9517
2020-04-01 17:52:24
