原创 大数据面试题：flume 与 kafka 的整合

当你面试的时候突然被问到：flume 与 kafka 的整合。你会怎么回答？其实面试官提问的时候主要是想考察你对storm的理解，下面小编带大家一起分析这个问题的解答方式！

实现 flume 监控某个目录下面的所有文件，然后将文件收集发送到 kafka 消息系统中

第一步：flume 下载地址http：//archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 第二步：上传解压 flume

第三步：配置 flume.conf

为我们的 source channelsink 起名

a1.sources = r1 a1.channels = c1 a1.sinks = k1

指定我们的 source 收集到的数据发送到哪个管道

a1.sources.r1.channels = c1

指定我们的 source 数据收集策略a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /export/servers/flumedata a1.sources.r1.deletePolicy = never

a1.sources.r1.fileSuffix = .COMPLETED a1.sources.r1.ignorePattern = ^(.)*\\.tmp$ a1.sources.r1.inputCharset = GBK

指定我们的 channel 为 memory，即表示所有的数据都装进 memory当中a1.channels.c1.type = memory

指定我们的 sink 为 kafkasink，并指定我们的 sink 从哪个 channel当中读取数据a1.sinks.k1.channel = c1

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = test

a1.sinks.k1.kafka.bootstrap.servers = node01： 9092， node02： 9092， node03： 9092

a1.sinks.k1.kafka.flumeBatchSize = 20

a1.sinks.k1.kafka.producer.acks = 1

启动 flume

bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1

-Dflume.root.logger=INFO， console

把文件放到 flumeData 文件夹下，刷新，文件会自动变为.COMPLETED 文件

以上就是关于flume 与 kafka 的整合的全部知识点了，大家都了解了吗？