Kafka快速入门系列(13)

您所在的位置：网站首页 › flume+kafka+spark › Kafka快速入门系列(13)

Kafka快速入门系列(13)

2023-04-10 21:54| 来源: 网络整理| 查看: 265

本篇博主带来的是Flume对接Kafka。

1. Kafka与Flume比较

在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么：

1. flume：cloudera公司研发适合多个生产者；适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。 2.kafka：linkedin公司研发: 适合数据下游消费众多的情况；适合数据安全性要求较高的操作，支持replication。

因此我们常用的一种模型是：线上数据 --> flume --> kafka --> flume(根据情景增删该流程) --> HDFS

2. Flume与kafka集成 1. 编写代码package com.buwenbuhuo.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import java.util.List; /** * @author 卜温不火 * @create 2020-05-07 18:57 * com.buwenbuhuo.flume.interceptor - the name of the target package where the new class or interface will be created. * kafka0506 - the name of the current project. */ public class Customlnterceptor implements Interceptor { @Override public void initialize() { } @Override public Event intercept(Event event) { if (event.getBody()[0] >= '0' && event.getBody()[0] = 'a' && event.getBody()[0]

【本文地址】

Kafka快速入门系列(13)

Kafka快速入门系列(13)

今日新闻

推荐新闻