Flink吐血总结，学习与面试收藏这一篇就够了！！！ |
您所在的位置：网站首页 › flink总结 › Flink吐血总结，学习与面试收藏这一篇就够了！！！ |
Flink吐血总结，学习与面试收藏这一篇就够了！！！
|
关注大数据左右手回复关键字【资料】 获取10万字的框架知识点总结 和 利于开发的大数据框架命令（纯净版） FlinkFlink 核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某一个时间点。把事件按照时间顺序排列起来，就形成了一个事件流，也叫作数据流。「无界数据」是持续产生的数据，所以必须持续地处理无界数据流。「有界数据」，就是在一个确定的时间范围内的数据流，有开始有结束，一旦确定了就不会再改变。 可靠的容错能力集群级容错集群管理器集成（Hadoop YARN、Mesos或Kubernetes）高可用性设置（HA模式基于ApacheZooKeeper）应用级容错（ Checkpoint）一致性（其本身支持Exactly-Once 语义）轻量级（检查点的执行异步和增量检查点）高吞吐、低延迟运行时架构
运行时架构图 Flink 客户端提交Flink作业到Flink集群Stream Graph 和 Job Graph构建JobManager资源申请任务调度应用容错TaskManager接收JobManager 分发的子任务，管理子任务任务处理（消费数据、处理数据）Flink 应用数据流DataStream 体系DataStream(每个DataStream都有一个Transformation对象)DataStreamSource（DataStream的起点）DataStreamSink（DataStream的输出）KeyedStream（表示根据指定的Key记性分组的数据流）WindowdeStream & AllWindowedStream（根据key分组且基于WindowAssigner切分窗口的数据流）JoinedStreams & CoGroupedStreamsJoinedStreams底层使用CoGroupedStreams来实现CoGrouped侧重的是Group，对数据进行分组，是对同一个key上的两组集合进行操作Join侧重的是数据对，对同一个key的每一对元素进行操作ConnectedStreams（表示两个数据流的组合）BroadcastStream & BroadcastConnectedStream（DataStream的广播行为）IterativeStream（包含IterativeStream的Dataflow是一个有向有环图）AsyncDataStream（在DataStream上使用异步函数的能力）处理数据API
处理数据API 核心抽象环境对象
顺序输出模式（先收到的数据元素先输出，后续数据元素的异步函数调用无论是否先完成，都需要等待）
无序输出模式（先处理完的数据元素先输出，不保证消息顺序）
用于处理乱序事件，而正确地处理乱序事件，通常用Watermark机制结合窗口来实现 DataStream Watermark 生成Source Function 中生成WatermarkDataStream API 中生成WatermarkAssingerWithPeriodicWatermarks （周期性的生成Watermark策略，不会针对每个事件都生成）AssingerWithPunctuatedWatermarks （对每个事件都尝试进行Watermark的生成，如果生成的结果是null 或Watermark小于之前的，则不会发往下游）内存管理自主内存管理原因JVM内存管理的不足有效数据密度低垃圾回收（大数据场景下需要消耗大量的内存，更容易触发Full GC ）OOM 问题影响稳定性缓存未命中问题（Java对象在堆上存储时并不是连续的）自主内存管理堆上内存的使用、监控、调试简单，堆外内存出现问题后的诊断则较为复杂Flink有时需要分配短生命周期的MemorySegment，在堆外内存上分配比在堆上内存开销更高。在Flink的测试中，部分操作在堆外内存上会比堆上内存慢大内存（上百GB）JVM的启动需要很长时间，Full GC可以达到分钟级。使用堆外内存，可以将大量的数据保存在堆外，极大地减小堆内存，避免GC和内存溢出的问题。高效的IO操作。堆外内存在写磁盘或网络传输时是zero-copy，而堆上内存则至少需要1次内存复制。堆外内存是进程间共享的。也就是说，即使JVM进程崩溃也不会丢失数据。这可以用来做故障恢复（Flink暂时没有利用这项功能，不过未来很可能会去做）堆外内存的优势堆外内存的不足内存模型内存模型图
一个MemorySegment对应着一个32KB大小的内存块。这块内存既可以是堆上内存（Java的byte数组），也可以是堆外内存（基于Netty的DirectByteBuffer） 图解
实际申请的是堆外内存，通过RocksDB的Block Cache和WriterBufferManager参数来限制，RocksDB使用的内存量 State（状态）状态管理需要考虑的因素： 状态数据的存储和访问状态数据的备份和恢复状态数据的划分和动态扩容状态数据的清理分类
SchedulingStrategy（调度策略） 实现EagerSchelingStrategy（该调度策略用来执行流计算作业的调度）LazyFromSourceSchedulingStrategy（该调度策略用来执行批处理作业的调度）startScheduling：调度入口，触发调度器的调度行为restartTasks：重启执行失败的Task，一般是Task执行异常导致的onExecutionStateChange：当Execution的状态发生改变时onPartitionConsumable：当IntermediateResultParitititon中的数据可以消费时ScheduleMode（调度模式） Eager调度（该模式适用于流计算。一次性申请需要所有的资源，如果资源不足，则作业启动失败。）Lazy_From_Sources分阶段调度（适用于批处理。从Source Task开始分阶段调度，申请资源的时候，一次性申请本阶段所需要的所有资源。上游Task执行完毕后开始调度执行下游的Task，读取上游的数据，执行本阶段的计算任务，执行完毕之后，调度后一个阶段的Task，依次进行调度，直到作业执行完成）Lazy_From_Sources_With_Batch_Slot_Request分阶段Slot重用调度（适用于批处理。与分阶段调度基本一样，区别在于该模式下使用批处理资源申请模式，可以在资源不足的情况下执行作业，但是需要确保在本阶段的作业执行中没有Shuffle行为）关键组件JobMaster调度执行和管理（将JobGraph转化为ExecutionGraph，调度Task的执行，并处理Task的异常）InputSplit 分配结果分区跟踪作业执行异常作业Slot资源管理 检查点与保存点 监控运维相关 心跳管理 Task结构
TwoPhaseCommitSinkFunction beginTransaction，开启一个事务，在临时目录中创建一个临时文件，之后写入数据到该文件中。此过程为不同的事务创建隔离，避免数据混淆。preCommit。预提交阶段。将缓存数据块写出到创建的临时文件，然后关闭该文件，确保不再写入新数据到该文件，同时开启一个新事务，执行属于下一个检查点的写入操作。commit。在提交阶段，以原子操作的方式将上一阶段的文件写入真正的文件目录下。如果提交失败，Flink应用会重启，并调用TwoPhaseCommitSinkFunction#recoverAndCommit方法尝试恢复并重新提交事务。abort。一旦终止事务，删除临时文件。Flink SQL关系图
orangeStream.join(greenStream) .where() .equalTo() .window(TumblingEventTimeWindows.of(Time.milliseconds(2))) .apply (new JoinFunction (){ @Override public String join(Integer first, Integer second) { return first + "," + second; } }); Sliding Window JoinDataStream orangeStream = ...DataStream greenStream = ...orangeStream.join(greenStream) .where() .equalTo() .window(SlidingEventTimeWindows.of(Time.milliseconds(2) /* size */, Time.milliseconds(1) /* slide */)) .apply (new JoinFunction (){ @Override public String join(Integer first, Integer second) { return first + "," + second; } }); Session Window JoinDataStream orangeStream = ...DataStream greenStream = ...orangeStream.join(greenStream) .where() .equalTo() .window(EventTimeSessionWindows.withGap(Time.milliseconds(1))) .apply (new JoinFunction (){ @Override public String join(Integer first, Integer second) { return first + "," + second; } }); 同学共进，点赞，转发，关注，是我学习之动力。 和我联系吧，交流大数据知识,一起成长~~~ |
【本文地址】
今日新闻 |
推荐新闻 |