flink实时计算架构 flink 实时计算

您所在的位置:网站首页 flink异步io flink实时计算架构 flink 实时计算

flink实时计算架构 flink 实时计算

2023-06-25 12:27| 来源: 网络整理| 查看: 265

Flink 的基本架构图

flink实时计算架构 flink 实时计算_flink

从整体的架构图中可以看到,对于完整的Flink来说,可以分为Flink Client客户端,JobManager 和 TaskManager三个部分。而个组件之间的通信时通过Akka Framework来完成的。

Flink Client 客户端

Flink客户端负责体提交 / 取消 / 更新任务到JobManager,而JobManager会对状态以及统计数据进行反馈。

// set up the execution environment final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ... // execute job env.execute("my-flink-job")

在提交任务之前,Flink会根据用户提交代码生成StreamGraph。而生成的流式图,可以通过如下方式:env.getExecutionPlan()获取对应的json,然后将json粘贴到 可视化界面,即可获得对用的流失图。

JobManager

JobManager负责整个集群的任务调用以及资源的管理。JobManager作为整个集群的Master节点,控制着部署 / 取消 / 更新TaskManager里面的任务,同时负责管理任务状态,心跳以及统计。

TaskManager

TaskManager相当于整个集群的Slave节点,负责具体的任务执行以及资源的申请与管理。TaskManager在接受到需要部署的任务后,使用slot资源启动任务,不同的TaskManager之间时通过NetManager走网络连接完成数据流动。

参考文章:

1、Flink 原理、实战与性能优化

2、Flink 原理与实现:架构和拓扑概览



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3