Flink四种集群模式原理 |
您所在的位置：网站首页 › flink高可用集群搭建 › Flink四种集群模式原理 |
Flink四种集群模式原理
|
Flink的集群安装模式
Local——本地单机模式，学习测试使用Standlone——独立集群模式，flink自带集群，学习测试使用standloneHA——独立集群的高可用模式，flink自带集群，开发测试使用On Yarn——计算机资源同意由Hadoop Yarn管理，生产模式使用
1. Local——本地单机模式
1.Client上传jar包和配置文件到HDFS集群上 2.Client向Yarn ResourceManager提交任务并申请资源 3.ResourceManager分配Container资源并启动ApplicationMaster,然后AppMaster加载Flink的Jar包和配置构建环境,启动JobManager 4.ApplicationMaster向ResourceManager申请工作资源,NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager 5.TaskManager启动后向JobManager发送心跳包，并等待JobManager向其分配任务 4.2 On Yarn模式的优点 资源按需使用分配 Yarn的资源可以按需使用，提高集群的资源（CPU,内存……）使用率支持优先级和多种调度策略 Yarn的任务有优先级，根据优先级运行作业和灵活的调度策略。 Yarn的三种调度策略：FIFO调度算法、Capcity调度算法、Fair调度算法自带容错机制，实现高可用 基于Yarn调度系统，能够自动化地处理各个角色地Failover(容错) JobManager进程和TaskManager进程都由Yarn NodeManager监控如果TaskManager进程异常退出，JobManager会受到消息并重新向Yarn ResourceManager申请资源，重新启动TaskManager 4.3OnYarn 的两种模式 sesion会话模式——适合小任务 过程：多个Client在一套Flink集群上去执行。 优点:可以重复使用在Yarn上开启的Flink集群。 缺点:适合小任务,不适合大任务。 +job分离模式——适合大任务  过程：每个Client任务单独开启一套Flink集群。 优点:每个任务单独在Yarn上启动一套Flink集群,适合大任务。 缺点:需要频繁的在Yarn上开启Flink集群。
|
【本文地址】
今日新闻 |
推荐新闻 |