本文主要对Flink和Spark集群的standalone模式及on yarn模式进行分析对比。Flink与Spark的应用调度和执行的核心区别是Flink不同的job在执行时，其task同时运行在同一个进程TaskManager进程中；Spark的不同job的task执行时，会启动不同的executor来调度执行，job之间是隔离的。

Flink 和Spark均支持standalone模式（不依赖其他集群资源管理和调度）的部署，启动自身的Master/Slave架构的集群管理模式，完成应用的调度与执行。

Spark

On-yarn模式

Flink on Yarn 模式，其ApplicationMaster实现对JobManager的封装，作为该job的核心，完成executionGraph的生成，task的分发，运行结果的处理等；而YarnTaskManager则继承至TaskManager，完成task的运行。

Spark on Yarn 模式下，根据driver及业务逻辑运行的进程不同分为yarn-client和yarn-cluster模式；

yarn-cluster模式

Yarn-cluster模式下，Flink提交应用至Yarn集群，类似MR job，运行完后结束

yarn-session模式

Yarn-session模式下，首先向Yarn提交一个长时运行的空应用，运行起来之后，后分别启动YarnApplicationMasterRunner/ApplicationMaster/JobManager，和N个YarnTaskManager/Container，但此时没有任务运行； 其他Flink客户端可通过制定ApplicationId的方式提交Flink Job到此JobManager,由该JobManager完成应用的解析和调度执行。

Yarn-client和yarn-cluster的主要区别在于driver运行的进程不一样：

Yarn-client

Yarn-cluster

PS ：

Flink和Spark在On yarn模式下的各进程核心功能对比如下