Flink on Yarn （HA）高可用部署基于flink1.12 CDH5.8.5 保姆级操作

您所在的位置：网站首页 › flinkonyarn集群部署 › Flink on Yarn （HA）高可用部署基于flink1.12 CDH5.8.5 保姆级操作

Flink on Yarn （HA）高可用部署基于flink1.12 CDH5.8.5 保姆级操作

#Flink on Yarn （HA）高可用部署基于flink1.12 CDH5.8.5 保姆级操作| 来源: 网络整理| 查看: 265

Flink on Yarn -CDH5部署

1.1 Flink模式

Flink有开发模式，Local-cluster模式，Standalone模式，Yarn模式这里我们搭建在CDH集群上，我们采Flink on Yarn，由Yarn统一管理集群资源

1.2 Yarn模式部署

独立部署（Standalone）模式由Flink自身提供计算资源，无需其他框架提供资源，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。

但是Flink主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还选择Yarn模式。把Flink应用提交给Yarn的ResourceManager, Yarn的ResourceManager会申请容器从Yarn的NodeManager上面. Flink会创建JobManager和TaskManager在这些容器上.Flink会根据运行在JobManger上的job的需要的slot的数量动态的分配TaskManager资源

1.2.1 Yarn模式配置

下载Flink1.12.0的安装包 https://archive.apache.org/dist/flink/flink-1.12.0/

上传到/opt目录下，解压，重命名

mv ink-1.12.0 flink-yarn

配置环境变量HADOOP_CLASSPATH和HADOOP_CONF_DIR。新建/etc/profile.d/my.sh文件，并在其中添加配置

export HADOOP_CLASSPATH=`hadoop classpath` export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn/

分发环境变量到要安装的3个节点上，并分别执行如下命令，使之生效

source /etc/profile.d/my.sh 1.2.2 Yarn模式高可用 Yarn模式的高可用和Standalone模式的高可用原理不一样。

Standalone模式中, 同时启动多个Jobmanager, 一个为leader其他为standby的, 当leader挂了, 其他的才会有一个成为leader。（依赖）

yarn的高可用是同时只启动一个Jobmanager, 当这个Jobmanager挂了之后, yarn会再次启动一个, 其实是利用的yarn的重试次数来实现的高可用.

登录CDH管理客户端，进入yarn配置，搜索框输入：max-attempts，将ApplicationMaster重试次数修改为4

回到主页面重启相关的组件

在flink-conf.yaml中添加配置

yarn.application-attempts: 3 high-availability: zookeeper high-availability.storageDir: hdfs://mn1.bigdata.newcapec.org:8020/flink/yarn/ha high-availability.zookeeper.quorum: cm.bigdata.newcapec.org:2181,mn1.bigdata.newcapec.org:2181,mn2.bigdata.newcapec.org:2181 high-availability.zookeeper.path.root: /flink-yarn high-availability.cluster-id: /cluster_flink_yarn

修改bin/yarn-session.sh，添加配置

#操作hdfs的用户 export HADOOP_USER_NAME=hdfs

将/opt/flink-yarn/ 文件夹同步到另外2台节点上

在其中一台启动yarn-session

bin/yarn-session.sh -d

启动一个编写好的任务。/opt/flink-yarn目录下jar包已上传一个窗口使用9899端口发送数据