Hadoop常见组件启动方式汇总(持续更新....)

您所在的位置:网站首页 hadoop五大组件 Hadoop常见组件启动方式汇总(持续更新....)

Hadoop常见组件启动方式汇总(持续更新....)

2023-08-18 19:32| 来源: 网络整理| 查看: 265

        接触过大数据领域的朋友都知道,Hadoop生态系统十分的庞大,许多组件启动的方式也是不尽相同,今天博主抽空整理了一下大数据生态圈中常见组件的启动方式,也算是为自己巩固了一下基础吧~ 在这里插入图片描述

        申明:博主所有Hadoop的组件都是安装在/export/servers/目录下的,大家在借鉴操作的时候需依自己组件的安装位置为准…

        在开始之前,博主先把所有的进程全部关闭之后,并执行xcall jps确保每台集群只有初始的进程~ 在这里插入图片描述

HDFS和YARN

cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/

开启HDFS start-dfs.sh

开启Yarn sbin/start-yarn.sh

也可以使用集群自带的一键启动脚本 start-all.sh

启动后主节点正常的集群状态:

46677 Jps 45574 NameNode 45707 DataNode 45868 SecondaryNameNode 46012 ResourceManager 46111 NodeManager

从节点:

[root@node02 bin]# jps 87414 DataNode 87526 NodeManager 88095 Jps Hive

cd /export/servers/hive-1.1.0-cdh5.14.0/

启动hive服务 bin/hive --service metastore &

开启远程连接 hive --service hiveserver2 &

Zookeeper

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/bin/

一键启动 zk_startall.sh

一键关闭 zk_stopall.sh

关于一键启动和关闭的脚本,参考《关于Zookeeper一键启动/关闭脚所产生的乌龙事件》

启动完毕之后各节点都多了如下进程:

48051 QuorumPeerMain HBase

cd /export/servers/hbase-1.2.0-cdh5.14.0/bin

开启Hbase start-hbase.sh

关闭HBase stop-hbase.sh

Hue

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

查看HBase需要单独开启thrif进程 hbase-daemon.sh start thrift

Spark

开启Spark cd /export/servers/spark/sbin/

start-all.sh

关闭Spark stop-all.sh

Azkaban

cd azkaban-solo-server-0.1.0-SNAPSHOT/

开启Azkaban bin/start-solo.sh

        

Phoenix

cd /export/servers/phoenix/bin

开启连接 ./sqlline.py node01:2181

        

Kafka

在kafka启动前,一定要让zookeeper启动起来。 然后在每台节点执行以下命令以启动Kafka集群 cd /export/servers/kafka_2.11-1.0.0 nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

关闭Kafka集群 每台机器也可以执行以下命令停止kafka集群 cd /export/servers/kafka_2.11-1.0.0 bin/kafka-server-stop.sh

这样的启动和关闭的方式需要在集群上重复大量的重复命令,故可以采取脚本的形式管理Kafka集群。 详情请见《超好用的Kafka集群启动,关闭脚本》

其他

Hadoop的JobHistory

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

开启JobHistory进程 sbin/mr-jobhistory-daemon.sh start historyserver

        好了,本次的分享就到这里~还有好多组件在这里还未贴出来,后续会持续更新,敬请期待|ू・ω・` )          在这里插入图片描述



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3