Hadoop常见组件启动方式汇总(持续更新....) |
您所在的位置:网站首页 › hadoop五大组件 › Hadoop常见组件启动方式汇总(持续更新....) |
接触过大数据领域的朋友都知道,Hadoop生态系统十分的庞大,许多组件启动的方式也是不尽相同,今天博主抽空整理了一下大数据生态圈中常见组件的启动方式,也算是为自己巩固了一下基础吧~ 申明:博主所有Hadoop的组件都是安装在/export/servers/目录下的,大家在借鉴操作的时候需依自己组件的安装位置为准… 在开始之前,博主先把所有的进程全部关闭之后,并执行xcall jps确保每台集群只有初始的进程~ cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/ 开启HDFS start-dfs.sh 开启Yarn sbin/start-yarn.sh 也可以使用集群自带的一键启动脚本 start-all.sh 启动后主节点正常的集群状态: 46677 Jps 45574 NameNode 45707 DataNode 45868 SecondaryNameNode 46012 ResourceManager 46111 NodeManager从节点: [root@node02 bin]# jps 87414 DataNode 87526 NodeManager 88095 Jps Hivecd /export/servers/hive-1.1.0-cdh5.14.0/ 启动hive服务 bin/hive --service metastore & 开启远程连接 hive --service hiveserver2 & Zookeepercd /export/servers/zookeeper-3.4.5-cdh5.14.0/bin/ 一键启动 zk_startall.sh 一键关闭 zk_stopall.sh 关于一键启动和关闭的脚本,参考《关于Zookeeper一键启动/关闭脚所产生的乌龙事件》 启动完毕之后各节点都多了如下进程: 48051 QuorumPeerMain HBasecd /export/servers/hbase-1.2.0-cdh5.14.0/bin 开启Hbase start-hbase.sh 关闭HBase stop-hbase.sh Huecd /export/servers/hue-3.9.0-cdh5.14.0/ build/env/bin/supervisor 查看HBase需要单独开启thrif进程 hbase-daemon.sh start thrift Spark开启Spark cd /export/servers/spark/sbin/ start-all.sh 关闭Spark stop-all.sh Azkabancd azkaban-solo-server-0.1.0-SNAPSHOT/ 开启Azkaban bin/start-solo.sh Phoenix cd /export/servers/phoenix/bin 开启连接 ./sqlline.py node01:2181 Kafka 在kafka启动前,一定要让zookeeper启动起来。 然后在每台节点执行以下命令以启动Kafka集群 cd /export/servers/kafka_2.11-1.0.0 nohup bin/kafka-server-start.sh config/server.properties 2>&1 & 关闭Kafka集群 每台机器也可以执行以下命令停止kafka集群 cd /export/servers/kafka_2.11-1.0.0 bin/kafka-server-stop.sh 这样的启动和关闭的方式需要在集群上重复大量的重复命令,故可以采取脚本的形式管理Kafka集群。 详情请见《超好用的Kafka集群启动,关闭脚本》 其他Hadoop的JobHistory cd /export/servers/hadoop-2.6.0-cdh5.14.0/ 开启JobHistory进程 sbin/mr-jobhistory-daemon.sh start historyserver 好了,本次的分享就到这里~还有好多组件在这里还未贴出来,后续会持续更新,敬请期待|ू・ω・` ) |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |