检查Hadoop进程是否存在的命令 查看hadoop状态 |
您所在的位置:网站首页 › 查看hadoop集群状态命令 › 检查Hadoop进程是否存在的命令 查看hadoop状态 |
(一)通过UI界面查看Hadoop运行状态Hadoop集群正常启动后,它默认开放了两个端口9870和8088,分别用于监控HDFS集群和YARN集群。通过UI界面可以方便地进行集群的管理和查看,只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。 1、查看HDFS集群状态 在浏览器里访问http://master:9870能通过主机名master加端口9870的方式,原因在于没有在hosts文件里IP与主机名的映射,现在只能通过IP地址加端口号的方式访问:http://192.168.1.101:9870修改宿主机的C:\Windows\System32\drivers\etc\hosts文件,增加hadoop集群主机名与IP地址的映射
此时,访问http://master:9870,从图中可以看出HDFS集群状态显示正常。
单击导航条上的【Datanodes】,查看数据节点信息
点开【Utilities】下拉菜单,选择【Browse the file system】 此时HDFS上什么都没有
在HDFS上创建一个目录BigData,执行命令:hdfs dfs -mkdir /BigData
在Hadoop WebUI界面查看刚才创建的目录
2、查看YARN集群状态 访问http://master:8088/cluster,从图中可以看出YARN集群状态显示正常。
单击[About]链接
(二)Hadoop集群初体验 —— 词频统计 1、启动Hadoop集群在master虚拟机上执行命令:start-all.sh 2、在虚拟机上准备文件 在master虚拟机上创建test.txt文件 3、文件上传到HDFS指定目录 上传test.txt文件到HDFS的/BigData目录(如果没有就创建目录) 利用HDFS命令查看文件是否上传成功 利用Hadoop WebUI查看文件是否上传成功 4、运行词频统计程序的jar包 执行命令:hadoop jar ./hadoop-mapreduce-examples-3.3.4.jar wordcount /BigData/test.txt /wc_result 目录/wc_result,执行命令:hdfs dfs -ls /wc_resul
查看词频统计结果,执行命令:hdfs dfs -cat /wc_result/* 5、在HDFS集群UI界面查看结果文件 在HDFS集群UI界面,查看/wc_result目录 单击结果文件part-r-00000 单击【Download】,下载结果文件到本地
利用Notepad++打开结果文件 6、在YARN集群UI界面查看程序运行状态 访问http://master:8088,看到FINISHED和SUCCEEDED 单击应用标识application_1664901602347_0001,查看应用的运行详情
|
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |