hadoop shell常用命令

您所在的位置：网站首页 › 登录hadoop的命令 › hadoop shell常用命令

hadoop shell常用命令

2024-06-24 13:32| 来源: 网络整理| 查看: 265

hadoop shell操作命令 Shell常用命令1.2、hdfs与getconf结合使用1.3、hdfs与dfsadmin结合使用1.4、hdfs与fsck结合使用1.5、其他命令

Shell常用命令 HDFS命令有两种风格： hadoop fs开头的 hdfs dfs开头的两种命令均可使用，效果相同

1.如何查看hdfs或hadoop子命令的帮助信息，如ls子命令

hdfs dfs -help ls hadoop fs -help ls #两个命令等价

2.查看hdfs文件系统中指定目录的文件列表。对比linux命令ls

hdfs dfs -ls / hadoop fs -ls / hdfs dfs -ls -R /

3.在hdfs文件系统中创建文件

hdfs dfs -touchz /edits.txt

4.向HDFS文件中追加内容

hadoop fs -appendToFile edit1.xml /edits.txt #将本地磁盘当前目录的edit1.xml内容追加到HDFS根目录的edits.txt文件

5.查看HDFS文件内容

hdfs dfs -cat /edits.txt

6.从本地路径上传文件至HDFS #用法：hdfs dfs -put /本地路径 /hdfs路径

hdfs dfs -put /linux本地磁盘文件 /hdfs路径文件 hdfs dfs -copyFromLocal /linux本地磁盘文件 /hdfs路径文件 #跟put作用一样 hdfs dfs -moveFromLocal /linux本地磁盘文件 /hdfs路径文件 #跟put作用一样，只不过，源文件被拷贝成功后，会被删除

7.在hdfs文件系统中下载文件

hdfs dfs -get /hdfs路径 /本地路径 hdfs dfs -copyToLocal /hdfs路径 /本地路径 #根get作用一样

8.在hdfs文件系统中创建目录

hdfs dfs -mkdir /shell

9.在hdfs文件系统中删除文件

hdfs dfs -rm /edits.txt hdfs dfs -rm -r /shell

10.在hdfs文件系统中修改文件名称（也可以用来移动文件到目录）

hdfs dfs -mv /xcall.sh /call.sh hdfs dfs -mv /call.sh /shell

11.在hdfs中拷贝文件到目录

hdfs dfs -cp /xrsync.sh /shell

12.递归删除目录

hdfs dfs -rmr /shell

13.列出本地文件的内容（默认是hdfs文件系统）

hdfs dfs -ls file:///home/hadoop/

14.查找文件

linux find命令 find . -name 'edit*' HDFS find命令 hadoop fs -find / -name part-r-00000 # 在HDFS根目录中，查找part-r-00000文件

1.5.总结输入hadoop fs 或hdfs dfs，回车，查看所有的HDFS命令许多命令与linux命令有很大的相似性，学会举一反三有用的help，如查看ls命令的使用说明：hadoop fs -help ls 绝大多数的大数据框架的命令，也有类似的help信息

1.2、hdfs与getconf结合使用

1.获取NameNode的节点名称（可能有多个）

hdfs getconf -namenodes

2.获取hdfs最小块信息

hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size

用相同命令可获取其他的属性值 3.查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses 1.3、hdfs与dfsadmin结合使用

1.同样要学会借助帮助信息

hdfs dfsadmin -help safemode

2.查看hdfs dfsadmin的帮助信息

hdfs dfsadmin

3.查看当前的模式

hdfs dfsadmin -safemode get

4.进入/退出安全模式

hdfs dfsadmin -safemode enter # 进入安全模式 hdfs dfsadmin -safemode leave #退出安全模式 1.4、hdfs与fsck结合使用

fsck指令显示HDFS块信息

hdfs fsck /02-041-0029.mp4 -files -blocks -locations # 查看文件02-041-0029.mp4的块信息 1.5、其他命令

1.检查压缩库本地安装情况

hadoop checknative

2.格式化名称节点（慎用，一般只在初次搭建集群，使用一次；格式化成功后，不要再使用）

hadoop namenode -format

3.执行自定义jar包

hadoop jar /kkb/install/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10

【本文地址】

hadoop shell常用命令

hadoop shell常用命令

今日新闻

推荐新闻