命令参考

2024-03-06 03:46| 来源: 网络整理| 查看: 265

总览用户指令类路径 dfs 环境变量提取 fsck getconf 团体 httpfs lsSnapshottableDir jmxget Oev iv oiv_legacy 快照差异版管理命令平衡器缓存管理员加密货币数据节点 dfsadmin dfsrouter dfsrouteradmin 磁盘平衡器 ec haadmin journalnode 动子名字节点 nfs3 港口地图 secondarynamenode 储存政策 k 调试命令 verifyMeta 计算元恢复租赁总览

所有HDFS命令均由bin / hdfs脚本调用。运行不带任何参数的hdfs脚本会打印所有命令的描述。

用法：hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]

Hadoop有一个选项解析框架，该框架使用解析通用选项以及运行类。

COMMAND_OPTIONS 描述 SHELL_OPTIONS 通用的外壳选项集。这些内容记录在“ 命令手册”页面上。 GENERIC_OPTIONS 多个命令支持的一组通用选项。有关更多信息，请参见《 Hadoop 命令手册》。 COMMAND COMMAND_OPTIONS 以下各节介绍了各种命令及其选项。这些命令已分组为“ 用户命令”和“ 管理命令”。用户指令

对hadoop集群的用户有用的命令。

类路径

用法：hdfs类路径[--glob | --jar | -h |-帮助]

COMMAND_OPTION 描述 --glob 扩展通配符 --jar 路径写类路径体现在罐子命名的路径 -h，--help 打印帮助

打印获取Hadoop jar和所需库所需的类路径。如果不带参数调用，则打印由命令脚本设置的类路径，该类路径可能在类路径条目中包含通配符。其他选项可在通配符扩展后打印类路径，或将类路径写入jar文件的清单中。后者在无法使用通配符且扩展的类路径超过支持的最大命令行长度的环境中很有用。

dfs

用法：hdfs dfs [COMMAND [COMMAND_OPTIONS]]

在Hadoop支持的文件系统上运行文件系统命令。各种COMMAND_OPTIONS可以在《文件系统外壳指南》中找到。

环境变量

用法：hdfs envvars

显示计算的Hadoop环境变量。

提取

用法：hdfs fetchdt

COMMAND_OPTION 描述 --webservice NN_Url 用于联系NN的网址（以http或https开头） -续订名称授权令牌续订者的名称 - 取消取消委托令牌 - 更新续订委托令牌。必须使用–renewer name选项获取委托令牌。 - 打印打印委托令牌 token_file_path 存储令牌的文件路径。

从NameNode获取委托令牌。有关更多信息，请参见fetchdt。

fsck

用法：

hdfs fsck [-list-corruptfileblocks | [-移动| 删除| -openforwrite] [-文件[-块[-位置| 架| -replicaDetails | -upgradedomains]]] [-includeSnapshots] [-showprogress] [-存储策略] [-维护] [-blockId ] COMMAND_OPTION 描述路径从此路径开始检查。 -删除删除损坏的文件。文件打印出正在检查的文件。 -files -blocks 打印阻止报告 -files -blocks -locations 打印每个块的位置。 -files -blocks -racks 打印出数据节点位置的网络拓扑。 -files -blocks -replicaDetails 打印出每个副本的详细信息。 -files -blocks -upgradedomains 打印每个块的升级域。 -includeSnapshots 如果给定路径指示快照表目录或其下有快照表目录，则包括快照数据。 -list-corruptfileblocks 打印出丢失的块和它们所属的文件的列表。 -移动将损坏的文件移至/ lost + found。 -openforwrite 打印出已打开以供写入的文件。 -showprogress 打印点以输出进度。默认为关闭（无进度）。 -存储策略打印出块的存储策略摘要。 -保养打印出维护状态节点详细信息。 -blockId 打印出有关该块的信息。

运行HDFS文件系统检查实用程序。有关更多信息，请参见fsck。

getconf

用法：

hdfs getconf -namenodes hdfs getconf -secondaryNameNodes hdfs getconf -backupNodes hdfs getconf -journalNodes hdfs getconf -includeFile hdfs getconf -excludeFile hdfs getconf -nnRpcAddresses hdfs getconf -confKey [密钥] COMMAND_OPTION 描述 -namenodes 获取集群中的名称节点列表。 -secondaryNameNodes 获取集群中辅助名称节点的列表。 -backupNodes 获取集群中备份节点的列表。 -journalNodes 获取集群中日记节点的列表。 -includeFile 获取包含文件路径，该文件路径定义了可以加入集群的数据节点。 -excludeFile 获取排除文件路径，该文件路径定义了需要停用的数据节点。 -nnRpcAddresses 获取namenode rpc地址 -confKey [密钥] 从配置中获取特定的密钥

从配置目录获取配置信息，进行后处理。

团体

用法：hdfs组[用户名...]

给定一个或多个用户名的组信息。

httpfs

用法：hdfs httpfs

运行HttpFS服务器，即HDFS HTTP网关。

lsSnapshottableDir

用法：hdfs lsSnapshottableDir [-帮助]

COMMAND_OPTION 描述 -帮帮我打印帮助

获取快照表目录列表。以超级用户身份运行时，它将返回所有快照表目录。否则，它将返回当前用户拥有的那些目录。

jmxget

用法：hdfs jmxget [-localVM ConnectorURL | 端口| 服务器mbeanserver | 服务]

COMMAND_OPTION 描述 -帮帮我打印帮助 -localVM ConnectorURL 连接到同一台计算机上的VM -port MBean服务器端口指定mbean服务器端口，如果缺少该端口，它将尝试连接到同一VM中的MBean服务器 -服务器指定mbean服务器（默认情况下为localhost）服务 NameNode | DataNode 指定jmx服务。默认情况下，NameNode。

从服务中转储JMX信息。

Oev

用法：hdfs oev [选项] -i INPUT_FILE -o OUTPUT_FILE

必需的命令行参数： COMMAND_OPTION 描述 -i，-- inputFile arg 编辑文件进行处理，xml（不区分大小写）扩展名表示XML格式，任何其他文件名表示二进制格式 -o，-- outputFile arg 输出文件名。如果指定的文件存在，它将被覆盖，文件格式由-p选项确定可选的命令行参数： COMMAND_OPTION 描述 -f，-- fix-txids 在输入中重新编号事务ID，以便没有空格或无效的事务ID。 -h，--help 显示使用情况信息并退出 -r，- 恢复读取二进制编辑日志时，请使用恢复模式。这将使您有机会跳过编辑日志的损坏部分。 -p，-- processor arg 选择要对图像文件应用的处理器类型，当前支持的处理器为：二进制（Hadoop使用的本地二进制格式），xml（默认，XML格式），统计信息（有关编辑文件的打印统计信息） -v，-- verbose 更详细的输出，输出写入文件的处理器的输入和输出文件名，也输出到屏幕。在大型图像文件上，这将大大增加处理时间（默认为false）。

Hadoop离线编辑查看器。有关更多信息，请参见《离线编辑查看器指南》。

用法：hdfs oiv [OPTIONS] -i INPUT_FILE

必需的命令行参数： COMMAND_OPTION 描述 -i | --inputFile 输入文件指定输入的fsimage文件（如果使用ReverseXML处理器，则为XML文件）进行处理。可选的命令行参数： COMMAND_OPTION 描述 -o，-- outputFile 输出文件如果指定的输出处理器生成一个文件名，则指定输出文件名。如果指定的文件已经存在，它将被静默覆盖。（默认情况下输出到stdout）如果输入文件是XML文件，它还将创建一个 .md5。 -p，- 处理器处理器指定要应用于图像文件的图像处理器。当前有效的选项是Web（默认），XML，Delimited，FileDistribution和ReverseXML。 -addr 地址指定要监听的地址（主机：端口）。（预设为localhost：5978）。该选项与Web处理器一起使用。 -maxSize 大小指定要分析的文件大小的范围[0，maxSize]（以字节为单位）（默认为128GB）。此选项与FileDistribution处理器一起使用。步长指定分布的粒度（以字节为单位）（默认为2MB）。此选项与FileDistribution处理器一起使用。 -格式以易于阅读的方式而不是多个字节来格式化输出结果。（默认情况下为false）。此选项与FileDistribution处理器一起使用。 -定界符 arg 与定界处理器一起使用的定界字符串。 -t，-- temp 临时目录使用临时目录缓存中间结果以生成定界输出。如果未设置，则定界处理器在输出文本之前在内存中构造名称空间。 -h，--help 显示工具用法和帮助信息，然后退出。

Hadoop离线图像查看器，用于Hadoop 2.4或更高版本中的图像文件。有关更多信息，请参见《脱机图像查看器指南》。

oiv_legacy

用法：hdfs oiv_legacy [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

COMMAND_OPTION 描述 -i，-- inputFile 输入文件指定要处理的输入fsimage文件。 -o，-- outputFile 输出文件如果指定的输出处理器生成一个文件名，则指定输出文件名。如果指定的文件已经存在，它将被静默覆盖。可选的命令行参数： COMMAND_OPTION 描述 -p | - 处理器处理器指定要应用于图像文件的图像处理器。有效选项包括Ls（默认值），XML，Delimited，Indented，FileDistribution和NameDistribution。 -maxSize 大小指定要分析的文件大小的范围[0，maxSize]（以字节为单位）（默认为128GB）。此选项与FileDistribution处理器一起使用。步长指定分布的粒度（以字节为单位）（默认为2MB）。此选项与FileDistribution处理器一起使用。 -格式以易于阅读的方式而不是多个字节来格式化输出结果。（默认情况下为false）。此选项与FileDistribution处理器一起使用。 -跳过块不要枚举文件中的单个块。这样可以节省处理时间并在文件很大的名称空间上节省文件空间。Ls处理器读取这些块以正确确定文件大小，并忽略此选项。 -printToScreen 将处理器的输出通过管道传输到控制台以及指定的文件。在极大的名称空间上，这可能会使处理时间增加一个数量级。 -定界符 arg 与Delimited处理器结合使用时，将默认制表符分隔符替换为arg指定的字符串。 -h | - 帮帮我显示工具用法和帮助信息，然后退出。

适用于旧版本Hadoop的Hadoop离线图像查看器。有关更多信息，请参见oiv_legacy命令。

快照差异

用法：hdfs snapshotDiff

确定HDFS快照之间的差异。有关更多信息，请参见HDFS快照文档。

版

用法：HDFS版本

打印版本。

管理命令

对hadoop集群的管理员有用的命令。

平衡器

用法：

hdfs平衡器 [-policy ] [-阈值] [-排除[-f | ]] [-include [-f | ]] [-source [-f | ]] [-blockpools ] [-idleiterations ] [-runDuringUpgrade] COMMAND_OPTION 描述 -policy datanode（默认）：如果每个数据节点均已平衡，则群集已平衡。 blockpool：如果每个数据节点中的每个块池均已平衡，则群集已达到平衡。 -threshold 磁盘容量百分比。这将覆盖默认阈值。 -exclude -f | 从平衡器中排除指定的数据节点的平衡。 -include -f | 仅包括要由平衡器平衡的指定数据节点。 -source -f | 仅选择指定的datanode作为源节点。 -blockpools 平衡器将仅在此列表中包含的块池上运行。 -idleiterations 退出之前的最大空闲迭代次数。这将覆盖默认的idleiterations（5）。 -runDuringUpgrade 在正在进行的HDFS升级期间是否运行平衡器。通常不希望这样做，因为它不会影响过度使用的计算机上的已用空间。 -h | - 帮帮我显示工具用法和帮助信息，然后退出。

运行群集平衡实用程序。管理员只需按Ctrl-C即可停止重新平衡过程。有关更多详细信息，请参见Balancer。

需要注意的是blockpool政策是不是更严格的数据节点的政策。

除上述命令选项外，从2.7.0开始引入了固定功能，以防止某些副本被平衡器/移动器移动。此固定功能默认情况下处于禁用状态，可以通过配置属性“ dfs.datanode.block-pinning.enabled”启用。启用后，此功能仅影响写入create（）调用中指定的首选节点的块。当我们想要维护数据局部性时，对于HBase区域服务器等应用程序，此功能很有用。

缓存管理员

用法：

hdfs cacheadmin [-addDirective -path -pool [-force] [-复制] [-ttl ]] hdfs cacheadmin [-modifyDirective -id [-path ] [-force] [-复制] [-池] [-ttl ]] hdfs cacheadmin [-listDirectives [-stats] [-path ] [-pool ] [-id ]] hdfs cacheadmin [-removeDirective ] hdfs cacheadmin [-removeDirectives -path ] hdfs cacheadmin [-addPool [-所有者] [-组] [-模式] [-限制] [-maxTtl ]] hdfs cacheadmin [-modifyPool [-所有者] [-组] [-模式] [-限制] [-maxTtl ]] hdfs cacheadmin [-removePool ] hdfs cacheadmin [-listPools [-stats] []] hdfs cacheadmin [-帮助]

有关更多信息，请参见HDFS缓存管理文档。

加密货币

用法：

hdfs crypto -createZone -keyName -path hdfs crypto -listZones hdfs crypto -provisionTrash -path hdfs crypto -help

有关更多信息，请参见HDFS透明加密文档。

数据节点

用法：hdfs datanode [-常规| -回滚| -rollingupgrade回滚]

COMMAND_OPTION 描述 -定期正常的datanode启动（默认）。 -回滚将datanode回滚到以前的版本。在停止datanode并分发旧的hadoop版本之后，应使用此方法。 -rolling升级回滚回滚滚动升级操作。

运行HDFS数据节点。

dfsadmin

用法：

hdfs dfsadmin [-报告[-live] [-dead] [-退役] [-enteringmaintenance] [-inmaintenance]] hdfs dfsadmin [-safemode输入| 离开得到等待 forceExit] hdfs dfsadmin [-saveNamespace [-beforeShutdown]] hdfs dfsadmin [-rollEdits] hdfs dfsadmin [-restoreFailedStorage true | false | check] hdfs dfsadmin [-refreshNodes] hdfs dfsadmin [-setQuota ... ] hdfs dfsadmin [-clrQuota ... ] hdfs dfsadmin [-setSpaceQuota [-storageType ] ... ] hdfs dfsadmin [-clrSpaceQuota [-storageType ] = fs.checkpoint.size，则对SecondaryNameNode进行检查。如果使用强制，则检查点与EditLog大小无关。 -格式启动期间格式化本地存储。 -geteditsize 打印NameNode上未检查的事务数。

运行HDFS辅助名称节点。有关更多信息，请参见Secondary Namenode。

储存政策

用法：

hdfs存储策略 [-listPolicies] [-setStoragePolicy -path -policy ] [-getStoragePolicy -path ] [-unsetStoragePolicy -path ] [-satisfyStoragePolicy -path ] [-isSatisfierRunning] [-help ]

列出所有/获取/设置/取消存储策略。有关更多信息，请参见HDFS存储策略文档。

用法：hdfs zkfc [-formatZK [-force] [-nonInteractive]]

COMMAND_OPTION 描述 -formatZK 格式化Zookeeper实例。-force：如果znode存在，则格式化znode。-nonInteractive：如果znode存在，则格式化znode会中止，除非指定了-force选项。 -H 显示帮助

该命令将启动Zookeeper故障转移控制器进程，以与带有QJM的HDFS HA一起使用。

调试命令

帮助管理员调试HDFS问题的有用命令。这些命令仅适用于高级用户。

verifyMeta

用法：hdfs debug verifyMeta -meta [-block ]

COMMAND_OPTION 描述 -block 块文件可选参数，用于指定数据节点的本地文件系统上块文件的绝对路径。 -meta 元数据文件数据节点本地文件系统上元数据文件的绝对路径。

验证HDFS元数据和阻止文件。如果指定了阻止文件，我们将验证元数据文件中的校验和是否与阻止文件匹配。

计算元

用法：hdfs调试computeMeta -block -out

COMMAND_OPTION 描述 -block 块文件数据节点本地文件系统上块文件的绝对路径。 -out 输出元数据文件输出元数据文件存储来自块文件的校验和计算结果的绝对路径。

从块文件计算HDFS元数据。如果指定了一个块文件，我们将从该块文件计算校验和，并将其保存到指定的输出元数据文件。

注意：使用风险自负！如果阻止文件已损坏，而您覆盖了它的元文件，则它将在HDFS中显示为“好”，但您无法读取数据。仅用作最后一项措施，当您100％确信阻止文件是好的。

恢复租赁

用法：hdfs debug debugLease -path [-重试]

COMMAND_OPTION 描述 [ -path 路径 ] 恢复租约的HDFS路径。 [ -retries num-retries ] 客户端重试调用restoreLease的次数。默认重试次数为1。

在指定路径上恢复租约。该路径必须位于HDFS文件系统上。默认重试次数为1。

【本文地址】

命令参考

命令参考

今日新闻

推荐新闻