在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
本文为大家总结了关于HDFS基本操作的学习笔记，具体内容包括Shell命令行客户端、Shell命令选项和Shell常用命令介绍。全文干货建议大家收藏起来，在学习和工作中慢慢进行记忆和查询~
1、Shell命令行客户端
Hadoop 提供了文件系统的shell命令行客户端，使用方法如下：
hadoop fs <args>
文件系统 shell 包括与 Hadoop 分布式文件系统（HDFS）以及 Hadoop 支持的其他文件系统（如本地 FS，HFTP FS，S3 FS 等）直接交互的各种类似 shell 的命令。所有 FS shell 命令都将路径 URI 作为参数。
URI 格式为 scheme://authority/path。对于 HDFS，该 scheme 是 hdfs，对于本地 FS，该 scheme 是 file。scheme 和 authority 是可选的。如果未指定， 则使用配置中指定的默认方案。
对于 HDFS,命令示例如下：
hadoop fs -ls hdfs://namenode:host/parent/child hadoop fs -ls /parent/child fs.defaultFS 中有配置对于本地文件系统，命令示例如下：
hadoop fs -ls file:///root/
如果使用的文件系统是 HDFS，则使用 hdfs dfs 也是可以的，此时
hadoop fs <args> = hdfs dfs <args>
2、Shell命令选项
|
选项名称 |
使用格式 |
含义 |
|
-ls |
-ls <路径> |
查看指定路径的当前目录结构 |
|
-lsr |
-lsr <路径> |
递归查看指定路径的目录结构 |
|
-du |
-du <路径> |
统计目录下个文件大小 |
|
-dus |
-dus <路径> |
汇总统计目录下文件(夹)大小 |
|
-count |
-count [-q] <路径> |
统计文件(夹)数量 |
|
-mv |
-mv <源路径> <目的路径> |
移动 |
|
-cp |
-cp <源路径> <目的路径> |
复制 |
|
-rm |
-rm [-skipTrash] <路径> |
删除文件/空白文件夹 |
|
-rmr |
-rmr [-skipTrash] <路径> |
递归删除 |
|
-put |
-put <多个 linux 上的文件> <hdfs 路径> |
上传文件 |
|
-copyFromLocal |
-copyFromLocal <多个 linux 上的文件> <hdfs 路径> |
从本地复制 |
|
-moveFromLocal |
-moveFromLocal <多个 linux 上的文件> <hdfs 路径> |
从本地移动 |
|
-getmerge |
-getmerge <源路径> <linux 路径> |
合并到本地 |
|
-cat |
-cat <hdfs 路径> |
查看文件内容 |
|
-text |
-text <hdfs 路径> |
查看文件内容 |
|
-copyToLocal |
-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路径] [linux 目的路径] |
从本地复制 |
|
-moveToLocal |
-moveToLocal [-crc] <hdfs 源路径> <li nux 目的路径> |
从本地移动 |
|
-mkdir |
-mkdir <hdfs 路径> |
创建空白文件夹 |
|
-setrep |
-setrep [-R] [-w] <副本数> <路径> |
修改副本数量 |
|
-touchz |
-touchz <文件路径> |
创建空白文件 |
|
-stat |
-stat [format] <路径> |
显示文件统计信息 |
|
-tail |
-tail [-f] <文件> |
查看文件尾部信息 |
|
-chmod |
-chmod [-R] <权限模式> [路径] |
修改权限 |
|
-chown |
-chown [-R] [属主][:[属组]] 路径 |
修改属主 |
|
-chgrp |
-chgrp [-R] 属组名称 路径 |
修改属组 |
|
-help |
-help [命令选项] |
帮助 |
3、Shell 常用命令介绍
（1）ls
使用方法：hadoop fs -ls [-h] [-R] <args>
功能：显示文件、目录信息。
示例：hadoop fs -ls /user/hadoop/file1
（2）mkdir
使用方法：hadoop fs -mkdir [-p] <paths>
功能：在 hdfs 上创建目录，-p 表示会创建路径中的各级父目录。
示例：hadoop fs -mkdir –p /user/hadoop/dir1
（3）put
使用方法：hadoop fs -put [-f] [-p] [ -|<localsrc1> .. ]. <dst>
功能：将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统。
-p：保留访问和修改时间，所有权和权限。
-f：覆盖目的地（如果已经存在）。
示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
（4）get
使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>
-ignorecrc：跳过对下载文件的 CRC 检查。
-crc：为下载的文件写 CRC 校验和。功能：将文件复制到本地文件系统。
示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile
（5）appendToFile
使用方法：hadoop fs -appendToFile <localsrc> ... <dst>
功能：追加一个文件到已经存在的文件末尾。
示例：hadoop fs -appendToFile localfile /hadoop/hadoopfile
（6）cat
使用方法：hadoop fs -cat [-ignoreCrc] URI [URI ...]
功能：显示文件内容到 stdout 。
示例：hadoop fs -cat /hadoop/hadoopfile
（7）tail
使用方法：hadoop fs -tail [-f] URI
功能：将文件的最后一千字节内容显示到 stdout。
-f 选项将在文件增长时输出附加数据。
示例：hadoop fs -tail /hadoop/hadoopfile
（8）chgrp
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI ...]
功能：更改文件组的关联。用户必须是文件的所有者，否则是超级用户。
-R 将使改变在目录结构下递归进行。
示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile
（9）chmod
功能：改变文件的权限。使用-R 将使改变在目录结构下递归进行。
示例：hadoop fs -chmod 666 /hadoop/hadoopfile
（10）chown
功能：改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。
示例 ：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
（11）copyFromLocal
使用方法：hadoop fs -copyFromLocal <localsrc> URI 。
功能：从本地文件系统中拷贝文件到 hdfs 路径去 。
示例：hadoop fs -copyFromLocal /root/1.txt /
（12）copyToLocal
功能：从 hdfs 拷贝到本地 。
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
（13）cp
功能：从 hdfs 的一个路径拷贝 hdfs 的另一个路径。
示例：hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
（14）mv
功能：在 hdfs 目录中移动文件。
示例：hadoop fs -mv /aaa/jdk.tar.gz /
（15）getmerge
功能：合并下载多个文件。
示例：比如hdfs 的目录/aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum
（16）rm
功能：删除指定的文件。只删除非空目录和文件。-r 递归删除。
示例：hadoop fs -rm -r /aaa/bbb/
（17）df
功能：统计文件系统的可用空间信息。
示例：hadoop fs -df -h /
（18）du
功能：显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。
示例：hadoop fs -du /user/hadoop/dir1
（19）setrep
功能：改变一个文件的副本系数。-R 选项用于递归改变目录下所有文件的副本系数。
示例：hadoop fs -setrep -w 3 -R /user/hadoop/dir1
以上就是HDFS基本操作的全部学习总结，内容比较多，建议大家收藏起来慢慢看。如果觉得本文对你有帮助，不妨把文章分享出去，让更多的人看到~
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
HDFS入门基础学习总结
下一篇：
大数据培训完就业前景怎么样？
相关推荐 更多
经典数据分析应用介绍
大数据时代的到来，促使互联网更加高速的发展。也为互联网创造了更多的岗位。我们耳熟能详的就是大数据在电商平台、搜索平台的应用，通过大数据分析，为我们提供了更加便利的服务。那还有哪些景点的数据分析应用案例呢？
9761
2019-07-01 19:04:24
大数据零基础入门书籍推荐
大数据零基础入门书籍推荐，如果你选择的大数据方向不同小编推荐的书籍也不同，下面主要介绍大数据工程师、数据分析师、数据挖掘工程师就业方向的大数据零基础入门书籍，如果你还没确定选什么方向，小编推荐黑马程序员初版的《Hadoop大数据技术原理与应用》比较适合初学者学习。
14329
2019-08-08 15:40:55
学云计算大数据必看的六本经典书籍推荐
大数据和云计算是未来发展的重要趋势，因此吸引了不少学习者。本文就给大家推荐，学云计算大数据必看的六本经典书籍。希望能给现在还在学习路上的小伙伴一些帮助和启示。
16635
2019-08-19 09:28:00
SQL基础语句说明汇总整理
学习SQL基础语句的重要性这里就不再赘述了，本文为大家整理汇总了SQL基础语句并附有说明，有需要的小伙伴赶紧收藏起来，以便于随时阅读使用吧~
6959
2020-06-19 13:35:14
大数据课程有哪些实战项目？
随着大数据行业的蓬勃发展，就业市场对于大数据从业者也提出了更高的要求。为了培养出真正掌握大数据开发能力的人才，博学谷的大数据课程除了有大数据理论知识的系统学习，还有涉及各个领域的大数据开发实战项目。那么大数据课程有哪些实战项目呢？一起来看看吧！
9278
2020-07-21 16:16:30
