原创 HDFS基本操作学习总结

发布时间:2020-06-10 10:56:20 浏览 1903 来源:博学谷 作者:照照

    本文为大家总结了关于HDFS基本操作的学习笔记,具体内容包括Shell命令行客户端、Shell命令选项和Shell常用命令介绍。全文干货建议大家收藏起来,在学习和工作中慢慢进行记忆和查询~

     

    HDFS基本操作

     

    1Shell命令行客户端

     

    Hadoop 提供了文件系统的shell命令行客户端,使用方法如下:

     

    hadoop     fs      <args>

     

    文件系统 shell 包括与 Hadoop 分布式文件系统(HDFS)以及 Hadoop 支持的其他文件系统(如本地 FSHFTP FSS3 FS 等)直接交互的各种类似 shell 的命令。所有 FS shell 命令都将路径 URI 作为参数。

     

    URI 格式为 scheme://authority/path。对于 HDFS,该 scheme hdfs,对于本地 FS,该 scheme filescheme authority 是可选的。如果未指定, 则使用配置中指定的默认方案。

     

    对于 HDFS,命令示例如下:

     

    hadoop fs -ls hdfs://namenode:host/parent/child hadoop fs -ls /parent/child    fs.defaultFS 中有配置对于本地文件系统,命令示例如下:

     

    hadoop fs -ls file:///root/ 

     

    如果使用的文件系统是 HDFS,则使用 hdfs dfs 也是可以的,此时

     

    hadoop fs <args> = hdfs dfs <args>

     

    2Shell命令选项

     

    选项名称

    使用格式

    含义

    -ls

    -ls <路径>

    查看指定路径的当前目录结构

    -lsr

    -lsr <路径>

    递归查看指定路径的目录结构

    -du

    -du <路径>

    统计目录下个文件大小

    -dus

    -dus <路径>

    汇总统计目录下文件()大小

    -count

    -count [-q] <路径>

    统计文件()数量

    -mv

    -mv <源路径> <目的路径>

    移动

    -cp

    -cp <源路径> <目的路径>

    复制

    -rm

    -rm [-skipTrash] <路径>

    删除文件/空白文件夹

    -rmr

    -rmr [-skipTrash] <路径>

    递归删除

    -put

    -put <多个 linux 上的文件> <hdfs 路径>

    上传文件

    -copyFromLocal

    -copyFromLocal <多个 linux 上的文件>

    <hdfs 路径>

    从本地复制

    -moveFromLocal

    -moveFromLocal <多个 linux 上的文件>

    <hdfs 路径>

    从本地移动

    -getmerge

    -getmerge <源路径> <linux 路径>

    合并到本地

    -cat

    -cat <hdfs 路径>

    查看文件内容

    -text

    -text <hdfs 路径>

    查看文件内容

    -copyToLocal

    -copyToLocal [-ignoreCrc] [-crc] [hdfs

    源路径] [linux 目的路径]

    从本地复制

    -moveToLocal

    -moveToLocal [-crc] <hdfs 源路径> <li

    nux 目的路径>

    从本地移动

    -mkdir

    -mkdir <hdfs 路径>

    创建空白文件夹

    -setrep

    -setrep [-R] [-w] <副本数> <路径>

    修改副本数量

    -touchz

    -touchz <文件路径>

    创建空白文件

    -stat

    -stat [format] <路径>

    显示文件统计信息

    -tail

    -tail [-f] <文件>

    查看文件尾部信息

    -chmod

    -chmod [-R] <权限模式> [路径]

    修改权限

    -chown

    -chown [-R] [属主][:[属组]] 路径

    修改属主

    -chgrp

    -chgrp [-R] 属组名称 路径

    修改属组

    -help

    -help [命令选项]

    帮助

     

    3Shell 常用命令介绍

     

    1ls

    使用方法:hadoop fs -ls [-h] [-R] <args>

    功能:显示文件、目录信息。

    示例:hadoop fs -ls /user/hadoop/file1

     

    2mkdir

    使用方法:hadoop fs -mkdir [-p] <paths>

    功能:在 hdfs 上创建目录,-p 表示会创建路径中的各级父目录。

    示例:hadoop fs -mkdir –p /user/hadoop/dir1

     

    3put

    使用方法:hadoop fs -put [-f] [-p] [ -|<localsrc1> .. ]. <dst>

    功能:将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统。

    -p:保留访问和修改时间,所有权和权限。

    -f:覆盖目的地(如果已经存在)。

    示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

     

    4get

    使用方法:hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>

    -ignorecrc:跳过对下载文件的 CRC 检查。

    -crc:为下载的文件写 CRC 校验和。功能:将文件复制到本地文件系统。

    示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile

     

    5appendToFile  

    使用方法:hadoop fs -appendToFile <localsrc> ... <dst>

    功能:追加一个文件到已经存在的文件末尾。

    示例:hadoop fs -appendToFile localfile /hadoop/hadoopfile

     

    6cat   

    使用方法:hadoop fs -cat [-ignoreCrc] URI [URI ...]

    功能:显示文件内容到 stdout

    示例:hadoop fs -cat /hadoop/hadoopfile

     

    7tail

    使用方法:hadoop fs -tail [-f] URI 

    功能:将文件的最后一千字节内容显示到 stdout

    -f 选项将在文件增长时输出附加数据。

    示例:hadoop fs -tail /hadoop/hadoopfile

     

    8chgrp 

    使用方法:hadoop fs -chgrp [-R] GROUP URI [URI ...]

    功能:更改文件组的关联。用户必须是文件的所有者,否则是超级用户。

    -R 将使改变在目录结构下递归进行。

    示例:hadoop fs -chgrp othergroup /hadoop/hadoopfile

     

    9chmod

    功能:改变文件的权限。使用-R 将使改变在目录结构下递归进行。

    示例:hadoop fs -chmod 666 /hadoop/hadoopfile

     

    10chown

    功能:改变文件的拥有者。使用-R  将使改变在目录结构下递归进行。

    示例 :hadoop fs -chown someuser:somegrp /hadoop/hadoopfile

     

    11copyFromLocal

    使用方法:hadoop fs -copyFromLocal <localsrc> URI

    功能:从本地文件系统中拷贝文件到 hdfs 路径去 。

    示例:hadoop fs -copyFromLocal /root/1.txt /

     

    12copyToLocal        

    功能:从 hdfs 拷贝到本地 。

    示例:hadoop fs -copyToLocal /aaa/jdk.tar.gz

     

    13cp               

    功能:从 hdfs 的一个路径拷贝 hdfs 的另一个路径。

    示例:hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

     

    14mv                                     

    功能:在 hdfs 目录中移动文件。

    示例:hadoop fs -mv /aaa/jdk.tar.gz /

     

    15getmerge     

    功能:合并下载多个文件。

    示例:比如hdfs 的目录/aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum

     

    16rm                 

    功能:删除指定的文件。只删除非空目录和文件。-r 递归删除。

    示例:hadoop fs -rm -r /aaa/bbb/

     

    17df                

    功能:统计文件系统的可用空间信息。

    示例:hadoop fs -df -h /

     

    18du  

    功能:显示目录中所有文件大小,当只指定一个文件时,显示此文件的大小。

    示例:hadoop fs -du /user/hadoop/dir1

     

    19setrep                 

    功能:改变一个文件的副本系数。-R 选项用于递归改变目录下所有文件的副本系数。

    示例:hadoop fs -setrep -w 3 -R /user/hadoop/dir1

     

    以上就是HDFS基本操作的全部学习总结,内容比较多,建议大家收藏起来慢慢看。如果觉得本文对你有帮助,不妨把文章分享出去,让更多的人看到~

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: HDFS入门基础学习总结 下一篇: 大数据培训完就业前景怎么样?

相关推荐 更多

热门文章

  • 删除又恢复?微软怎么惹恼了开源社区?
  • 程序员为什么不爱炫富?
  • Python 新版本中的 6 个新特性,你去体验了么?
  • 搞Java开发,你知道哪些城市最赚钱吗?
  • 互联网行业都有哪些岗位?看看自己适合哪个吧!
  • 10月数据库排行榜出炉,火速围观!
  • GitLab上市,GitHub的最大对手来了!
  • 中办、国办发文!推动现代职业教育高质量发展!
  • 如何实现代码审查反馈?
  • 初学者,你有没有想过放弃这一行
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码