在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
本文为大家总结了关于HDFS基本操作的学习笔记,具体内容包括Shell命令行客户端、Shell命令选项和Shell常用命令介绍。全文干货建议大家收藏起来,在学习和工作中慢慢进行记忆和查询~
1、Shell命令行客户端
Hadoop 提供了文件系统的shell命令行客户端,使用方法如下:
hadoop fs <args>
文件系统 shell 包括与 Hadoop 分布式文件系统(HDFS)以及 Hadoop 支持的其他文件系统(如本地 FS,HFTP FS,S3 FS 等)直接交互的各种类似 shell 的命令。所有 FS shell 命令都将路径 URI 作为参数。
URI 格式为 scheme://authority/path。对于 HDFS,该 scheme 是 hdfs,对于本地 FS,该 scheme 是 file。scheme 和 authority 是可选的。如果未指定, 则使用配置中指定的默认方案。
对于 HDFS,命令示例如下:
hadoop fs -ls hdfs://namenode:host/parent/child hadoop fs -ls /parent/child fs.defaultFS 中有配置对于本地文件系统,命令示例如下:
hadoop fs -ls file:///root/
如果使用的文件系统是 HDFS,则使用 hdfs dfs 也是可以的,此时
hadoop fs <args> = hdfs dfs <args>
2、Shell命令选项
选项名称 |
使用格式 |
含义 |
-ls |
-ls <路径> |
查看指定路径的当前目录结构 |
-lsr |
-lsr <路径> |
递归查看指定路径的目录结构 |
-du |
-du <路径> |
统计目录下个文件大小 |
-dus |
-dus <路径> |
汇总统计目录下文件(夹)大小 |
-count |
-count [-q] <路径> |
统计文件(夹)数量 |
-mv |
-mv <源路径> <目的路径> |
移动 |
-cp |
-cp <源路径> <目的路径> |
复制 |
-rm |
-rm [-skipTrash] <路径> |
删除文件/空白文件夹 |
-rmr |
-rmr [-skipTrash] <路径> |
递归删除 |
-put |
-put <多个 linux 上的文件> <hdfs 路径> |
上传文件 |
-copyFromLocal |
-copyFromLocal <多个 linux 上的文件> <hdfs 路径> |
从本地复制 |
-moveFromLocal |
-moveFromLocal <多个 linux 上的文件> <hdfs 路径> |
从本地移动 |
-getmerge |
-getmerge <源路径> <linux 路径> |
合并到本地 |
-cat |
-cat <hdfs 路径> |
查看文件内容 |
-text |
-text <hdfs 路径> |
查看文件内容 |
-copyToLocal |
-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路径] [linux 目的路径] |
从本地复制 |
-moveToLocal |
-moveToLocal [-crc] <hdfs 源路径> <li nux 目的路径> |
从本地移动 |
-mkdir |
-mkdir <hdfs 路径> |
创建空白文件夹 |
-setrep |
-setrep [-R] [-w] <副本数> <路径> |
修改副本数量 |
-touchz |
-touchz <文件路径> |
创建空白文件 |
-stat |
-stat [format] <路径> |
显示文件统计信息 |
-tail |
-tail [-f] <文件> |
查看文件尾部信息 |
-chmod |
-chmod [-R] <权限模式> [路径] |
修改权限 |
-chown |
-chown [-R] [属主][:[属组]] 路径 |
修改属主 |
-chgrp |
-chgrp [-R] 属组名称 路径 |
修改属组 |
-help |
-help [命令选项] |
帮助 |
3、Shell 常用命令介绍
(1)ls
使用方法:hadoop fs -ls [-h] [-R] <args>
功能:显示文件、目录信息。
示例:hadoop fs -ls /user/hadoop/file1
(2)mkdir
使用方法:hadoop fs -mkdir [-p] <paths>
功能:在 hdfs 上创建目录,-p 表示会创建路径中的各级父目录。
示例:hadoop fs -mkdir –p /user/hadoop/dir1
(3)put
使用方法:hadoop fs -put [-f] [-p] [ -|<localsrc1> .. ]. <dst>
功能:将单个 src 或多个 srcs 从本地文件系统复制到目标文件系统。
-p:保留访问和修改时间,所有权和权限。
-f:覆盖目的地(如果已经存在)。
示例:hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
(4)get
使用方法:hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>
-ignorecrc:跳过对下载文件的 CRC 检查。
-crc:为下载的文件写 CRC 校验和。功能:将文件复制到本地文件系统。
示例:hadoop fs -get hdfs://host:port/user/hadoop/file localfile
(5)appendToFile
使用方法:hadoop fs -appendToFile <localsrc> ... <dst>
功能:追加一个文件到已经存在的文件末尾。
示例:hadoop fs -appendToFile localfile /hadoop/hadoopfile
(6)cat
使用方法:hadoop fs -cat [-ignoreCrc] URI [URI ...]
功能:显示文件内容到 stdout 。
示例:hadoop fs -cat /hadoop/hadoopfile
(7)tail
使用方法:hadoop fs -tail [-f] URI
功能:将文件的最后一千字节内容显示到 stdout。
-f 选项将在文件增长时输出附加数据。
示例:hadoop fs -tail /hadoop/hadoopfile
(8)chgrp
使用方法:hadoop fs -chgrp [-R] GROUP URI [URI ...]
功能:更改文件组的关联。用户必须是文件的所有者,否则是超级用户。
-R 将使改变在目录结构下递归进行。
示例:hadoop fs -chgrp othergroup /hadoop/hadoopfile
(9)chmod
功能:改变文件的权限。使用-R 将使改变在目录结构下递归进行。
示例:hadoop fs -chmod 666 /hadoop/hadoopfile
(10)chown
功能:改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。
示例 :hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
(11)copyFromLocal
使用方法:hadoop fs -copyFromLocal <localsrc> URI 。
功能:从本地文件系统中拷贝文件到 hdfs 路径去 。
示例:hadoop fs -copyFromLocal /root/1.txt /
(12)copyToLocal
功能:从 hdfs 拷贝到本地 。
示例:hadoop fs -copyToLocal /aaa/jdk.tar.gz
(13)cp
功能:从 hdfs 的一个路径拷贝 hdfs 的另一个路径。
示例:hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
(14)mv
功能:在 hdfs 目录中移动文件。
示例:hadoop fs -mv /aaa/jdk.tar.gz /
(15)getmerge
功能:合并下载多个文件。
示例:比如hdfs 的目录/aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum
(16)rm
功能:删除指定的文件。只删除非空目录和文件。-r 递归删除。
示例:hadoop fs -rm -r /aaa/bbb/
(17)df
功能:统计文件系统的可用空间信息。
示例:hadoop fs -df -h /
(18)du
功能:显示目录中所有文件大小,当只指定一个文件时,显示此文件的大小。
示例:hadoop fs -du /user/hadoop/dir1
(19)setrep
功能:改变一个文件的副本系数。-R 选项用于递归改变目录下所有文件的副本系数。
示例:hadoop fs -setrep -w 3 -R /user/hadoop/dir1
以上就是HDFS基本操作的全部学习总结,内容比较多,建议大家收藏起来慢慢看。如果觉得本文对你有帮助,不妨把文章分享出去,让更多的人看到~
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据时代带给我们的重大变革
无论是大数据、人工智能还是区块链都预示着科技的力量会将我们的日常生活带来巨大的变革。就目前而言,大数据已经在很多领域得到了实际的应用。也为我们的生活消费带来的巨大的变革。到2020年,世界上每个人每秒将创造7 MB的数据。下面试10个关于大数据未来预测的问题,告诉你大数据时代带给我们的重大变革。
9750
2019-08-09 18:04:05
大数据Hbase经典面试题汇总
本文是根据市场需求和许多程序员面试的反馈而整理出来的,里面汇总了近些年来有关Hbase知识点的大数据经典面试题。希望本文能帮助求职者梳理Hbase知识点,让求职者在面试过程中胸有成竹。
9137
2019-08-05 19:10:38
Kylin开发教程为什么要学习Kylin?
大数据时代为互联网创造了更多的可能与机会。面对更多的就业岗位、更高的就业薪资、更具有创造性的工作内容,很多在职人群选择进一步学习,把握好数据时代为我们带来的重大机遇。然而优质课程资源稀缺,想要学习却找到好的途径成为大家面临的难题。今天博学谷小编就针对Kylin操作系统的技能提升为大家介绍一门《基于Kylin搞定千亿级电信数据分析》课程。
5695
2019-11-07 15:52:50
Hadoop入门基础知识总结
大数据时代的浪潮袭来,Hadoop作为一种用来处理海量数据分析的工具,是每一个大数据开发者必须要学习和掌握的利器。本文总结了Hadoop入门基础知识,主要包括了Hadoop概述、Hadoop的发展历程和Hadoop的特性。下面一起来看看吧!
5759
2020-06-18 10:14:31
狂野大数据课程怎么样?项目实战多吗?
狂野大数据课程作为数字化人才的职场提升课程采用的是线上授课模式,学习该课程无需脱产对在职人群而言一边工作一边实现自我价值提升可谓一举两得。这门课程有一定门槛,课程适合有⼀定的IT⾏业经验,想要转⾏进⼊⼤数据开发或者有技术深造需求的同学。
3445
2022-09-16 15:31:39
热门文章
- 前端是什么
- 前端开发的工作职责
- 前端开发需要会什么?先掌握这三大核心关键技术
- 前端开发的工作方向有哪些?
- 简历加分-4步写出HR想要的简历
- 程序员如何突击面试?两大招带你拿下面试官
- 程序员面试技巧
- 架构师的厉害之处竟然是这……
- 架构师书籍推荐
- 懂了这些,才能成为架构师 查看更多
扫描二维码,了解更多信息
