在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
本文是一篇关于梳理HDFS垃圾桶机制的学习干货总结,主要内容包括垃圾桶机制概述、垃圾桶机制配置、shell操作、Java操作以及圾桶机制验证。下面赶紧来一起看看吧~

1、垃圾桶机制概述
每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。
2、垃圾桶机制配置
HDFS的垃圾回收的默认配置属性为0,也就是说,如果你不小心误删除了某样东西,那么这个操作是不可恢复的。
修改core-site.xml:
那么可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,如 1440=24h=1天。
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>
3、shell操作
(1)删除命令
hadoop fs -rm -r file_path
(2)恢复命令
hadoop fs -mv trash_path recover_path
(3)使用skipTrash选项彻底删除文件
该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。
hadoop fs -rm -r -skipTrash 文件名
4、Java操作
当通过Java API进行文件删除时,默认是不进入垃圾桶的,如果仍想要删到垃圾桶中,代码如下:
//删除文件至垃圾桶中
//创建垃圾桶
Trash trash = new Trash(fileSystem,fileSystem.getConf());
//将文件放在回收站中
trash.moveToTrash(new Path("/dir1/file1"));
//直接删除
fileSystem.delete(new Path("/dir1/file1"),true);
3、圾桶机制验证
如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user/<username>/.Trash 下都有自己的垃圾目录)。只要文件保留在垃圾箱中,件可以快速恢复。 使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从DFS中完全删除。
以上就是HDFS垃圾桶机制总结,大家都掌握了吗?如果还有学习上的疑问,可以报名大数据的相关课程,一对一咨询在线老师课程的问题!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据行业必须掌握的核心技术
大数据为什么这么火?企业现在大数据人才招聘更注重哪些技能?博学谷小编通过在招聘网站的大量招聘数据发现,目前大部分企业招聘要求中重点体现5点大数据的核心技术。
12546
2019-06-11 16:31:43
数据能力如何体现数据价值?
数据资产的价值分两部分:数据资产直接变现的价值;通过数据资产作为资源加工后提供数据服务的业务价值。底层数据加工计算所涉及到的传输效率,决定了支撑数据产品高性能、高可靠的自身需求;应用层的传输影响了用户体验和场景实现。
8613
2020-02-13 16:45:17
程序员必须掌握的大数据分析核心技术有哪些?
程序员必须掌握的大数据分析核心技术有哪些?大数据分析技术现是一种传统的技术分析模型,主要对数据进行筛选、过滤之后进行分析。随着银行业、保险业,电子商务的不断发展,非结构数据的数量越来越多,增加了大数据分析的难度,对于大数据方面的程序员要求越来越高。
8298
2020-03-05 15:19:17
数据科学的发展历程
如今,数据科学可以说是一个十分火爆的领域,我们可以看到数据科学在各行各业都得到了广泛的应用。虽然数据科学在近几年发展得如此迅猛,但是数据科学的核心技术其实早在很久以前就已经提出来了。比如数据挖掘、Hadoop、深度学习、神经网络、数据可视化、强化学习和云计算等等技术都是推动数据科学发展进程的核心手段,下面我们一起来看看吧!
11986
2020-03-26 15:36:30
HDFS入门基础学习总结
HDFS全称就是Hadoop分布式文件系统,作为Hadoop的核心组件,它提供了最底层的分布式存储服务。本文整理了HDFS设计目标和HDFS的重要特性等等内容,下面一起来看HDFS入门基础学习总结吧~
6635
2020-06-09 16:19:01
