在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
本文是一篇关于梳理HDFS垃圾桶机制的学习干货总结,主要内容包括垃圾桶机制概述、垃圾桶机制配置、shell操作、Java操作以及圾桶机制验证。下面赶紧来一起看看吧~

1、垃圾桶机制概述
每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。
2、垃圾桶机制配置
HDFS的垃圾回收的默认配置属性为0,也就是说,如果你不小心误删除了某样东西,那么这个操作是不可恢复的。
修改core-site.xml:
那么可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,如 1440=24h=1天。
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>
3、shell操作
(1)删除命令
hadoop fs -rm -r file_path
(2)恢复命令
hadoop fs -mv trash_path recover_path
(3)使用skipTrash选项彻底删除文件
该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。
hadoop fs -rm -r -skipTrash 文件名
4、Java操作
当通过Java API进行文件删除时,默认是不进入垃圾桶的,如果仍想要删到垃圾桶中,代码如下:
//删除文件至垃圾桶中
//创建垃圾桶
Trash trash = new Trash(fileSystem,fileSystem.getConf());
//将文件放在回收站中
trash.moveToTrash(new Path("/dir1/file1"));
//直接删除
fileSystem.delete(new Path("/dir1/file1"),true);
3、圾桶机制验证
如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user/<username>/.Trash 下都有自己的垃圾目录)。只要文件保留在垃圾箱中,件可以快速恢复。 使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从DFS中完全删除。
以上就是HDFS垃圾桶机制总结,大家都掌握了吗?如果还有学习上的疑问,可以报名大数据的相关课程,一对一咨询在线老师课程的问题!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据核心技术:Hadoop与spark
大数据学习需要掌握很多技术知识点,包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop和spark技术。
8538
2019-06-26 17:59:29
数据分析对企业经营的作用和现实意义
大数据时代的浪潮,不仅改变着每个人个人的命运,同时为企业提供了更多的机会。在日常的企业经营中,我们往往会用到数据分析,那么数据分析对企业经营到底有多大的作用?又有哪些现实意义呢?
14895
2019-08-13 17:38:12
大数据应用技术的发展方向分析
如今,大数据的应用对企业公司以及个人都产生了深远影响,本文就来预测一下大数据应用技术的发展方向。可以预见的是,数据资产管理、数据资产管理、AI驱动的数据基础设施、面向AI的分布式计算框架和数据安全这些都将成为大数据应用技术的发展方向。对大数据应用技术感兴趣的小伙伴,可以接着往下看小编的的详细分析。
7701
2019-10-29 17:24:18
大数据在疫情中的应用场景分析
随着信息化数字时代的发展,大数据技术的应用场景越来越多,并且在我们的日常工作生活中发挥着越来越重要的作用。尤其是在这场声势浩大的新冠肺炎疫情中,大数据技术得到了充分的应用。具体的应用场景主要体现在三个方面:建立人口流动数据系统,追踪疫情最新进展以及共享公共信息平台。下面我们来看看具体的应用的分析。
22581
2020-02-24 11:05:01
常见的实用型数据可视化工具有哪些?
数据可视化工具介绍,由于每个人的的技术水平和偏好不同这里分类介绍。零编程类:操作简单,无需编程基础,适合新手小白做一些基础性的图表可视化;开发工具类专业化的可视化工具,个性化程度高,适合专业的开发者或者工程师;专业图表类:针对性制作地图、时间轴、金融数据可视化工具。接下来我们就一起来看看吧
5043
2021-01-28 10:38:20
