Linux服务器操作系统快速删除大量/大文件 |
您所在的位置:网站首页 › linux删除服务器所有数据命令 › Linux服务器操作系统快速删除大量/大文件 |
前言 注意本文说的“海量”并不是指体积大,而是指数量,比如一个目录下有数百万个小文件。最近在优化服务器时发现postfix下的maildrop目录和clientmqueue目录还有var目录下发现有大量的文件,进入这些目录里使用ls命令是愚蠢的做法,而直接执行rm * , 没有任何反应,文件数量也没有减少,也就是说,在海量文件目录里直接使用rm命令进行删除是无效的。 常规方法:那么正确的方法是什么呢?有两种方法可选: 第一种: 1 find /path/to/directory -type f -exec rm {} \; 第二种: 2 ls -1 /path/to/directory | xargs -I{} rm {} 一、快速删除大量/散/海量文件/碎片化的文件方法1、快速删除大量文件: 假如你要在linux下删除大量文件,比如100万、1000万,像/var/spool/clientmqueue/的mail邮件,/usr/local/nginx/proxy_temp的nginx缓存等,那么rm -rf *可能就不好使了。 rsync 可以用来清空目录或文件,如下: 1)先建立一个空目录 mkdir -p /data/blank 2)用rsync删除目标目录 rsync--delete-before -d /data/blank/ /var/spool/clientmqueue/ 这样目标目录很快就被清空了 注:其中--delete-before 接收者在传输之前进行删除操作 不要忘记文件夹后的“/” 附: rsync的跟删除相关的参数 rsync --help | grep delete --del an alias for --delete-during --delete delete files that don't exist on the sending side --delete-before receiver deletes before transfer (default) --delete-during receiver deletes during transfer, not before --delete-after receiver deletes after transfer, not before --delete-excluded also delete excluded files on the receiving side --ignore-errors delete even if there are I/O errors --max-delete=NUM don't delete more than NUM files rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了,删除的速度会非常快。rsync实际上用的是替换原理,处理数十万个文件也是秒删。 选项说明: –delete-before 接收者在传输之前进行删除操作 –progress 在传输时显示传输过程 -a 归档模式,表示以递归方式传输文件,并保持所有文件属性 -H 保持硬连接的文件 -v 详细输出模式 –stats 给出某些文件的传输状态 方法2、快速删除大量文件: 直接进入到对应的目录,然后执行命令,快速删除大量散文件和重复碎片化文件 ls | xargs -n 10 rm -rf 二、快速删除大文件或者大容量内容文件方法1、快速删除大文件: 假如你有一些特别大的文件要删除,比如nohup.out这样的实时更新的文件,动辄都是几十个G上百G的,也可以用rsync来清空大文件,而且效率比较高。 1)创建空文件 touch/data/blank.txt 2)用rsync清空文件 rsync-a --delete-before --progress --stats /root/blank.txt /root/nohup.out 方法2、通过重定向到 Null 来清空文件内容清空或者让一个文件成为空白的最简单方式,是像下面那样,通过 shell 重定向 null (不存在的事物)到该文件: # > access.log 方法3、使用符号或者命令(实际上就是用命令写入覆盖0内容),例如: :符号 # : > access.log # true > access.log 命令写入 # cat /dev/null > access.log # cp /dev/null access.log # dd if=/dev/null of=access.log # echo "" > access.log 或者 # echo > access.log # echo -n "" > access.log # truncate -s 0 access.log 上面这两种方法可以成功的删除海量文件,速度也很快。但还有一种更好的方法,比如要删除上面提到的clientmqueue目录,里面全部是一个一个的邮件,用下面的方法: service sendmail stop cd /var/spool mv clientmqueue clientmqueue-todelete mkdir clientmqueue chown --reference=clientmqueue-todelete clientmqueue chmod --reference=clientmqueue-todelete clientmqueue service sendmail start rm -rf clientmqueue-todelete 上面的方法是将目录重命名,然后使用了 --reference 引用参数来重建目录,然后删除重命名的目录。直接删除目录的方法速度是十分的快。也可以留着备份不删。更安全。 三、思考为什么这些工具/命令能够做到快速删除(原理)3、为什么rsync能够快速删除大文件? 1)rm命令大量调用了lstat64和unlink,可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程:正式删除工作的第一阶段,需要通过getdirentries64调用,分批读取目录(每次大约为4K),在内存中建立rm的文件列表;第二阶段,lstat64确定所有文件的状态;第三阶段,通过unlink执行实际删除。这三个阶段都有比较多的系统调用和文件系统操作。 2)rsync所做的系统调用很少:没有针对单个文件做lstat和unlink操作。命令执行前期,rsync开启了一片共享内存,通过mmap方式加载目录信息。只做目录同步,不需要针对单个文件做unlink。 另外,在其他人的评测里,rm的上下文切换比较多,会造成System CPU占用较多——对于文件系统的操作,简单增加并发数并不总能提升操作速度。 总结: 以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流 频繁做减法不如直接从头来过 把文件系统的目录与书籍的目录做类比,rm删除内容时,将目录的每一个条目逐个删除(unlink),需要循环重复操作很多次;rsync删除内容时,建立好新的空目录,替换掉老目录,基本没开销。 【参考资料】Linux 下清空或删除大文件/大量文件的几种方法_linux 清空文件夹 https://blog.csdn.net/sd4493091/article/details/80414053 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |