创建、删除和修改文件是用户在Linux系统中执行的非常常见操作。大家都知道,在Linux系统里使用?rm?命令删除单个文件时,几乎一瞬间就完成了。但是如果文件数量很大,那么删除操作就需要很长时间才能完成。
你有没想过,删除50万个小文件,需要花费多少时间?
我写这篇文章的目的,是为了找出在Linux中删除巨量文件的最快方法。通过测试发现,rm?命令简直弱爆了!
我们将从一些简单的文件删除方法开始,然后比较不同方法完成文件删除任务的速度。看看哪种方式删除速度最快。
在Linux系统中删除文件,最常用的命令就是?rm?命令。这个命令相信大家都已经很熟悉了,我们来简单回顾一些?rm?命令的例子。
-f?选项在上面的命令中,表示将在不要求确认的情况下强行删除文件。
这个命令将删除名为?testdirectory?的目录以及该目录中的所有内容(使用的?-r?选项是递归删除文件)。
而删除目录,我们还有另一个命令,那就是?rmdir?,但是它只有在目录为空时才会删除该目录。
现在我们看看在Linux中删除文件的一些其它不同方法。
我最喜欢的方法之一是使用?find?命令,再进行删除操作。find?命令是一个非常方便的工具,可用于根据文件的类型、大小、创建日期、修改日期和更多不同的条件来搜索文件。
我们来看一个?find?命令使用?-exec?来调用?rm?命令的例子。
$find/test-typef-execrm{}\;
上述命令将删除?/test?目录中的所有文件。首先?find?命令将查找目录中的所有文件,然后对于每个搜索结果,它会执行?rm?命令。
我们再看看可以与?find?命令一起使用的一些不同方法来删除文件。
$find/test-mtime+7-execrm{}\;
在上述示例中,find?命令将搜索?/test?目录中7天前修改过的所有文件,然后删除每个文件。
$find/test-size+7M-execrm{}\;
上述示例中,将搜索目录?/test?目录中所有大于7M的文件,然后再删除它们。
在以上我们列出来的所有?find?命令示例中,都会为找到的每个文件调用?rm?命令。例如,在上面的最后一个?find?命令中,如果结果中有50个大于7M的文件,那么将调用50次?rm?命令删除文件。而这样的操作将需要花费更长的时间。
除了在?find?中借助?-exec?参数调用?rm?命令外,还有一个更好的选择,那就是使用?-delete?选项。比如:
$find/test-size+7M-delete
达到的效果与上一条命令一样。
话不多说,我们直接上测试。
首先借助一个简单的bashfor循环创建50万个文件。
$foriin$(seq1500000);doechotesting>>$i.txt;done
上述命令中,将在当前工作目录中创建50万个txt文件,名称从1.txt到500000.txt,每个文件都包含?testing?的文本内容,因此文件大小至少在几千字节的范围。
在创建了50万个文件后,我们将尝试使用多方式来删除它们,看看哪种方式删除巨量文件速度最快。

首先让我们使用简单的?rm?命令,同时我们使用?time?命令来计时。
-bash:/bin/rm:Argumentlisttoolong
我们可以看到?rm?命令的执行结果是?Argumentlisttoolong?,这意味着该命令没有完成删除,因为给?rm?命令的文件数量太大而无法完成,所以它直接就躺平罢工了。
不要注意?time?命令显示的时间,因为?rm?命令没有完成它的操作,time?命令只管显示你命令执行了多长时间,而不关心命令的最终结果。
Round2:使用-exec参数的find命令
现在让我们使用我们之前看到的带有-exec参数的?find?命令。
$timefindhttps://www.mfisp.com/-typef-execrm{}\;
从我们使用?time?命令得到的输出可以看出,从单个目录中删除50万个文件需要14分51秒。这是相当长的时间,因为对于每个文件,都会执行一个单独的?rm?命令,直到删除所有文件。
Round3:使用-delete参数的find命令
现在让我们通过在?find?命令中使用?-delete?选项来测试消耗的时间。
$timefindhttps://www.mfisp.com/-typef-delete
删除速度大大提高,只用了5分11秒!当你在Linux中删除数百万个文件时,这是速度的惊人改进。
Round4:Perl语言
现在让我们看看使用Perl语言删除文件是如何工作的,以及它与我们之前看到的其他删除方式相比的速度。
$timeperl-e'for(<*>){((stat)[9]<(unlink))}'
从结果可以看出,Perl只用了大约1分钟就删除了该目录中的50万个文件,与我们之前看到的其他?find?命令和?rm?命令相比,这个速度非常之快!
如果您有兴趣在使用Perl时用到更复杂的选项,则需要对Perl正则表达式有一定的了解。
Round5:rsync命令
还有一种较少使用且鲜为人知的方法可用于删除文件夹内的大量文件,这种方法正是我们著名的工具?rsync?,它的基本用法是用于在Linux中的两个本地和远程位置之间传输和同步文件。
现在我们来看看如何使用?rsync?命令的来删除文件夹内所有文件。其实很简单,我们可以通过将具有大量文件的目标目录与空目录进行同步来实现删除的操作。
在我们的例子中,?/test?目录(目标目录)有50万个文件,我们再创建一个名为?blanktest?的空目录(源目录)。现在,我们将在?rsync?命令中使用?-delete?选项,这将删除目标目录中的所有源目录中不存在文件。
$timersync-a--deleteblanktest/test/
可以看到,仅用2分钟52秒就完成删除。
因此与?find?命令相比,如果您想清空包含数百万个文件的目录,使用?rsync?命令会更好。
下表总结了Linux中采用不同方式删除50万个文件的速度,方便大家参考。
本文来源:国外服务器--Liunx常用删除命令详解(liunx怎么删除文件)
本文地址:https://www.idcbaba.com/guowai/5545.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 1919100645@qq.com 举报,一经查实,本站将立刻删除。



