mirror of
https://github.com/LCTT/TranslateProject.git
synced 2024-12-23 21:20:42 +08:00
265 lines
13 KiB
Markdown
265 lines
13 KiB
Markdown
fdupes：Linux中查找并删除重复文件的命令行工具
|
||
================================================================================
|
||
对于大多数计算机用户而言，查找并替换重复的文件是一个常见的需求。查找并移除重复文件真是一项令人不胜其烦的工作，它耗时又耗力。但如果你的机器上跑着GNU/Linux，那么查找重复文件会变得十分简单，这多亏了`fdupes`工具。
|
||
|
||
|
||
|
||
*fdupes——在Linux中查找并删除重复文件*
|
||
|
||
### fdupes是啥东东？ ###
|
||
|
||
**fdupes**是Linux下的一个工具，它由**Adrian Lopez**用C编程语言编写并基于MIT许可证发行，该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes通过对比文件的MD5签名，以及逐字节比较文件来识别重复内容，fdupes有各种选项，可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。
|
||
|
||
文件对比以下列顺序开始：
|
||
|
||
**大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比**
|
||
|
||
### 安装 fdupes 到 Linux ###
|
||
|
||
在基于**Debian**的系统上，如**Ubuntu**和**Linux Mint**，安装最新版fdupes，用下面的命令手到擒来。
|
||
|
||
$ sudo apt-get install fdupes
|
||
|
||
在基于CentOS/RHEL和Fedora的系统上，你需要开启[epel仓库][1]来安装fdupes包。
|
||
|
||
# yum install fdupes
|
||
# dnf install fdupes [On Fedora 22 onwards]
|
||
|
||
**注意**：自Fedora 22之后，默认的包管理器yum被dnf取代了。
|
||
|
||
### fdupes命令如何使用 ###
|
||
|
||
1、 作为演示的目的，让我们来在某个目录（比如 tecmint）下创建一些重复文件，命令如下：
|
||
|
||
$ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done
|
||
|
||
在执行以上命令后，让我们使用ls[命令][2]验证重复文件是否创建。
|
||
|
||
$ ls -l
|
||
|
||
total 60
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint10.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint11.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint12.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint13.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint14.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint15.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint1.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint2.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint3.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint4.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint5.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint6.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint7.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint8.txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt
|
||
|
||
上面的脚本创建了**15**个文件，名称分别为tecmint1.txt，tecmint2.txt……tecmint15.txt，并且每个文件的数据相同，如
|
||
|
||
"I Love Tecmint. Tecmint is a very nice community of Linux Users."
|
||
|
||
2、 现在在**tecmint**文件夹内搜索重复的文件。
|
||
|
||
$ fdupes /home/$USER/Desktop/tecmint
|
||
|
||
/home/tecmint/Desktop/tecmint/tecmint13.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint8.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint11.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint3.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint4.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint6.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint7.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint9.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint10.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint2.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint5.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint14.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint1.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint15.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint12.txt
|
||
|
||
3、 使用**-r**选项在每个目录包括其子目录中递归搜索重复文件。
|
||
|
||
它会递归搜索所有文件和文件夹，花一点时间来扫描重复文件，时间的长短取决于文件和文件夹的数量。在此其间，终端中会显示全部过程，像下面这样。
|
||
|
||
$ fdupes -r /home
|
||
|
||
Progress [37780/54747] 69%
|
||
|
||
4、 使用**-S**选项来查看某个文件夹内找到的重复文件的大小。
|
||
|
||
$ fdupes -S /home/$USER/Desktop/tecmint
|
||
|
||
65 bytes each:
|
||
/home/tecmint/Desktop/tecmint/tecmint13.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint8.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint11.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint3.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint4.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint6.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint7.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint9.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint10.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint2.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint5.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint14.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint1.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint15.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint12.txt
|
||
|
||
5、 你可以同时使用**-S**和**-r**选项来查看所有涉及到的目录和子目录中的重复文件的大小，如下：
|
||
|
||
$ fdupes -Sr /home/avi/Desktop/
|
||
|
||
65 bytes each:
|
||
/home/tecmint/Desktop/tecmint/tecmint13.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint8.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint11.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint3.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint4.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint6.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint7.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint9.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint10.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint2.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint5.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint14.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint1.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint15.txt
|
||
/home/tecmint/Desktop/tecmint/tecmint12.txt
|
||
|
||
107 bytes each:
|
||
/home/tecmint/Desktop/resume_files/r-csc.html
|
||
/home/tecmint/Desktop/resume_files/fc.html
|
||
|
||
6、 不同于在一个或所有文件夹内递归搜索，你可以选择按要求有选择性地在两个或三个文件夹内进行搜索。不必再提醒你了吧，如有需要，你可以使用**-S**和/或**-r**选项。
|
||
|
||
$ fdupes /home/avi/Desktop/ /home/avi/Templates/
|
||
|
||
7、 要删除重复文件，同时保留一个副本，你可以使用`-d`选项。使用该选项，你必须额外小心，否则最终结果可能会是文件/数据的丢失。郑重提醒，此操作不可恢复。
|
||
|
||
$ fdupes -d /home/$USER/Desktop/tecmint
|
||
|
||
[1] /home/tecmint/Desktop/tecmint/tecmint13.txt
|
||
[2] /home/tecmint/Desktop/tecmint/tecmint8.txt
|
||
[3] /home/tecmint/Desktop/tecmint/tecmint11.txt
|
||
[4] /home/tecmint/Desktop/tecmint/tecmint3.txt
|
||
[5] /home/tecmint/Desktop/tecmint/tecmint4.txt
|
||
[6] /home/tecmint/Desktop/tecmint/tecmint6.txt
|
||
[7] /home/tecmint/Desktop/tecmint/tecmint7.txt
|
||
[8] /home/tecmint/Desktop/tecmint/tecmint9.txt
|
||
[9] /home/tecmint/Desktop/tecmint/tecmint10.txt
|
||
[10] /home/tecmint/Desktop/tecmint/tecmint2.txt
|
||
[11] /home/tecmint/Desktop/tecmint/tecmint5.txt
|
||
[12] /home/tecmint/Desktop/tecmint/tecmint14.txt
|
||
[13] /home/tecmint/Desktop/tecmint/tecmint1.txt
|
||
[14] /home/tecmint/Desktop/tecmint/tecmint15.txt
|
||
[15] /home/tecmint/Desktop/tecmint/tecmint12.txt
|
||
|
||
Set 1 of 1, preserve files [1 - 15, all]:
|
||
|
||
你可能注意到了，所有重复的文件被列了出来，并给出删除提示，一个一个来，或者指定范围，或者一次性全部删除。你可以选择一个范围，就像下面这样，来删除指定范围内的文件。
|
||
|
||
Set 1 of 1, preserve files [1 - 15, all]: 2-15
|
||
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint13.txt
|
||
[+] /home/tecmint/Desktop/tecmint/tecmint8.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint11.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint3.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint4.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint6.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint7.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint9.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint10.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint2.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint5.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint14.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint1.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint15.txt
|
||
[-] /home/tecmint/Desktop/tecmint/tecmint12.txt
|
||
|
||
8、 从安全角度出发，你可能想要打印`fdupes`的输出结果到文件中，然后检查文本文件来决定要删除什么文件。这可以降低意外删除文件的风险。你可以这么做：
|
||
|
||
$ fdupes -Sr /home > /home/fdupes.txt
|
||
|
||
**注意**：你应该替换`/home`为你想要的文件夹。同时，如果你想要递归搜索并打印大小，可以使用`-r`和`-S`选项。
|
||
|
||
9、 你可以使用`-f`选项来忽略每个匹配集中的首个文件。
|
||
|
||
首先列出该目录中的文件。
|
||
|
||
$ ls -l /home/$USER/Desktop/tecmint
|
||
|
||
total 20
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (3rd copy).txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (4th copy).txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (another copy).txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (copy).txt
|
||
-rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt
|
||
|
||
然后，忽略掉每个匹配集中的首个文件。
|
||
|
||
$ fdupes -f /home/$USER/Desktop/tecmint
|
||
|
||
/home/tecmint/Desktop/tecmint9 (copy).txt
|
||
/home/tecmint/Desktop/tecmint9 (3rd copy).txt
|
||
/home/tecmint/Desktop/tecmint9 (another copy).txt
|
||
/home/tecmint/Desktop/tecmint9 (4th copy).txt
|
||
|
||
10、 检查已安装的fdupes版本。
|
||
|
||
$ fdupes --version
|
||
|
||
fdupes 1.51
|
||
|
||
11、 如果你需要关于fdupes的帮助，可以使用`-h`开关。
|
||
|
||
$ fdupes -h
|
||
|
||
Usage: fdupes [options] DIRECTORY...
|
||
|
||
-r --recurse for every directory given follow subdirectories
|
||
encountered within
|
||
-R --recurse: for each directory given after this option follow
|
||
subdirectories encountered within (note the ':' at
|
||
the end of the option, manpage for more details)
|
||
-s --symlinks follow symlinks
|
||
-H --hardlinks normally, when two or more files point to the same
|
||
disk area they are treated as non-duplicates; this
|
||
option will change this behavior
|
||
-n --noempty exclude zero-length files from consideration
|
||
-A --nohidden exclude hidden files from consideration
|
||
-f --omitfirst omit the first file in each set of matches
|
||
-1 --sameline list each set of matches on a single line
|
||
-S --size show size of duplicate files
|
||
-m --summarize summarize dupe information
|
||
-q --quiet hide progress indicator
|
||
-d --delete prompt user for files to preserve and delete all
|
||
others; important: under particular circumstances,
|
||
data may be lost when using this option together
|
||
with -s or --symlinks, or when specifying a
|
||
particular directory more than once; refer to the
|
||
fdupes documentation for additional information
|
||
-N --noprompt together with --delete, preserve the first file in
|
||
each set of duplicates and delete the rest without
|
||
prompting the user
|
||
-v --version display fdupes version
|
||
-h --help display this help message
|
||
|
||
到此为止了。让我知道你以前怎么在Linux中查找并删除重复文件的吧？同时，也让我知道你关于这个工具的看法。在下面的评论部分中提供你有价值的反馈吧，别忘了为我们点赞并分享，帮助我们扩散哦。
|
||
|
||
我正在使用另外一个移除重复文件的工具，它叫**fslint**。很快就会把使用心得分享给大家哦，你们一定会喜欢看的。
|
||
|
||
--------------------------------------------------------------------------------
|
||
|
||
via: http://www.tecmint.com/fdupes-find-and-delete-duplicate-files-in-linux/
|
||
|
||
作者：[GOLinux](https://github.com/GOLinux)
|
||
校对：[wxy](https://github.com/wxy)
|
||
|
||
本文由 [LCTT](https://github.com/LCTT/TranslateProject) 原创翻译，[Linux中国](http://linux.cn/) 荣誉推出
|
||
|
||
[a]:http://www.tecmint.com/author/avishek/
|
||
[1]:https://linux.cn/article-2324-1.html
|
||
[2]:https://linux.cn/article-5109-1.html
|