网易首页 > 网易号 > 正文 申请入驻

利用 Linux 查找重复文件

0
分享至

推荐大家关注一个公众号

后台回复“大礼包”有惊喜礼包!

日英文

Man has to be crazy for once, whether it is for a person,a love story, a journey or a dream.

人的一生要疯狂一次,无论是为一个人,一段情,一段旅途,或一个梦想。

每日掏心话

真实的生活是,认真做好每一天你分内的事情。忘记自己无法承载的东西,对自己就是一种最简单的释放;

责编:乐乐 | 来自:twt企业IT社区

往日回顾:

正文

本部分算是对find强大功能的扩展使用方法说明。在find的基础上,我们可与(如xargs命令)等其它基本Linux命令相结合,即能创造出无限的命令行功能,比如:可以快速查找出Linux某个文件夹及其子文件夹中的重复文件列表。要实现这个功能在流程上是比较简单的,只要查找遍历出所有文件,再通过命令去比较每个文件的MD5就OK啦。

听起来好像比较抽象,其实命令就一条:

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate


  • find -not -empty -type f -printf “%sn” 表示使用find命令搜索出所有非空文件,再打印出他们的大小



  • sort -rn 命令不用多说了把,这条命令就是按文件大小进行反向排序



  • uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 表示只打印了重复的行,这里使用代表打印出文件名相同的文件



  • uniq -w32 –all-repeated=separate 最后这里表示对MD5的前32个字节进行对比,以筛选出重复文件 使用命令行的整个过程就是这么简单和容易。


方法二:使用dupeGuru工具

DupeGuru是一个跨平台应用,有Linux、Windows和Mac OS X版本,它可以通过文件大小、MD5和文件名等多种标准来帮助用户找出Linux中的重复文件。Ubuntu用户可以直接通过添加如下PPA源来方式来进行安装:

sudo add-apt-repository ppa:hsoft/ppa
sudo apt-get update
sudo apt-get install dupeguru*
方法三:使用Find命令解析

在工作生活当中,我们很可能会遇到查找重复文件的问题。比如从某游戏提取的游戏文本有重复的,我们希望找出所有重复的文本,让翻译只翻译其中一份,而其他的直接替换。那么这个问题该怎么做呢?当然方法多种多样,而且无论那种方法应该都不会太难,但笔者第一次遇到这个问题的时候第一反应是是用Linux的Shell脚本,所以文本介绍这种方式。

先上代码:

find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36-

大家先cd到自己想要查找重复文件的文件夹,然后copy上面代码就可以了,系统会对当前文件夹及子文件夹内的所有文件进行查重。

下面分析一下上面的命令。

首先看第一句:

find -not -empty -type f -printf "%sn"

find是查找命令;-not -empty是要寻找非空文件;-type f是指寻找常规文件;-printf “%sn”比较具有迷惑性,这里的%s并非C语言中的输出字符串,它实际表示的是文件的大小,单位为bytes(不懂就man,man一下find,就可以看到了),n是换行符。所以这句话的意思是输出所有非空文件的大小。

通过管道,上面的结果被传到第二句:

sort -rn

sort是排序,-n是指按大小排序,-r是指从大到小排序(逆序reverse)。

第三句:

uniq -d

uniq是把重复的只输出一次,而-d指只输出重复的部分(如9出现了5次,那么就输出1个9,而2只出现了1次,并非重复出现的数字,故不输出)。

第四句:

xargs -I{} -n1 find -type f -size {}c -print0

这一部分分两部分看,第一部分是xargs -I{} -n1,xargs命令将之前的结果转化为参数,供后面的find调用,其中-I{}是指把参数写成{},而-n1是指将之前的结果一个一个输入给下一个命令(-n8就是8个8个输入给下一句,不写-n就是把之前的结果一股脑的给下一句)。后半部分是find -type f -size {}c -print0,find指令我们前面见过,-size{}是指找出大小为{}bytes的文件,而-print0则是为了防止文件名里带空格而写的参数。

第五句:

xargs -0 md5sum

xargs我们之前说过,是将前面的结果转化为输入,那么这个-0又是什么意思?man一下xargs,我们看到-0表示读取参数的时候以null为分隔符读取,这也不难理解,毕竟null的二进制表示就是00。后面的md5sum是指计算输入的md5值。

第六句:sort是排序,这个我们前面也见过。

第七句:

uniq -w32 --all-repeated=separate

uniq -w32是指寻找前32个字符相同的行,原因在于md5值一定是32位的,而后面的--all-repeated=separate是指将重复的部分放在一类,分类输出。

第八句:

cut -b 36-

由于我们的结果带着md5值,不是很好看,所以我们截取md5值后面的部分,cut是文本处理函数,这里-b 36-是指只要每行36个字符之后的部分。

我们将上述每个命令用管道链接起来,存入result.txt:

find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt

虽然结果很好看,但是有一个问题,这是在Linux下很好看,实际上如果有朋友把输出文件放到Windows上,就会发现换行全没了,这是由于Linux下的换行是n,而windows要求nr,为了解决这个问题,我们最后执行一条指令,将n转换为nr:

cat result.txt | cut -c 36- | tr -s 'n'

你还有什么想要补充的吗?

PS:欢迎在留言区留下你的观点,一起讨论提高。如果今天的文章让你有新的启发,欢迎转发分享给更多人。


版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我们会立即删除并表示歉意。谢谢!

欢迎加入后端架构师,在后台回复“”即可。

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。在这里,我为大家准备了一份2021年最新最全BAT等大厂Java面试经验总结。

别找了,想获取史上最简单的Java大厂面试题学习资料

扫下方二维码回复「面试」就好了

嘿,你在看吗

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最强杀猪盘,睡遍欧美,财色全骗,靠的就是一张脸

最强杀猪盘,睡遍欧美,财色全骗,靠的就是一张脸

奇闻故事会
2023-08-18 14:20:12
复旦教授“谈”姜萍:将无知展现出来,建议她参加浙大夏令营保研

复旦教授“谈”姜萍:将无知展现出来,建议她参加浙大夏令营保研

妍妍教育日记
2024-06-26 23:39:15
演员白敬亭,申请强制执行!

演员白敬亭,申请强制执行!

鲁中晨报
2024-06-26 13:15:22
广东省3人同日被查!3人被处理!一副区长任上被查

广东省3人同日被查!3人被处理!一副区长任上被查

鲁中晨报
2024-06-26 17:51:04
一家银行获批解散,立即停止经营!

一家银行获批解散,立即停止经营!

云南经济新闻
2024-06-26 18:27:38
形势严峻!县城经济乏力,大量县城正在崩盘

形势严峻!县城经济乏力,大量县城正在崩盘

兵哥闲聊
2024-06-26 09:03:52
炸裂大瓜:微博女网红出道岛国片,因背债上亿,被迫拍片偿还

炸裂大瓜:微博女网红出道岛国片,因背债上亿,被迫拍片偿还

不二砖家
2024-06-25 20:59:54
当霍启刚亲自给董宇辉抹上菠萝油那一刻,俞敏洪去宇辉已宣告失败

当霍启刚亲自给董宇辉抹上菠萝油那一刻,俞敏洪去宇辉已宣告失败

娱乐圈的大爆炸
2024-06-26 20:02:48
以色列发布的图片:被击毙的无国界医生身穿伊斯兰圣战制服

以色列发布的图片:被击毙的无国界医生身穿伊斯兰圣战制服

桂系007
2024-06-27 04:28:44
男生要坚持多久,女生才会觉得爽?

男生要坚持多久,女生才会觉得爽?

喜马拉雅主播暮霭
2024-06-19 11:58:36
“新型相亲”火了:成年人的婚姻,明码标价,不谈爱情

“新型相亲”火了:成年人的婚姻,明码标价,不谈爱情

十点读书
2024-06-25 19:40:53
怀孕28周,婆婆一针停掉我女儿的心跳,再睁眼我变了婆婆

怀孕28周,婆婆一针停掉我女儿的心跳,再睁眼我变了婆婆

今夜故事集
2024-06-26 18:28:49
7月1日起,沙特将成为中国公民出境团队游目的地国家

7月1日起,沙特将成为中国公民出境团队游目的地国家

新京报
2024-06-26 07:26:08
比华为、电动车更严重!西方这次是想刨中国的根!

比华为、电动车更严重!西方这次是想刨中国的根!

占豪
2024-06-27 03:51:43
王云珂:研究100种动物“性生活”,发现动物与人类如出一辙

王云珂:研究100种动物“性生活”,发现动物与人类如出一辙

嘿哥哥科技
2024-06-26 05:33:02
四年1.14亿,重返湖人!佩林卡要果断出手,詹眉没有多少时间了

四年1.14亿,重返湖人!佩林卡要果断出手,詹眉没有多少时间了

篮球谈资哦
2024-06-27 00:05:08
Shams:热火3年1.66亿提前续约阿德巴约 合同持续至28-29赛季

Shams:热火3年1.66亿提前续约阿德巴约 合同持续至28-29赛季

直播吧
2024-06-27 02:57:12
唯一在世的中共一代领导人,现107岁

唯一在世的中共一代领导人,现107岁

华人星光
2024-06-18 16:51:55
事情反转了?光刻机市场迎来变革,日媒:光刻机出口暴涨82%

事情反转了?光刻机市场迎来变革,日媒:光刻机出口暴涨82%

大卫聊科技
2024-06-26 22:30:02
日本公民在苏州遇袭,是什么人支配了凶手的行为?

日本公民在苏州遇袭,是什么人支配了凶手的行为?

杨逍
2024-06-25 20:54:08
2024-06-27 06:06:44
程序员小乐
程序员小乐
有趣有内涵
3163文章数 9493关注度
往期回顾 全部

科技要闻

不再"独宠"小鹏!大众投了特斯拉宿敌360亿

头条要闻

欧洲杯-C罗怒怼裁判染黄 格鲁吉亚爆冷2-0胜葡萄牙

头条要闻

欧洲杯-C罗怒怼裁判染黄 格鲁吉亚爆冷2-0胜葡萄牙

体育要闻

战胜心中的魔鬼,36岁的他上演欧洲杯首秀

娱乐要闻

冯绍峰带儿子看舞台剧,想想更像妈妈

财经要闻

曹远征:不能被"产能过剩"的概念所困惑

汽车要闻

37.99万起坐拥"陆地空客" 翼真L380上市

态度原创

艺术
游戏
手机
公开课
军事航空

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

还有剑圣不能穿越的单位?那些你不一定知道的魔兽冷知识

手机要闻

苹果即将为第三方制造的iPhone显示屏和电池提供更好的支持

公开课

连中三元是哪三元?

军事要闻

绍伊古被国际刑事法院发逮捕令 俄方回应

无障碍浏览 进入关怀版