昨天無聊寫了一個(gè)百度圖片爬蟲，測(cè)試了一下搜索“斗圖”。一下給我下了3000多個(gè)圖片，關(guān)鍵是有一半以上重復(fù)的。what a fuck?program !

　　好吧，今天寫一個(gè)文件去重功能，貼上來。

?

　　python3.6開發(fā),在Windows下需要安裝vc2015動(dòng)態(tài)庫(kù)。程序已經(jīng)打包好，下載地址: http://pan.baidu.com/s/1bpalugf 密碼：kfk4

?

#/usr/bin/env python #Guoyabin #-*- coding:utf-8 -*- import os,hashlibdef filecount():filecount=int(os.popen('dir /B |find /V /C ""').read())return(filecount)def md5sum(filename):f=open(filename, 'rb')md5=hashlib.md5()while True:fb = f.read(8096)if not fb:breakmd5.update(fb)f.close()return (md5.hexdigest())def delfile():all_md5={}filedir=os.walk(os.getcwd())for i in filedir:for tlie in i[2]:if md5sum(tlie) in all_md5.values():os.remove(tlie)else:all_md5[tlie]=md5sum(tlie)if __name__=='__main__':keyword=input('\n請(qǐng)把本程序放到要去重的文件夾內(nèi),并按回車?yán)^續(xù)\n\n')oldf=filecount()print('去重前有',oldf,'個(gè)文件\n\n\n請(qǐng)稍等正在為您刪除重復(fù)文件...')delfile()print('\n\n去重后剩',filecount(),'個(gè)文件')print('\n\n一共幫您刪除了',oldf-filecount(),'個(gè)文件\n\n')keyword=input('請(qǐng)按回車退出')

?

?

?

無恥的求一下贊助

轉(zhuǎn)載于:https://www.cnblogs.com/guoyabin/p/6879503.html

總結(jié)

以上是生活随笔為你收集整理的python对文件夹内文件去重的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。