溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容介紹了“Python快速去重腳本是什么”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！
一、下載pyhon腳本到本地
二、用法
1、必須python2環境
2、把去重的文件和該python腳本放到一起
3、新建幾個有重復內容的文件，放到一個與python腳本不在一起的位置/root/123
4、修改python腳本
#coding=utf-8import sys, re, osdef file_merge(): input_path = "/root/123/" #此處填好自己的路徑，注意最后的"/" #使用os.listdir函數獲取路徑下的所有的文件名，并存在一個list中 #使用os.path.join函數，將文件名和路徑拼成絕對路徑 whole_file = [os.path.join(input_path,file) for file in os.listdir(input_path)] content = [] #對于每一個路徑，將其打開之后，使用readlines獲取全部內容 for w in whole_file: with open(w,'rb') as f: content = content+f.readlines() #構造輸出的路徑，和輸入路徑在同一個文件夾下，如果該文件夾內沒有這個文件會自動創建 output_path = os.path.join(input_path,'合并所有文件.txt') #將內容寫入文件 with open(output_path,'wb') as f: f.writelines(content) def getDictList(dict): regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+''' with open(dict) as f: data = f.read() return re.findall(regx, data) def rmdp(dictList): return list(set(dictList)) def fileSave(dictRmdp, out): with open(out, 'a') as f: for line in dictRmdp: f.write(line + '\n') def main(): try: dict = '/root/123/合并所有文件.txt' out = '/root/123/去重所有文件.txt' except Exception, e: print 'error:', e me = os.path.basename(__file__) exit() dictList = getDictList(dict) dictRmdp = rmdp(dictList) fileSave(dictRmdp, out) if __name__ == '__main__': file_merge() main()
5、python2 quchong.py運行腳本，會在/root/123目錄下生成去重文件
6、工作原理
將當前目錄下所有文件合并為一個文件：合并所有文件.txt，對該文件進行去重，最終生成去重所有文件.txt，該文件就是最后想要的文件。
“Python快速去重腳本是什么”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
