怎么解決Python編解碼和文本文件的問題

這篇文章主要介紹“怎么解決Python編解碼和文本文件的問題”，在日常操作中，相信很多人在怎么解決Python編解碼和文本文件的問題問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么解決Python編解碼和文本文件的問題”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

編解碼器

在字符與字節之間的轉換過程稱為編解碼，Python自帶了超過100種編解碼器，比如：

• ascii（英文體系）

• gb2312（中文體系）

• utf-8（全球通用）

• latin1

• utf-16
  

編解碼器一般有多個別名，比如utf8、utf-8、U8。

這些編解碼器可以傳給open()、str.encode()、bytes.decode()等函數的encoding參數。

UnicodeEncodeError

多數非UTF編解碼器（比如cp437）只能處理Unicode字符的一小部分子集。把字符轉換成字節時，如果目標編碼中沒有定義這個字符，那么就會拋出UnicodeEncodeError異常。

處理方式一：使用utf8編碼。

處理方式二：添加errors參數：

# 忽略 如b'So Paulo'
city.encode("cp437", errors="ignore")
# 替換為? 如b'S?o Paulo'
city.encode("cp437", errors="replace")
# 替換為XML實體 如b'São Paulo'
city.encode("cp437", errors="xmlcharrefreplace")

UnicodeDecodeError

把字節轉換為字符時，遇到無法轉換的字節時會拋出UnicodeDecodeError異常。這是因為不是每個字節都包含有效的ASCII字符，也不是每個字符都是有效的UTF-8。

處理方式也有兩種，跟上面一樣。

SyntaxError

Python3默認使用UTF-8編碼源碼。如果加載的.py模塊中包含UTF-8之外的數據，而且沒有聲明編碼，就會拋出SyntaxError異常。

處理方式是在文件頂部添加coding注釋：

# coding: cp1252

但是這個辦法并不好，最好還是找到這些報錯字符，把它們轉換為UTF-8。

從網上直接到IDE中執行經常會報這個錯。

處理文本文件

Unicode三明治：

在程序中盡量少接觸二進制，把字節解碼為字符，只處理字符串對象。比如在Django中，view應該輸出Unicode字符串，Django會負責把響應數據編碼成字節序列，而且默認使用UTF-8編碼。

Python內置的open函數就是采用了這個原則，在讀取文件時會做必要的解碼，以文本模式寫入文件時會做必要的編碼。

文件亂碼

Windows更容易遇到這個問題，因為Windows并不是統一的UTF-8編碼，比如在Windows10中：

>>> open("cafe.txt", "w", encoding="utf8").write("café")
4
>>> open("cafe.txt").read()
'caf茅'

寫入文件時指定了utf8，但是讀取文件沒有指定，Python就會使用系統默認編碼：

>>> import locale
# 打開文件用這個
# 如果沒有設置PYTHONENCODING環境變量，sys.stdout/stdin/stderr也用這個
>>> locale.getpreferredencoding()
'cp936'

cp936把最后一個字節解碼成了茅而不是é。

>>> import sys
# 二進制數據和字符串之間轉換用這個
>>> sys.getdefaultencoding()
'utf-8'

>>> import sys
# 文件名（不是文件內容）用這個
>>> sys.getfilesystemencoding()
'utf-8'

GNU/Linux或Mac OS X不會遇到這個問題，因為多年來它們的默認編碼都是UTF-8。

解決辦法是一定不能依賴系統默認編碼，打開文件時始終應該明確傳入encoding=參數，因為不同的設備使用的默認編碼可能不同，有時隔一天也會發生變化。

小結

本文介紹了Python的編解碼器，以及可能出現的UnicodeEncodeError、UnicodeDecodeError、SyntaxError問題，然后給出了Python的open函數處理文本文件的原則，最后對Windows容易出現的文件亂碼問題進行了說明。

到此，關于“怎么解決Python編解碼和文本文件的問題”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！