亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

scrapy導出文件時出現中文亂碼怎么辦

發布時間:2020-06-05 20:35:31 來源:億速云 閱讀:463 作者:Leah 欄目:編程語言

scrapy導出文件時出現中文亂碼怎么辦?相信很多沒有經驗的人對此束手無策,這篇文章總結了scrapy導出文件時出現中文亂碼的解決辦法,通過這篇文章希望你能解決這個問題。

背景:

使用scrapy crawl spidername -o filename.json命令執行爬蟲,并將item寫入文件,發現中文亂碼,比如這樣子:
scrapy導出文件時出現中文亂碼怎么辦

解決方法

第一種方法:

使用scrapy命令導出時指定編碼格式

scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8
第二種方法:

借助Pipeline將item寫入到文件
1.修改pipelines.py,添加:

import json
import codecs

class YiyaoPipeline(object):
    def __init__(self):
        self.file = codecs.open('item.json', 'wb', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item

2.修改settings.py,激活pipeline:

ITEM_PIPELINES = {
   'yiyao.pipelines.YiyaoPipeline': 300,
}

注意:settings.py默認有ITEM_PIPELINES配置,只是注銷掉了。
3.使用scrapy命令導出時,直接執行:

scrapy crawl baidu 

看完這篇文章,你能夠獨立解決scrapy導出文件時出現中文亂碼的問題了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

花莲市| 桓仁| 望谟县| 上栗县| 濮阳市| 安乡县| 永顺县| 富蕴县| 安岳县| 安福县| 云南省| 曲沃县| 元朗区| 大庆市| 扶沟县| 南充市| 望奎县| 永定县| 台山市| 黑水县| 泸定县| 宕昌县| 磴口县| 西丰县| 开原市| 玉龙| 兴安盟| 任丘市| 松江区| 宝山区| 榆社县| 伊宁县| 巧家县| 封丘县| 苏尼特右旗| 固原市| 黎川县| 新巴尔虎右旗| 邵阳市| 抚松县| 云浮市|