溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
爬蟲工具Scrapy在Mac和Linux環境下都相對好裝，但是在Windows上總會碰到各種莫名其妙的問題。本文記錄下Scrapy在Window上的安裝過程。
本文是基于Python2.7及Windows 10安裝Scrapy及各種爬蟲相關庫。
Scrapy官方文檔
按照官網建議下載安裝Anaconda,使用這個安裝比直接pip安裝會少很多問題。
下載地址
conda install -c conda-forge scrapy下載并安裝mysql官方的驅動程序。下載地址
pip install mysql-connector-python封裝了MySQL C驅動的Python驅動
安裝Python版C++編譯程序。下載地址
拷貝mysql驅動(32位不需要這一步)，將"C:\Program Files\MySQL" 拷貝到 "C:\Program Files (x86)\MySQL"。
目的是為了防止下一步的錯誤"Cannot open include file: 'config-win.h': No such file or directory"
安裝驅動
pip install MySQL-python安裝數據庫連接池工具
pip install DBUtilsBeautiful Soup提供一些簡單的、python式的函數用來處理導航、搜索、修改分析樹等功能。
pip install beautifulsoup4PyQuery庫也是一個非常強大又靈活的網頁解析庫。
pip install pyquery免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
