Python3網絡爬蟲實戰-14、部署相關庫的安裝：Scrapyrt、Gerapy

Scrapyrt的安裝

Scrapyrt 為 Scrapy 提供了一個調度的 HTTP 接口，有了它我們不需要再執行 Scrapy 命令而是通過請求一個 HTTP 接口即可調度 Scrapy 任務，Scrapyrt 比 Scrapyd 輕量級，如果不需要分布式多任務的話可以簡單使用 Scrapyrt 實現遠程 Scrapy 任務的調度。

1. 相關鏈接

• GitHub：https://github.com/scrapinghu...
• 官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyrt

命令執行完畢之后即可完成安裝。

接下來在任意一個 Scrapy 項目中運行如下命令即可啟動 HTTP 服務：

scrapyrt
Python資源分享qun 784758214 ,內有安裝包，PDF，學習視頻，這里是Python學習者的聚集地，零基礎，進階，都歡迎

運行之后會默認在 9080 端口上啟動服務，類似的輸出結果如下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>

如果想更換運行端口可以使用 -p 參數，如：

scrapyrt -p 9081

這樣就會在 9081 端口上運行了。

3. Docker安裝

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上運行，且本地 Scrapy 項目的路徑為 /home/quotesbot，可以使用如下命令運行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 端口上監聽指定的 Scrapy 項目。

Gerapy的安裝

Gerapy 是一個 Scrapy 分布式管理模塊，本節來介紹一下 Gerapy 的安裝方式。

1. 相關鏈接

GitHub：https://github.com/Gerapy

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install gerapy

3. 測試安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import gerapy
Python資源分享qun 784758214 ,內有安裝包，PDF，學習視頻，這里是Python學習者的聚集地，零基礎，進階，都歡迎

如果沒有錯誤報出，則證明庫已經安裝好了。