Scrapy框架可以通過設置DOWNLOAD_DELAY參數來控制下載延遲,即每次請求之間的時間間隔。您可以在settings.py文件中進行設置,示例如下:
DOWNLOAD_DELAY = 2 # 設置下載延遲為2秒
您還可以通過在Spider類中設置download_delay屬性來實現相同的效果,示例如下:
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['http://example.com']
download_delay = 2 # 設置下載延遲為2秒
def parse(self, response):
# 爬蟲邏輯代碼
設置下載延遲可以有效地降低對目標網站的訪問頻率,避免對服務器造成過大的壓力,也可以模擬人類的瀏覽行為,減少被反爬蟲機制封鎖的風險。