在Scrapy中設置爬蟲的起始URL可以通過修改Spider類的start_urls屬性來實現。在Spider類中添加start_urls屬性,將要爬取的URL鏈接添加到start_urls屬性中即可。
例如:
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://www.example.com']
def parse(self, response):
# 爬取邏輯
pass
在上面的示例中,我們定義了一個Spider類MySpider,并設置了start_urls屬性為[‘http://www.example.com’],這樣MySpider就會從’http://www.example.com’這個URL開始爬取數據。parse方法用于解析爬取到的網頁數據,你可以在其中實現具體的爬取邏輯。