亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

Scrapy如何處理相對路徑和絕對路徑

小樊
99
2024-05-15 10:24:20
欄目: 編程語言

在Scrapy中處理相對路徑和絕對路徑可以通過在提取數據時使用相應的方法來實現。

對于相對路徑,可以使用response.urljoin()方法來將相對路徑轉換為絕對路徑。例如:

from scrapy.http import HtmlResponse

response = HtmlResponse(url='http://example.com/page1', body=b'<a href="/page2">Page 2</a>')
relative_url = response.css('a::attr(href)').extract_first()
absolute_url = response.urljoin(relative_url)

print(absolute_url)
# Output: http://example.com/page2

這樣可以確保提取到的鏈接始終是絕對路徑。

另外,如果要在Spider中處理相對路徑和絕對路徑,也可以直接使用response.urljoin()方法。例如:

from scrapy.spiders import Spider

class MySpider(Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/page1']

    def parse(self, response):
        relative_url = response.css('a::attr(href)').extract_first()
        absolute_url = response.urljoin(relative_url)

        yield {
            'url': absolute_url
        }

這樣可以在Spider中直接處理相對路徑和絕對路徑。

0
乌兰察布市| 鹰潭市| 成武县| 乌海市| 嵩明县| 盈江县| 合川市| 怀集县| 呼伦贝尔市| 乌什县| 宁陵县| 梁河县| 磴口县| 兴海县| 清水河县| 衡山县| 瓦房店市| 化州市| 五常市| 西林县| 固始县| 张家口市| 利辛县| 呼图壁县| 潜山县| 南江县| 屏边| 长子县| 安塞县| 印江| 新化县| 含山县| 高台县| 烟台市| 阿鲁科尔沁旗| 呼伦贝尔市| 海丰县| 融水| 鹤壁市| 东乌| 山东省|