url下載器如何在python爬蟲中使用

本篇文章為大家展示了url下載器如何在python爬蟲中使用，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

下載器的作用就是接受URL管理器傳遞給它的一個url，然后把該網頁的內容下載下來。python自帶有urllib和urllib2等庫（這兩個庫在python3中合并為urllib），它們的作用就是獲取指定的網頁內容。不過，在這里我們要使用一個更加簡潔好用而且功能更加強大的模塊：Requests。

Requests并非python自帶模塊，需要安裝。關于其具體使用方法請查看以往文章，在此不多做介紹。

下載器接受一個url作為參數，返回值為下載到的網頁內容（格式為str）。下面就是一個簡單的下載器，其中只有一個簡單的函數download()：

'''
-----------------------------------------------------------------
HtmlDownloader
'''
class HtmlDownloader(object):
  def download(self, url):
    print "start download"
    if url is None:
      return None
      print "url is None"
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
    headers = {'User-Agent':user_agent}
    print "start requests"
    r = requests.get(url, headers=headers)
    #判斷響應狀態
    if r.status_code == 200:
      r.encoding = 'utf-8'
      print "該頁面下載成功！{}".format(url)
      return r.text
    else:
      print "該頁面下載失敗！{}".format(url)
    return None

在requests請求中設置User-Agent的目的是偽裝成瀏覽器，這是一只優秀的爬蟲應該有的覺悟。

有些小伙伴已經猜出來了，requests庫和我們的爬取數據密不可分，搭配著url下載器我們就可以成功抓取想要的數據了

知識點擴展：

url下載器

• URL下載器應該包含兩個倉庫，分別存放沒有爬取過的鏈接和已經爬取過的鏈接。

• 應該有一些函數負責往上述兩個倉庫里添加鏈接

• 應該有一個函數負責從新url倉庫中隨機取出一條鏈接以便下載器爬取

• URL下載器應該能識別重復的鏈接，已經爬取過的鏈接就不需要放進倉庫了

上述內容就是url下載器如何在python爬蟲中使用，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。