Python常用的爬蟲技巧實例分析

這篇文章主要介紹“Python常用的爬蟲技巧實例分析”的相關知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“Python常用的爬蟲技巧實例分析”文章能幫助大家解決問題。

1、基本抓取網頁

get方法

import urllib2

url  "http://www.baidu.com"

respons = urllib2.urlopen(url)

print response.read()

post方法

import urllib

import urllib2

url = "http://abcde.com"

form = {'name':'abc','password':'1234'}

form_data = urllib.urlencode(form)

request = urllib2.Request(url,form_data)

response = urllib2.urlopen(request)

print response.read()

2、使用代理IP

在開發爬蟲過程中經常會遇到IP被封掉的情況，這時就需要用到代理IP；

在urllib2包中有ProxyHandler類，通過此類可以設置代理訪問網頁，如下代碼片段：

import urllib2

proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'})

opener = urllib2.build_opener(proxy)

urllib2.install_opener(opener)

response = urllib2.urlopen('http://www.baidu.com')

print response.read()

億速云軟件，可以方便快捷做到代理IP的功能，不需要復雜的代碼就能幫到你！

3、Cookies處理

cookies是某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據(通常經過加密)，python提供了cookielib模塊用于處理cookies，cookielib模塊的主要作用是提供可存儲cookie的對象，以便于與urllib2模塊配合使用來訪問Internet資源.

代碼片段：

import urllib2, cookielib

cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())

opener = urllib2.build_opener(cookie_support)

urllib2.install_opener(opener)

content = urllib2.urlopen('http://XXXX').read()

關鍵在于CookieJar()，它用于管理HTTP cookie值、存儲HTTP請求生成的cookie、向傳出的HTTP請求添加cookie的對象。整個cookie都存儲在內存中，對CookieJar實例進行垃圾回收后cookie也將丟失，所有過程都不需要單獨去操作。

手動添加cookie

cookie = "PHPSESSID=91rurfqm2329bopnosfu4fvmu7; kmsign=55d2c12c9b1e3; KMUID=b6Ejc1XSwPq9o756AxnBAg="

request.add_header("Cookie", cookie)

4、偽裝成瀏覽器

某些網站反感爬蟲的到訪，于是對爬蟲一律拒絕請求。所以用urllib2直接訪問網站經常會出現HTTP Error 403: Forbidden的情況

對有些 header 要特別留意，Server 端會針對這些 header 做檢查

User-Agent 有些 Server 或 Proxy 會檢查該值，用來判斷是否是瀏覽器發起的 Request

Content-Type 在使用 REST 接口時，Server 會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。

這時可以通過修改http包中的header來實現，代碼片段如下：

import urllib2

headers = {

   'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'

}

request = urllib2.Request(

   url = 'http://my.oschina.net/jhao104/blog?catalog=3463517',

   headers = headers

)

print urllib2.urlopen(request).read()

關于“Python常用的爬蟲技巧實例分析”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識，可以關注億速云行業資訊頻道，小編每天都會為大家更新不同的知識點。