溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本博客會記錄博主在使用爬蟲過程中遇到的問題，不斷更新，希望以后再遇到這些問題的時候，可以快速解決。
1、在爬取和訊博客的時候發現閱讀數和評論數無法正常讀取。通過抓包工具抓取到了閱讀數和評論數的URL，但是復制到瀏覽器上打開發現一片空白。在抓包工具Raw里發現，有一項Refere，后面將此項加到headers信息里，數據可以正常顯示出來了。代碼如下：
import urllib.request
url='http://click.tool.hexun.com/click.aspx?articleid=116367158&blogid=19050645'
data={
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36",
"Referer":"http://27783968.blog.hexun.com/116367158_d.html",
}
request=urllib.request.Request(url,headers = data)
data=urllib.request.urlopen(request).read().decode("utf-8","ignore")
print(data)
此次難點在于不熟悉urllib庫是如何添加更多的請求信息到heagers里，在以上代碼中，data里還可以添加更加多的請求，比如cookie等信息，記錄此次代碼的目的在于熟悉urllib.request.Reques的用法
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
