在Python3中,使用requests庫可以方便地處理請求頭。以下是一個簡單的示例,展示了如何使用requests庫發送帶有自定義請求頭的爬蟲請求:
首先,確保已經安裝了requests庫。如果沒有安裝,可以使用以下命令安裝:
pip install requests
然后,編寫一個簡單的爬蟲程序,如下所示:
import requests
def send_request(url, headers):
response = requests.get(url, headers=headers)
return response
def main():
url = "https://example.com" # 替換為您要爬取的URL
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.8,en;q=0.6",
"Connection": "keep-alive",
}
response = send_request(url, headers)
print(response.text)
if __name__ == "__main__":
main()
在這個示例中,我們定義了一個名為send_request
的函數,該函數接受一個URL和一個請求頭字典作為參數。我們使用requests.get()
方法發送GET請求,并將請求頭傳遞給該方法。然后,我們定義了一個名為main
的函數,其中包含了我們要爬取的URL和自定義請求頭。最后,我們調用send_request()
函數并打印響應的文本內容。
請注意,您可以根據需要修改請求頭字典中的鍵值對,以模擬不同的瀏覽器訪問。