溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了Python爬蟲中會話和Cookies是什么，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
在瀏覽網站的過程中，我們經常會遇到需要登錄的情況，有些頁面只有登錄之后才可以訪問，而且登錄之后可以連續訪問很多次網站，但是有時候過一段時間就需要重新登錄。還有一些網站，在打開瀏覽器時就自動登錄了，而且很長時間都不會失效，這種情況又是為什么？其實這里面涉及會話和Cookies的相關知識，本節就來揭開它們的神秘面紗。
1. 靜態網頁和動態網頁
在開始之前，我們需要先了解一下靜態網頁和動態網頁的概念。這里還是前面的示例代碼，內容如下：
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>This is a Demo</title> </head> <body> <div id="container"> <div class="wrapper"> <h3 class="title">Hello World</h3> <p class="text">Hello, this is a paragraph.</p> </div> </div> </body> </html>
這是最基本的HTML代碼，我們將其保存為一個.html文件，然后把它放在某臺具有固定公網IP的主機上，主機上裝上Apache或Nginx等服務器，這樣這臺主機就可以作為服務器了，其他人便可以通過訪問服務器看到這個頁面，這就搭建了一個最簡單的網站。
這種網頁的內容是HTML代碼編寫的，文字、圖片等內容均通過寫好的HTML代碼來指定，這種頁面叫作靜態網頁。它加載速度快，編寫簡單，但是存在很大的缺陷，如可維護性差，不能根據URL靈活多變地顯示內容等。例如，我們想要給這個網頁的URL傳入一個name參數，讓其在網頁中顯示出來，是無法做到的。
因此，動態網頁應運而生，它可以動態解析URL中參數的變化，關聯數據庫并動態呈現不同的頁面內容，非常靈活多變。我們現在遇到的大多數網站都是動態網站，它們不再是一個簡單的HTML，而是可能由JSP、PHP、Python等語言編寫的，其功能比靜態網頁強大和豐富太多了。
此外，動態網站還可以實現用戶登錄和注冊的功能。再回到開頭提到的問題，很多頁面是需要登錄之后才可以查看的。按照一般的邏輯來說，輸入用戶名和密碼登錄之后，肯定是拿到了一種類似憑證的東西，有了它，我們才能保持登錄狀態，才能訪問登錄之后才能看到的頁面。
那么，這種神秘的憑證到底是什么呢？其實它就是會話和Cookies共同產生的結果，下面我們來一探究竟。
2. 無狀態HTTP
在了解會話和Cookies之前，我們還需要了解HTTP的一個特點，叫作無狀態。
HTTP的無狀態是指HTTP協議對事務處理是沒有記憶能力的，也就是說服務器不知道客戶端是什么狀態。當我們向服務器發送請求后，服務器解析此請求，然后返回對應的響應，服務器負責完成這個過程，而且這個過程是完全獨立的，服務器不會記錄前后狀態的變化，也就是缺少狀態記錄。這意味著如果后續需要處理前面的信息，則必須重傳，這導致需要額外傳遞一些前面的重復請求，才能獲取后續響應，然而這種效果顯然不是我們想要的。為了保持前后狀態，我們肯定不能將前面的請求全部重傳一次，這太浪費資源了，對于這種需要用戶登錄的頁面來說，更是棘手。
這時兩個用于保持HTTP連接狀態的技術就出現了，它們分別是會話和Cookies。會話在服務端，也就是網站的服務器，用來保存用戶的會話信息；Cookies在客戶端，也可以理解為瀏覽器端，有了Cookies，瀏覽器在下次訪問網頁時會自動附帶上它發送給服務器，服務器通過識別Cookies并鑒定出是哪個用戶，然后再判斷用戶是否是登錄狀態，然后返回對應的響應。
我們可以理解為Cookies里面保存了登錄的憑證，有了它，只需要在下次請求攜帶Cookies發送請求而不必重新輸入用戶名、密碼等信息重新登錄了。
因此在爬蟲中，有時候處理需要登錄才能訪問的頁面時，我們一般會直接將登錄成功后獲取的Cookies放在請求頭里面直接請求，而不必重新模擬登錄。
好了，了解會話和Cookies的概念之后，我們在來詳細剖析它們的原理。
(1) 會話
會話，其本來的含義是指有始有終的一系列動作/消息。比如，打電話時，從拿起電話撥號到掛斷電話這中間的一系列過程可以稱為一個會話。
而在Web中，會話對象用來存儲特定用戶會話所需的屬性及配置信息。這樣，當用戶在應用程序的Web頁之間跳轉時，存儲在會話對象中的變量將不會丟失，而是在整個用戶會話中一直存在下去。當用戶請求來自應用程序的Web頁時，如果該用戶還沒有會話，則Web服務器將自動創建一個會話對象。當會話過期或被放棄后，服務器將終止該會話。
(2) Cookies
Cookies指某些網站為了辨別用戶身份、進行會話跟蹤而存儲在用戶本地終端上的數據。
會話維持
那么，我們怎樣利用Cookies保持狀態呢？當客戶端第一次請求服務器時，服務器會返回一個請求頭中帶有Set-Cookie字段的響應給客戶端，用來標記是哪一個用戶，客戶端瀏覽器會把Cookies保存起來。當瀏覽器下一次再請求該網站時，瀏覽器會把此Cookies放到請求頭一起提交給服務器，Cookies攜帶了會話ID信息，服務器檢查該Cookies即可找到對應的會話是什么，然后再判斷會話來以此來辨認用戶狀態。
在成功登錄某個網站時，服務器會告訴客戶端設置哪些Cookies信息，在后續訪問頁面時客戶端會把Cookies發送給服務器，服務器再找到對應的會話加以判斷。如果會話中的某些設置登錄狀態的變量是有效的，那就證明用戶處于登錄狀態，此時返回登錄之后才可以查看的網頁內容，瀏覽器再進行解析便可以看到了。
反之，如果傳給服務器的Cookies是無效的，或者會話已經過期了，我們將不能繼續訪問頁面，此時可能會收到錯誤的響應或者跳轉到登錄頁面重新登錄。
所以，Cookies和會話需要配合，一個處于客戶端，一個處于服務端，二者共同協作，就實現了登錄會話控制。
屬性結構
接下來，我們來看看Cookies都有哪些內容。這里以知乎為例，在瀏覽器開發者工具中打開Application選項卡，然后在左側會有一個Storage部分，最后一項即為Cookies，將其點開，如圖2-13所示，這些就是Cookies。
可以看到，這里有很多條目，其中每個條目可以稱為Cookie。它有如下幾個屬性。
Name：該Cookie的名稱。一旦創建，該名稱便不可更改。
Value：該Cookie的值。如果值為Unicode字符，需要為字符編碼。如果值為二進制數據，則需要使用BASE64編碼。
Domain：可以訪問該Cookie的域名。例如，如果設置為.zhihu.com，則所有以zhihu.com，結尾的域名都可以訪問該Cookie。
Max Age：該Cookie失效的時間，單位為秒，也常和Expires一起使用，通過它可以計算出其有效時間。Max Age如果為正數，則該Cookie在Max Age秒之后失效。如果為負數，則關閉瀏覽器時Cookie即失效，瀏覽器也不會以任何形式保存該Cookie。
Path：該Cookie的使用路徑。如果設置為/path/，則只有路徑為/path/的頁面可以訪問該Cookie。如果設置為/，則本域名下的所有頁面都可以訪問該Cookie。
Size字段：此Cookie的大小。
HTTP字段：Cookie的httponly屬性。若此屬性為true，則只有在HTTP頭中會帶有此Cookie的信息，而不能通過document.cookie來訪問此Cookie。
Secure：該Cookie是否僅被使用安全協議傳輸。安全協議有HTTPS和SSL等，在網絡上傳輸數據之前先將數據加密。默認為false。
會話Cookie和持久Cookie
從表面意思來說，會話Cookie就是把Cookie放在瀏覽器內存里，瀏覽器在關閉之后該Cookie即失效；持久Cookie則會保存到客戶端的硬盤中，下次還可以繼續使用，用于長久保持用戶登錄狀態。
其實嚴格來說，沒有會話Cookie和持久Cookie之分，只是由Cookie的Max Age或Expires字段決定了過期的時間。
因此，一些持久化登錄的網站其實就是把Cookie的有效時間和會話有效期設置得比較長，下次我們再訪問頁面時仍然攜帶之前的Cookie，就可以直接保持登錄狀態。
3. 常見誤區
在談論會話機制的時候，常常聽到這樣一種誤解“只要關閉瀏覽器，會話就消失了”，這種理解是錯誤的。可以想象一下會員卡的例子，除非顧客主動對店家提出銷卡，否則店家絕對不會輕易刪除顧客的資料。對會話來說，也是一樣，除非程序通知服務器刪除一個會話，否則服務器會一直保留。比如，程序一般都是在我們做注銷操作時才去刪除會話。
但是當我們關閉瀏覽器時，瀏覽器不會主動在關閉之前通知服務器它將要關閉，所以服務器根本不會有機會知道瀏覽器已經關閉。之所以會有這種錯覺，是因為大部分會話機制都使用會話Cookie來保存會話ID信息，而關閉瀏覽器后Cookies就消失了，再次連接服務器時，也就無法找到原來的會話了。如果服務器設置的Cookies保存到硬盤上，或者使用某種手段改寫瀏覽器發出的HTTP請求頭，把原來的Cookies發送給服務器，則再次打開瀏覽器，仍然能夠找到原來的會話 ID，依舊還是可以保持登錄狀態的。
而且恰恰是由于關閉瀏覽器不會導致會話被刪除，這就需要服務器為會話設置一個失效時間，當距離客戶端上一次使用會話的時間超過這個失效時間時，服務器就可以認為客戶端已經停止了活動，才會把會話刪除以節省存儲空間。
感謝你能夠認真閱讀完這篇文章，希望小編分享Python爬蟲中會話和Cookies是什么內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
