Python爬蟲Selenium庫的詳細用法

這篇文章主要介紹“Python爬蟲Selenium庫的詳細用法”，在日常操作中，相信很多人在Python爬蟲Selenium庫的詳細用法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Python爬蟲Selenium庫的詳細用法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

在我們爬取網頁過程中，經常發現我們想要獲得的數據并不能簡單的通過解析HTML代碼獲取，這些數據是通過AJAX異步加載方式或經過JS渲染后才呈現在頁面上顯示出來。

selenuim是一種自動化測試工具，它支持多種瀏覽器。而在爬蟲中，我們可以使用它來模擬瀏覽器瀏覽頁面，進而解決JavaScript渲染的問題。

1. 使用示例

2. 詳細介紹

2.1 聲明瀏覽器對象

即告訴程序，應該使用哪個瀏覽器進行操作

2.3 查找元素

成功訪問網頁后，我們可能需要進行一些操作，比如找到搜索框然后輸入關鍵字再敲擊回車鍵。

因此，就需要在selenium中查找元素。

2.3.1 單個元素

selenium查找元素有兩種方法。

第一種，是指定使用哪種方法去查找元素，比如指定依照CSS選擇或者依照xpath去進行查找

下面是詳細的元素查找方法

find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

第二種，是直接使用find_element()，傳入的第一個參數為需要使用的元素查找方法

2.3.2 多個元素

查找多個元素和查找單個元素的方法基本一致(只需要將查找單個元素的func里加一個s)。

查找多個元素返回的是一個list。

2.5 交互動作

交互動作是將動作附加到交互鏈中串行執行，需要使用到ActionChains。

2.6 執行JavaScript

比如拖拽下拉

2.8 Frame

如果定位到父frame，是無法查找到子frame的信息的，因此需要切換到子frame再進行查找。同理，在子frame也無法查找到父frame的信息

2.9.2 顯式等待

顯示等待包含了等待條件和等待時間。

首先判定等待條件是否成立，如果成立，則直接返回；如果條件不成立，則等待最長時間為等待時間，如果超過等待時間后仍然沒有滿足等待等待條件，則拋出異常。

顯式等待是對指定的元素進行等待。

2.11 對Cookies進行操作

到此，關于“Python爬蟲Selenium庫的詳細用法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！