溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了scrapy框架怎么python爬蟲中找尋下一頁，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
實現自動翻頁一般有兩種方法：
在當前頁面中找到下一頁的地址；
自己根據URL的變化規律構造所有頁面地址。
一般情況下我們使用第一種方法，第二種方法適用于頁面的下一頁地址為JS加載的情況。
觀察頁面的網頁源碼后可以得到，直接拼接URL即可得到下一頁的鏈接。
再次運行結果，打開douban.csv。是不是發現所有的影片信息都獲取到了，250個一個不多一個不少
最后，利用Excel的篩選功能你可以篩選任意符合你要求的影片。（PS：Excel可以直接打開csv進行操作）
感謝你能夠認真閱讀完這篇文章，希望小編分享scrapy框架怎么python爬蟲中找尋下一頁內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
