您好,登錄后才能下訂單哦!
小編給大家分享一下Node.js中怎么爬取豆瓣數據,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
1、需要解決的問題
搭建服務
怎么處理爬到的數據
怎么自動打開默認瀏覽器
2、搭建服務
搭建服務有好幾種方式,一開始我用的http,但是http有個弊端就是不能解析https協議的url,所以就用了express,解析https協議的網址我用了request包,豆瓣的網址是https的,
今天爬取的是https://movie.douban.com/chart這個網址;如下圖,我要獲取的有三個部分,圖片、電影名字、電影鏈接.
3、怎么處理爬到的數據
我們用request爬到的數據,怎么處理呢?cheerio包可以讓我們像Jq那樣處理爬到的html數據。
①、首先解析數據,取到爬取網頁的html數據;
②、然后利用cheerio包操作爬到的數據,取到你想要的數據。
③、取到數據,創建html,輸出到頁面。如下圖,我用的字符串拼接,辦法有點笨,還沒有找到更好的辦法。
4、怎么自動打開默認瀏覽器
不知道你有沒有看vue-cli中webpack的配置,自動打開瀏覽器,vue-cli用的opn包.
這個包用起來很方便,引入包,直接調用opn(url)即可;
5、展示
以上是“Node.js中怎么爬取豆瓣數據”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。