亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何使用Python抓取QQ音樂數據

發布時間:2021-10-11 18:05:38 來源:億速云 閱讀:204 作者:柒染 欄目:大數據

這篇文章給大家介紹如何使用Python抓取QQ音樂數據,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。

【一、項目目標】

    獲取 QQ 音樂指定歌手單曲排行指定頁數的歌曲的歌名、專輯名、播放鏈接。

    由淺入深,層層遞進,非常適合剛入門的同學練手。

【二、需要的庫】

    主要涉及的庫有:requests、json、openpyxl

【三、項目實現】

1.了解 QQ 音樂網站的 robots 協議

如何使用Python抓取QQ音樂數據

只禁止播放列表,可以操作。

2.進入 QQ 音樂主頁 https://y.qq.com/

3.輸入任意歌手,比如鄧紫棋

如何使用Python抓取QQ音樂數據

4.打開審查元素(快捷鍵 Ctrl+Shift+I)

如何使用Python抓取QQ音樂數據

5.分析網頁源代碼 Elements,發現無歌曲信息,無法使用 BeautifulSoup,如下圖所示,結果為空。

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

6.點擊 Network,看數據在不在 XHR(無刷新更新頁

面),我的經驗是先看 Size 最大的,然后分析 Name,

查看 Preview,果然在里面!

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

7.點擊 Headers,拿到相關參數。如下圖,仔細觀察

url 與 Query String Parameters 參數的關系,發現

url 中的 w 代表歌手名,p 代表頁數。

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

8.通過 json 代碼實現,首先小試牛刀,爬取第一頁

的數據,url 直接復制過來。成功!

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

9.引入 params 參數,實現指定歌手、指定頁數的查詢。

注意代碼url為上一步url中“?”之前的部分, params兩邊的參數都需要加 ’’,requests.get 添加 params,參數(也可順便添加 headers 參數)

如何使用Python抓取QQ音樂數據

10. 添加存儲功能,保存到本地(Excel)。也可保存為 csv 格式或存入數據庫,操作類似。

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

如何使用Python抓取QQ音樂數據

1.爬取 QQ 音樂比爬取豆瓣等網站稍難,所需信息不在網頁源代碼,需查看 XHR;

2.通過 XHR 爬取數據一般要使用 json,格式為:

res = requests.get(url)json = res.json()list = json[‘’][‘’]…

3.僅供練手參考,不建議爬取太多數據,給服務器增大負載;

4.Python 爬取 QQ 音樂數據(二)將為大家帶來如何爬取指定歌曲的歌詞及評論(selenium),并生成詞云圖(wordcloud),敬請期待。



關于如何使用Python抓取QQ音樂數據就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

文水县| 赤城县| 江西省| 高雄县| 蒙阴县| 西乌| 秀山| 遵化市| 类乌齐县| 凤山市| 蓝田县| 梅州市| 乌拉特中旗| 安图县| 四会市| 恭城| 枣强县| 吴川市| 高阳县| 东海县| 孟州市| 延津县| 原阳县| 珠海市| 田林县| 甘肃省| 手游| 同仁县| 得荣县| 长垣县| 潜山县| 宝山区| 万全县| 邵东县| 浙江省| 山阴县| 贵港市| 寿宁县| 犍为县| 滦南县| 贵溪市|