溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章給大家分享的是有關利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數據，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
環境：
1.確定數據所在的鏈接地址(url)
2.通過代碼發送url地址的請求
3.解析數據(要的, 篩選不要的)
4.數據持久化(保存)
案例思路：
1. 在靜態數據中獲取音頻的id值
2. 發送指定id值json數據請求(src)
3. 從json數據中解析音頻所對應的URL地址 開始寫代碼
先導入所需的模塊
import requests import parsel # 數據解析模塊 import re
1.確定數據所在的鏈接地址(url) 逆向分析 網頁性質(靜態網頁/動態網頁)
打開開發者工具，播放一個音頻，在Madie里面可以找到一個數據包
復制URL，搜索
找到ID值
繼續搜索，找到請求頭參數
url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}2.通過代碼發送url地址的請求
response = requests.get(url=url, headers=headers) html_data = response.text
3.解析數據(要的, 篩選不要的) 解析音頻的 id值
selector = parsel.Selector(html_data)
lis = selector.xpath('//div[@class="sound-list _is"]/ul/li')
for li in lis:
try:
title = li.xpath('.//a/@title').get() + '.m4a'
href = li.xpath('.//a/@href').get()
# print(title, href)
m4a_id = href.split('/')[-1]
# print(href, m4a_id)
# 發送指定id值json數據請求(src)
json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)
json_data = requests.get(url=json_url, headers=headers).json()
# print(json_data)
# 提取音頻地址
m4a_url = json_data['data']['src']
# print(m4a_url)
# 請求音頻數據
m4a_data = requests.get(url=m4a_url, headers=headers).content
new_title = change_title(title)4.數據持久化(保存)
with open('video\\' + new_title, mode='wb') as f:
f.write(m4a_data)
print('保存完成:', title)最后還要處理文件名非法字符
def change_title(title): pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |' new_title = re.sub(pattern, "_", title) # 替換為下劃線 return new_title
完整代碼
import re
import requests
import parsel # 數據解析模塊
def change_title(title):
"""處理文件名非法字符的方法"""
pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |'
new_title = re.sub(pattern, "_", title) # 替換為下劃線
return new_title
for page in range(13, 33):
print('---------------正在爬取第{}頁的數據----------------'.format(page))
# 1.確定數據所在的鏈接地址(url) 逆向分析 網頁性質(靜態網頁/動態網頁)
url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
# 2.通過代碼發送url地址的請求
response = requests.get(url=url, headers=headers)
html_data = response.text
# print(html_data)
# 3.解析數據(要的, 篩選不要的) 解析音頻的 id值
selector = parsel.Selector(html_data)
lis = selector.xpath('//div[@class="sound-list _is"]/ul/li')
for li in lis:
try:
title = li.xpath('.//a/@title').get() + '.m4a'
href = li.xpath('.//a/@href').get()
# print(title, href)
m4a_id = href.split('/')[-1]
# print(href, m4a_id)
# 發送指定id值json數據請求(src)
json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)
json_data = requests.get(url=json_url, headers=headers).json()
# print(json_data)
# 提取音頻地址
m4a_url = json_data['data']['src']
# print(m4a_url)
# 請求音頻數據
m4a_data = requests.get(url=m4a_url, headers=headers).content
new_title = change_title(title)
# print(new_title)
# 4.數據持久化(保存)
with open('video\\' + new_title, mode='wb') as f:
f.write(m4a_data)
print('保存完成:', title)
except:
pass以上就是利用Python爬蟲怎么爬取喜馬拉雅app上的音頻數據，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
