溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章給大家分享的是有關如何使用python爬取千萬條基金數據的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
爬取基金的數據有個必要條件就是要知道基金代碼，如何獲取呢，打開官網找吧。
點了一圈，發現了基金代碼的主頁，尋思翻頁爬取就完事了
http://fund.eastmoney.com/allfund.html
結果沒想到F12打開下圖中的fundcode_search.js
右鍵新標簽頁打開→
發現所有的基金代碼都在，那么就更簡單了呀。
import requests
import re
import json
import pandas as pd
url = 'http://fund.eastmoney.com/js/fundcode_search.js'
r = requests.get(url)
a = re.findall('var r = (.*])', r.text)[0]
b = json.loads(a)
fundcode = pd.DataFrame(b, columns=['fundcode', 'fundsx', 'name', 'category', 'fundpy'])
fundcode = fundcode.loc[:, ['fundcode', 'name', 'category']]
fundcode.to_csv('fundcode_search.csv', index=False, encoding='utf-8-sig')
運行獲得所有基金代碼共10736條數據。
有了上萬個基金代碼，再爬取他們近三年的凈值數據，那四舍五入不就是千萬條數據嘞~
之前就已經給出了方法，同樣打開基金網站，用瀏覽器自帶流量分析工具可以輕松找到數據接口。
其中callback為返回js回調函數，可以刪除，funCode為基金代碼，pageIndex為頁碼，pageSize為每頁返回的數據條數是，startDate和endDate分別為開始時間和結束時間。[1]
fundCode = '001618' #基金代碼
pageIndex = 1
startDate = '2018-02-22' #起始時間
endDate = '2020-07-10' #截止時間
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
'Referer': 'http://fundf10.eastmoney.com/jjjz_{0}.html'.format(fundCode)
}
url = 'http://api.fund.eastmoney.com/f10/lsjz?fundCode={0}&pageIndex={1}&pageSize=5000&startDate={2}&endDate={3}&_=1555586870418?'\
.format(fundCode, pageIndex, startDate, endDate)
response = requests.get(url, headers=header)感謝各位的閱讀！關于“如何使用python爬取千萬條基金數據”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
