溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這期內容當中小編將會給大家帶來有關Pandas使用小技巧有哪些，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
對于動輒就幾十或幾百個 G 的數據，在讀取的這么大數據的時候，我們有沒有辦法隨機選取一小部分數據，然后讀入內存，快速了解數據和開展 EDA ？
使用 Pandas 的 skiprows 和 概率知識，就能做到。
下面解釋具體怎么做。
如下所示，讀取某 100 G 大小的 big_data.csv 數據
使用 skiprows 參數，
x > 0 確保首行讀入，
np.random.rand() > 0.01 表示 99% 的數據都會被隨機過濾掉
言外之意，只有全部數據的 1% 才有機會選入內存中。
import pandas as pd
import numpy as np
df = pd.read_csv("big_data.csv",
skiprows =
lambda x: x>0 and np.random.rand() > 0.01)
print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))
上述就是小編為大家分享的Pandas使用小技巧有哪些了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
