Python如何實現從數據庫讀取大量數據批量寫入文件

這篇文章主要介紹了Python如何實現從數據庫讀取大量數據批量寫入文件，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

使用機器學習訓練數據時，如果數據量較大可能我們不能夠一次性將數據加載進內存，這時我們需要將數據進行預處理，分批次加載進內存。

下面是代碼作用是將數據從數據庫讀取出來分批次寫入txt文本文件，方便我們做數據的預處理和訓練機器學習模型。

#%%
import pymssql as MySQLdb #這里是python3 如果你是python2.x的話，import MySQLdb
#數據庫連接屬性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
 
#總共多少數據
allData = 1674333
#每個批次多少條數據
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
 
#文件名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'
 
#連接數據庫
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
 
while IDctrl<batch:
 #讀取數據庫
 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
 cur.execute(sql)
 rows=cur.fetchall()
 #寫文件
 f = open(filename,'w')
 f.writelines(str(rows))
 #文件名加1
 IDctrl+=1
 filename = str(IDctrl)+'.txt'
 
#關閉數據庫連接
f.close()
conn.close()

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Python如何實現從數據庫讀取大量數據批量寫入文件”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!