溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
在讀取https://github.com/Embedding/Chinese-Word-Vectors中的中文詞向量時，選擇了一個有3G多的txt文件，之前在做詞向量時用的是word2vec，所以直接導入模型然后indexword即可。
因為這是一個txt大文件，嘗試了DataFrame，np.loadtxt等，都沒有成功，其中主要遇到的問題是：
解決辦法：
嘗試使用的代碼：
代碼1: try: lines=np.loadtxt(filepath) catch: 感覺這塊不會寫了咦，，， print(ValueError) 但這樣的話，它就不會繼續循環去讀上邊的txt了呢
代碼2：
lines=[]
with open(filepath) as f:
for line in f:
lines.append(line)
np.save(filepath,lines)
代碼3
def readEmbedFile(embedFile):
# embedId = {}
# input = open(embedFile,'r',encoding="utf-8")
# lines = []
# a=0
# for line in input:
# lines.append(line)
# a=a+1
# print(a)
# nwords = len(lines) - 1
# splits = lines[1].strip().split(' ') # 因為第一行是統計信息，所以用第二行
# dim = len(splits) - 1
# embeddings=[]
# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
# b=0
# for lineId in range(len(lines)):
# b=b+1
# print(b)
# splits = lines[lineId].split(' ')
# if len(splits) > 2:
# # embedId賦值
# embedId[splits[0]] = lineId
# # embeddings賦值
# emb = [float(splits[i]) for i in range(1, 300)]
# embeddings.append(emb)
# return embedId, embeddings
代碼4：
def load_txt(filename):
lines=[]
vec_dict={}
with open(filename,r) as f:
for line in f:
list=line.strip()
lines.append(line)
for i, line in emuate(lines):
if i=0:
continue
line=line.split(" ")
wordID=line[0]
wordvec=[float line[i] for i in range(1,300)]
vec_dict[wordId]=np.array(wordvec)
return vec_dict
具體內存不足主要的原因是：
我的虛擬機中確實內存不太夠，后來使用實驗室32G的主機后，可以得到idvec，而得不到向量的，報的錯還是memory error.
另一個原因，是需要把詞向量轉換為float形式，在python中str 占的內存>float類型，如代碼所示：
print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
str 49 float 24 int 28 list 64 tuple 48 dic 64
在我的電腦，64位操作系統，64位的python, 所占內存大小排序為：
dic=list>str>tuple>int>float
讀取時候可以用np.load().item就可以復原原來的字典，主要參照下述文件：
然后通過python的字典操作就可以遍歷得到每個詞的詞向量了，dic[vocab]
心得：
距離完全解決項目的問題還有5~6的大關卡,但靜下心來，一步步地做總會突破的呀！
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
