如何用Python處理數據

這篇文章主要介紹“如何用Python處理數據”，在日常操作中，相信很多人在如何用Python處理數據問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何用Python處理數據”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

工欲善其事，必先利其器！我們想要更輕松更有效率地開發，必須學會一些“高級”技能。前不久看到一位 Python 高僧的代碼，其中使用了一個短小精悍的模塊，我認為還蠻有用的，今天分享給大家。

這個模塊就叫 glom ，是 Python 處理數據的一個小模塊，它具有如下特點：

• 嵌套結構并基于路徑訪問

• 使用輕量級的Pythonic規范進行聲明性數據轉換

• 可讀、有意義的錯誤信息

• 內置數據探測和調試功能

看起來比較抽象，對不對？下面我們用實例來給大家演示一下。

安裝

作為 Python 內置模塊，相信你一定知道怎么安裝：

pip3 install glom

幾秒鐘就搞定！

簡單使用

我們來看看最簡單的用法：

d = {"a": {"b": {"c": 1}}}
print(glom(d, "a.b.c")) # 1

在這里，我們有一個嵌套三層的 json 結構，我們想獲取最里層的 c 對應的值，正常的寫法應該是：

print(d["a"]["b"]["c"])

如果到這里，我說 glom 比傳統方式好一些，因為你不用一層層地寫中括號和引號，你會不會嗤之以鼻？

好，我們再來看看下面的情況：

d = {"a": {"b": None}}
print(d["a"]["b"]["c"])

遍歷到一個 None 對象，你會收到下面的錯誤：

Traceback (most recent call last):
  File "/Users/cxhuan/Documents/python_workspace/mypy/pmodules/pglom/glomstudy.py", line 10, in <module>
    print(d["a"]["b"]["c"])
TypeError: 'NoneType' object is not subscriptable

我們來看看 glom 的處理方式：

from glom import glom

d = {"a": {"b": None}}
print(glom(d, "a.b.c"))

同樣地，glom 不能把錯誤的輸出成對的，你會得到以下錯誤：

Traceback (most recent call last):
  File "/Users/cxhuan/Documents/python_workspace/mypy/pmodules/pglom/glomstudy.py", line 11, in <module>
    print(glom(d, "a.b.c"))
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/glom/core.py", line 2181, in glom
    raise err
glom.core.PathAccessError: error raised while processing, details below.
 Target-spec trace (most recent last):
 - Target: {'a': {'b': None}}
 - Spec: 'a.b.c'glom.core.PathAccessError: could not access 'c', part 2 of Path('a', 'b', 'c'), got error: AttributeError("'NoneType' object has no attribute 'c'")

如果你仔細看報錯內容，你就會發現這報錯內容極其詳細，一目了然，這對于找程序 bug 簡直是神器！

復雜用法

剛才簡單的例子，讓大家對 glom 有了直觀的認識，接下來我們看看 glom 的 glom 方法的定義：

glom(target, spec, **kwargs)

我們看看參數的含義：

• target：目標數據，可以是dict、list或者其他任何對象

• spec：是我們希望輸出的內容

下面我們來使用這個方法。

先看一個例子。我們有一個 dict ，想要獲取出 所有 name 的值，我們可以通過 glom 來實現：

data = {"student": {"info": [{"name": "張三"}, {"name": "李四"}]}}
info = glom(data, ("student.info", ["name"]))
print(info) # ['張三', '李四']

如果用傳統方式的話，我們可能會需要遍歷才能獲取到，但是使用 glom ，我們只需要一行代碼就可以了，輸出是一個數組。

如果你不想輸出數組，而是想要一個 dict 的話，那也是很簡單的：

info = glom(data, {"info": ("student.info", ["name"])})print(info) # {'info': ['張三', '李四']

我們只需要將原來的數組賦值給一個字典來接收就好了。

搞定麻煩需求

假如我現在有兩組數據，我要取出 name 的值：

data_1 = {"school": {"student": [{"name": "張三"}, {"name": "李四"}]}}
data_2 = {"school": {"teacher": [{"name": "王老師"}, {"name": "趙老師"}]}}

spec_1 = {"name": ("school.student", ["name"])}
spec_2 = {"name": ("school.teacher", ["name"])}print(glom(data_1, spec_1)) # {'name': ['張三', '李四']}print(glom(data_2, spec_2)) # {'name': ['王老師', '趙老師']}

我們通常是這么寫，對嗎？假如我們有好多組數據，每組都是類似的取法呢？這時候我們就會想辦法避免一個個重復寫 N 行參數了，我們可以使用 Coalesce 方法：

data_1 = {"school": {"student": [{"name": "張三"}, {"name": "李四"}]}}
data_2 = {"school": {"teacher": [{"name": "王老師"}, {"name": "趙老師"}]}}

spec = {"name": (Coalesce("school.student", "school.teacher"), ["name"])}
 print(glom(data_1, spec)) # {'name': ['張三', '李四']}print(glom(data_2, spec)) # {'name': ['王老師', '趙老師']}

我們可以用 Coalesce 把多個需求聚合起來，然后針對同一個 spec 來取值就行了。

下面再來一個大殺器——取值計算。glom 還可以對取值進行簡單計算，我們來看例子：

data = {"school": {"student": [{"name": "張三", "age": 8}, {"name": "李四", "age": 10}]}}
spec = {"sum_age": ("school.student", ["age"], sum)}
print(glom(data, spec)) # {'sum_age': 18}

到此，關于“如何用Python處理數據”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！