Python庫函數在數據清洗與預處理中的實戰

在數據清洗和預處理中，Python有許多庫可以幫助我們完成這些任務

1. pandas：pandas是一個非常流行的數據處理庫，提供了大量的數據結構和數據分析工具。在數據清洗和預處理中，我們可以使用pandas來處理缺失值、重復值、數據類型轉換等。

import pandas as pd

# 讀取數據
data = pd.read_csv('data.csv')

# 處理缺失值
data.fillna(method='ffill', inplace=True)  # 使用前一個值填充缺失值
data.dropna(inplace=True)  # 刪除包含缺失值的行

# 處理重復值
data.drop_duplicates(inplace=True)  # 刪除重復行

# 數據類型轉換
data['column_name'] = data['column_name'].astype('datatype')  # 將列的數據類型轉換為指定類型

2. numpy：numpy是一個用于處理數組和矩陣的庫，可以用于數據清洗和預處理。

import numpy as np

# 創建一個數組
arr = np.array([1, 2, 3, 4, 5])

# 處理缺失值
arr[np.isnan(arr)] = 0  # 將缺失值（NaN）替換為0

# 數據類型轉換
arr = arr.astype('datatype')  # 將數組的數據類型轉換為指定類型

3. scikit-learn：scikit-learn是一個機器學習庫，提供了許多用于數據預處理的工具。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 標準化數據
scaler = StandardScaler()
data_scaled = scaler.fit_transform(data)

# 歸一化數據
scaler = MinMaxScaler()
data_normalized = scaler.fit_transform(data)

4. nltk：nltk是一個自然語言處理庫，可以用于文本數據的清洗和預處理。

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

# 分詞
tokens = word_tokenize(text)

# 去除停用詞
stop_words = set(stopwords.words('english'))
filtered_tokens = [word for word in tokens if word not in stop_words]

# 詞干提取
stemmer = nltk.stem.PorterStemmer()
stemmed_tokens = [stemmer.stem(word) for word in filtered_tokens]

這些庫和函數可以幫助你在數據清洗和預處理過程中完成各種任務。當然，根據具體需求，你可能還需要使用其他庫或自定義函數來完成特定任務。