如何使用parallel利用起你的所有CPU資源

這篇文章主要介紹了如何使用parallel利用起你的所有CPU資源，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

bash 命令通常單線程運行。這意味著所有的處理工作只在單個 CPU 上執行。隨著 CPU 規模的擴大以及核心數目的增加，這意味著只有一小部分的 CPU 資源用于處理你的工作。

當我們的工作受制于 CPU 處理數據的速度時，這些未使用的 CPU 資源能產生很大的效用。這種情況在進行多媒體轉換（比如圖片和視頻轉換）以及數據壓縮中經常遇到。

本文中，我們將會使用 parallel 程序。parallel 會接受一個列表作為輸入，然后在所有 CPU 核上并行地執行命令來處理該列表。Parallel 甚至會按順序將結果輸出到標準輸出中，因此它可以用在管道中作為其他命令的標準輸入。

如何使用 parallel

parallel 在標準輸入中讀取一個列表作為輸入，然后創建多個指定命令的進程來處理這個列表，其格式為：

list | parallel command

這里的 list 可以由任何常見的 bash 命令創建，例如：cat、grep、find。這些命令的結果通過管道從它們的標準輸出傳遞到 parallel 的標準輸入，像這樣：

find . -type f -name "*.log" | parallel

跟 find 中使用 -exec 類似，parallel 使用 {} 來表示輸入列表中的每個元素。下面這個例子中，parallel 會使用 gzip 壓縮所有 find 命令輸出的文件：

find . -type f -name "*.log" | parallel gzip {}

下面這些實際的使用 parallel 的例子可能會更容易理解一些。

使用 parallel 來進行 JPEG 壓縮

在這個例子中，我收集了一些比較大的 .jpg 文件（大約 10MB 大小），要用 Mozilla 出品的 JPEG 圖像壓縮工具 MozJPEG 來進行處理。該工具會在嘗試保持圖像質量的同時減少 JPEG 圖像文件的大小。這對降低網頁加載時間很重要。

下面是一個普通的 find 命令，用來找出當前目錄中的所有 .jpg 文件，然后通過 MozJPEG 包中提供的圖像壓縮工具 （cjpeg） 對其進行處理：

find . -type f -name "*.jpg" -exec cjpeg -outfile LoRes/{} {} ';'

總共耗時 0m44.114s。

雖然有 8 個核可用，但實際只有單個線程在用單個核。

下面用 parallel 來運行相同的命令：

find . -type f -name "*.jpg" | parallel cjpeg -outfile LoRes/{} {}

這次壓縮所有圖像的時間縮減到了 0m10.814s。從 top 顯示中可以很清楚地看出不同：

所有 CPU 核都滿負荷運行，有 8 個線程對應使用 8 個 CPU 核。

parallel 與 gzip 連用

如果你需要壓縮多個文件而不是一個大文件，那么 parallel 就能用來提高處理速度。如果你需要壓縮單個文件而同時又想要利用所有的 CPU 核的話，那么你應該 gzip 的多線程替代品 pigz。

首先，我用隨機數據創建了 100 個大約 1GB 的文件：

for i in {1..100}; do dd if=/dev/urandom of=file-$i bs=1MB count=10; done

然而我用 find -exec 命令來進行壓縮：

find . -type f -name "file*" -exec gzip {} ';'

總共耗時 0m28.028s，而且也是只利用了單核。

換成 parallel 版本：

find . -type f -name "file*" | parallel gzip {}

耗時減少到了 0m5.774s。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“如何使用parallel利用起你的所有CPU資源”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!