linux 性能分析

查看性能順序：

• [cpu] mpstat -P ALL 1 100  (sar -u,sar -p)

• [network] sar -n DEV

• [disk] sar -b,sar -d

• [mem] sar -W,sar -r,sar -B

• top
  

歷史數據查看：

ubuntu

sar /var/log/sysstat/sa

centos

sar /var/log/sa/sa12[1-31]

優化過程：

1. cpu

root@python-develpment:~# cat /proc/cpuinfo | less

processor       : 0

vendor_id       : GenuineIntel

cpu family      : 6

model           : 42

model name      : Intel(R) Core(TM) i3-2130 CPU @ 3.40GHz

stepping        : 7

microcode       : 0x26

cpu MHz         : 3399.155

cache size      : 3072 KB

如果上面標示紅色部分差異較大，應該將cpu電源管理關掉（在bios里面調）

2. mem

root@python-develpment:~# cat /proc/meminfo

MemTotal:        3763212 kB

MemFree:         2071820 kB

MemAvailable:    2753332 kB

最好關閉numa

修改啟動內核加載文件，將numa=off添加進去

# grub.conf generated by anaconda

#

# Note that you do not have to rerun grub after making changes to this file

# NOTICE:  You have a /boot partition.  This means that

#          all kernel and initrd paths are relative to /boot/, eg.

#          root (hd0,0)

#          kernel /vmlinuz-version ro root=/dev/sda2

#          initrd /initrd-[generic-]version.img

#boot=/dev/sda

default=0

timeout=5

splashp_w_picpath=(hd0,0)/grub/splash.xpm.gz

hiddenmenu

title CentOS (2.6.32-220.el6.x86_64)

        root (hd0,0)

        kernel /vmlinuz-2.6.32-220.el6.x86_64 ro root=UUID=b9e7e53c-e172-479c-aa4c-28c72492a5b6 rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD quiet SYSFONT=

latarcyrheb-sun16 rhgb crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM numa=off

        initrd /initramfs-2.6.32-220.el6.x86_64.img

~                                                     

或者：

啟動數據庫加上numa參數（防止內存泄露）

[root@mysql-master ~]# numactl --interleave=nodes mysqld

關閉swapiness（數據庫將其設置為0，內存型數據庫將其關閉，swapoff）

[root@mysql-master ~]# sysctl -a | grep swap

vm.swappiness = 60

vi /etc/sysctl.conf

添加：vm.swappiness = 0

執行：sysctl -p 使其生效

越大越好

3. io調度

{centos}

[root@mysql-master ~]# cat /sys/block/sdb/queue/scheduler 

noop anticipatory deadline [cfq] 

[root@mysql-master ~]# 

{ubuntu}

root@python-develpment:~# cat /sys/block/sdb/queue/scheduler 

noop [deadline] cfq 

總結 

CPU：關閉電源保護模式

內存： （MySQL數據庫）vm.swappiness = 0 ，僅內存數據庫（redis，memcached）關閉                                  swap:swapoff,    關閉numa

文件系統： 用noatime，nobarrier掛載系統 ，IO調度策略修改為deadline。

-----------mpstat----------------------------

Linux CPU實時監控mpstat命令詳解

簡介

mpstat是Multiprocessor Statistics的縮寫，是實時系統監控工具。其報告與CPU的一些統計信息，這些信息存放在/proc/stat文件中。在多CPUs系統里，其不但能查看所有CPU的平均狀況信息，而且能夠查看特定CPU的信息。mpstat最大的特點是：可以查看多核心cpu中每個計算核心的統計數據；而類似工具vmstat只能查看系統整體cpu情況。

語法

mpstat [-P {|ALL}] [internal [count]]
參數 解釋-P {|ALL} 表示監控哪個CPU， cpu在[0,cpu個數-1]中取值
internal 相鄰的兩次采樣的間隔時間、
count 采樣的次數，count只能和delay一起使用
當沒有參數時，mpstat則顯示系統啟動以后所有信息的平均值。有interval時，第一行的信息自系統啟動以來的平均信息。從第二行開始，輸出為前一個interval時間段的平均信息。

實例

查看多核CPU核心的當前運行狀況信息， 每2秒更新一次

mpstat  219:45:12 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle19:45:14 all 0.04 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.9619:45:16 all 0.00 0.00 0.00 0.03 0.00 0.00 0.00 0.00 99.9719:45:18 all 0.00 0.07 0.07 0.00 0.00 0.00 0.00 0.00 99.87

如果要看每個cpu核心的詳細當前運行狀況信息，輸出如下：

mpstat  -P ALL 219:43:58     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle19:43:59     all    0.00    0.00    0.04    0.00    0.00    0.00    0.00    0.00   99.9619:43:59       0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.0019:43:59       1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00.......19:43:59      13    0.99    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.0119:43:59      14    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.0019:43:59      15    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

字段的含義如下

%user      在internal時間段里，用戶態的CPU時間(%)，不包含nice值為負進程  (usr/total)*100%nice      在internal時間段里，nice值為負進程的CPU時間(%)   (nice/total)*100%sys       在internal時間段里，內核時間(%)       (system/total)*100%iowait    在internal時間段里，硬盤IO等待時間(%) (iowait/total)*100%irq       在internal時間段里，硬中斷時間(%)     (irq/total)*100%soft      在internal時間段里，軟中斷時間(%)     (softirq/total)*100%idle      在internal時間段里，CPU除去等待磁盤IO操作外的因為任何原因而空閑的時間閑置時間(%) (idle/total)*100

計算公式如下

total_cur=user+system+nice+idle+iowait+irq+softirq
total_pre=pre_user+ pre_system+ pre_nice+ pre_idle+ pre_iowait+ pre_irq+ pre_softirq
user=user_cur – user_pre
total=total_cur-total_pre
其中_cur 表示當前值，_pre表示interval時間前的值。上表中的所有值可取到兩位小數點。

 -----------------------------------sar------------------------------------------

sar（System Activity Reporter系統活動情況報告）是目前 Linux 上最為全面的系統性能分析工具之一，可以從多方面對系統的活動進行報告，包括：文件的讀寫情況、系統調用的使用情況、磁盤I/O、CPU效率、內存使用狀況、進程活動及IPC有關的活動等。本文主要以CentOS 6.3 x64系統為例，介紹sar命令。

sar命令常用格式

sar [options] [-A] [-o file] t [n]

其中：

例如：sar -d 3 10

t(3)為采樣間隔，n(10)為采樣次數，默認值是1；

-o file表示將命令結果以二進制格式存放在文件中，file 是文件名。

options 為命令行選項，sar命令常用選項如下：

-A：所有報告的總和

-u：輸出CPU使用情況的統計信息

-v：輸出inode、文件和其他內核表的統計信息

-d：輸出每一個塊設備的活動信息

-r：輸出內存和交換空間的統計信息

-b：顯示I/O和傳送速率的統計信息

-a：文件讀寫情況

-c：輸出進程統計信息，每秒創建的進程數

-R：輸出內存頁面的統計信息

-y：終端設備活動情況

-w：輸出系統交換活動信息

1. CPU資源監控

例如，每10秒采樣一次，連續采樣3次，觀察CPU 的使用情況，并將采樣結果以二進制形式存入當前目錄下的文件test中，需鍵入如下命令：

sar -u -o test 10 3

屏幕顯示如下：

17:06:16 CPU %user %nice %system %iowait %steal %idle

17:06:26 all 0.00 0.00 0.20 0.00 0.00 99.80

17:06:36 all 0.00 0.00 0.20 0.00 0.00 99.80

17:06:46 all 0.00 0.00 0.10 0.00 0.00 99.90

Average: all 0.00 0.00 0.17 0.00 0.00 99.83

輸出項說明：

CPU：all 表示統計信息為所有 CPU 的平均值。

%user：顯示在用戶級別(application)運行使用 CPU 總時間的百分比。

%nice：顯示在用戶級別，用于nice操作，所占用 CPU 總時間的百分比。

%system：在核心級別(kernel)運行所使用 CPU 總時間的百分比。

%iowait：顯示用于等待I/O操作占用 CPU 總時間的百分比。

%steal：管理程序(hypervisor)為另一個虛擬進程提供服務而等待虛擬 CPU 的百分比。

%idle：顯示 CPU 空閑時間占用 CPU 總時間的百分比。

1. 若 %iowait 的值過高，表示硬盤存在I/O瓶頸

2. 若 %idle 的值高但系統響應慢時，有可能是 CPU 等待分配內存，此時應加大內存容量

3. 若 %idle 的值持續低于1，則系統的 CPU 處理能力相對較低，表明系統中最需要解決的資源是 CPU 。

如果要查看二進制文件test中的內容，需鍵入如下sar命令：

sar -u -f test

2. inode、文件和其他內核表監控

例如，每10秒采樣一次，連續采樣3次，觀察核心表的狀態，需鍵入如下命令：

sar -v 10 3

屏幕顯示如下：

17:10:49 dentunusd file-nr inode-nr pty-nr

17:10:59 6301 5664 12037 4

17:11:09 6301 5664 12037 4

17:11:19 6301 5664 12037 4

Average: 6301 5664 12037 4

輸出項說明：

dentunusd：目錄高速緩存中未被使用的條目數量

file-nr：文件句柄（file handle）的使用數量

inode-nr：索引節點句柄（inode handle）的使用數量

pty-nr：使用的pty數量

3. 內存和交換空間監控

例如，每10秒采樣一次，連續采樣3次，監控內存分頁：

sar -r 10 3

屏幕顯示如下：

輸出項說明：

kbmemfree：這個值和free命令中的free值基本一致,所以它不包括buffer和cache的空間.

kbmemused：這個值和free命令中的used值基本一致,所以它包括buffer和cache的空間.

%memused：這個值是kbmemused和內存總量(不包括swap)的一個百分比.

kbbuffers和kbcached：這兩個值就是free命令中的buffer和cache.

kbcommit：保證當前系統所需要的內存,即為了確保不溢出而需要的內存(RAM+swap).

%commit：這個值是kbcommit與內存總量(包括swap)的一個百分比.

4. 內存分頁監控

例如，每10秒采樣一次，連續采樣3次，監控內存分頁：

sar -B 10 3

屏幕顯示如下：

輸出項說明：

pgpgin/s：表示每秒從磁盤或SWAP置換到內存的字節數(KB)

pgpgout/s：表示每秒從內存置換到磁盤或SWAP的字節數(KB)

fault/s：每秒鐘系統產生的缺頁數,即主缺頁與次缺頁之和(major + minor)

majflt/s：每秒鐘產生的主缺頁數.

pgfree/s：每秒被放入空閑隊列中的頁個數

pgscank/s：每秒被kswapd掃描的頁個數

pgscand/s：每秒直接被掃描的頁個數

pgsteal/s：每秒鐘從cache中被清除來滿足內存需要的頁個數

%vmeff：每秒清除的頁(pgsteal)占總掃描頁(pgscank+pgscand)的百分比

5. I/O和傳送速率監控

例如，每10秒采樣一次，連續采樣3次，報告緩沖區的使用情況，需鍵入如下命令：

sar -b 10 3

屏幕顯示如下：

18:51:05 tps rtps wtps bread/s bwrtn/s

18:51:15 0.00 0.00 0.00 0.00 0.00

18:51:25 1.92 0.00 1.92 0.00 22.65

18:51:35 0.00 0.00 0.00 0.00 0.00

Average: 0.64 0.00 0.64 0.00 7.59

輸出項說明：

tps：每秒鐘物理設備的 I/O 傳輸總量

rtps：每秒鐘從物理設備讀入的數據總量

wtps：每秒鐘向物理設備寫入的數據總量

bread/s：每秒鐘從物理設備讀入的數據量，單位為 塊/s

bwrtn/s：每秒鐘向物理設備寫入的數據量，單位為 塊/s

6. 進程隊列長度和平均負載狀態監控

例如，每10秒采樣一次，連續采樣3次，監控進程隊列長度和平均負載狀態：

sar -q 10 3

屏幕顯示如下：

19:25:50 runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15

19:26:00 0 259 0.00 0.00 0.00

19:26:10 0 259 0.00 0.00 0.00

19:26:20 0 259 0.00 0.00 0.00

Average: 0 259 0.00 0.00 0.00

輸出項說明：

runq-sz：運行隊列的長度（等待運行的進程數）

plist-sz：進程列表中進程（processes）和線程（threads）的數量

ldavg-1：最后1分鐘的系統平均負載（System load average）

ldavg-5：過去5分鐘的系統平均負載

ldavg-15：過去15分鐘的系統平均負載

7. 系統交換活動信息監控

例如，每10秒采樣一次，連續采樣3次，監控系統交換活動信息：

sar -    W 10 3

屏幕顯示如下：

19:39:50 pswpin/s pswpout/s

19:40:00 0.00 0.00

19:40:10 0.00 0.00

19:40:20 0.00 0.00

Average: 0.00 0.00

輸出項說明：

pswpin/s：每秒系統換入的交換頁面（swap page）數量

pswpout/s：每秒系統換出的交換頁面（swap page）數量

8. 設備使用情況監控

例如，每10秒采樣一次，連續采樣3次，報告設備使用情況，需鍵入如下命令：

# sar -d 10 3 –p

屏幕顯示如下：

17:45:54    DEV    tps    rd_sec/s    wr_sec/s    avgrq-sz    avgqu-sz    await    svctm    %util

17:46:04    scd0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

17:46:04    sda    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

17:46:04    vg_livedvd-lv_root    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

17:46:04    vg_livedvd-lv_swap    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

其中：

參數-p可以打印出sda,hdc等磁盤設備名稱,如果不用參數-p,設備節點則有可能是dev8-0,dev22-0

tps:每秒從物理磁盤I/O的次數.多個邏輯請求會被合并為一個I/O磁盤請求,一次傳輸的大小是不確定的.

rd_sec/s:每秒讀扇區的次數.

wr_sec/s:每秒寫扇區的次數.

avgrq-sz:平均每次設備I/O操作的數據大小(扇區).

avgqu-sz:磁盤請求隊列的平均長度.

await:從請求磁盤操作到系統完成處理,每次請求的平均消耗時間,包括請求隊列等待時間,單位是毫秒(1秒=1000毫秒).

svctm:系統處理每次請求的平均時間,不包括在請求隊列中消耗的時間.

%util:I/O請求占CPU的百分比,比率越大,說明越飽和.

1. avgqu-sz 的值較低時，設備的利用率較高。

2. 當%util的值接近 1% 時，表示設備帶寬已經占滿。

要判斷系統瓶頸問題，有時需幾個 sar 命令選項結合起來

懷疑CPU存在瓶頸，可用 sar -u 和 sar -q 等來查看

懷疑內存存在瓶頸，可用 sar -B、sar -r 和 sar -W 等來查看

懷疑I/O存在瓶頸，可用 sar -b、sar -u 和 sar -d 等來查看