概述
如果你的Linux服務(wù)器突然負(fù)載暴增，告警短信快發(fā)爆你的手機(jī)，如何在最短時(shí)間內(nèi)找出Linux性能問題所在？來看性能工程團(tuán)隊(duì)的這篇博文，看它們通過十條命令在一分鐘內(nèi)對機(jī)器性能問題進(jìn)行診斷。
通過執(zhí)行以下命令，可以在1分鐘內(nèi)對系統(tǒng)資源使用情況有個(gè)大致的了解。
其中一些命令需要安裝包，有一些由包提供。這些命令的輸出，有助于快速定位性能瓶頸，檢查出所有資源（CPU、內(nèi)存、磁盤IO等）的利用率（）、飽和度（）和錯(cuò)誤（error）度量，也就是所謂的USE方法。
下面我們來逐一介紹下這些命令，有關(guān)這些命令更多的參數(shù)和說明，請參照命令的手冊。
$ :51:26 up 21:31, 1 user, load : 30.02, 26.43, 19.02
這個(gè)命令可以快速查看機(jī)器的負(fù)載情況。在Linux系統(tǒng)中，這些數(shù)據(jù)表示等待CPU資源的進(jìn)程和阻塞在不可中斷IO進(jìn)程（進(jìn)程狀態(tài)為D）的數(shù)量。這些數(shù)據(jù)可以讓我們對系統(tǒng)資源使用有一個(gè)宏觀的了解。
命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負(fù)載情況。通過這三個(gè)數(shù)據(jù)，可以了解服務(wù)器負(fù)載是在趨于緊張還是區(qū)域緩解。如果1分鐘平均負(fù)載很高，而15分鐘平均負(fù)載很低，說明服務(wù)器正在命令高負(fù)載情況，需要進(jìn)一步排查CPU資源都消耗在了哪里。反之，如果15分鐘平均負(fù)載很高，1分鐘平均負(fù)載較低，則有可能是CPU資源緊張時(shí)刻已經(jīng)過去。
上面例子中的輸出，可以看見最近1分鐘的平均負(fù)載非常高，且遠(yuǎn)高于最近15分鐘負(fù)載，因此我們需要繼續(xù)排查當(dāng)前系統(tǒng)中有什么進(jìn)程消耗了大量的資源?？梢酝ㄟ^下文將會(huì)介紹的、等命令進(jìn)一步排查。
dmesg | tail
$ dmesg | tail[.] perl oom-: =, order=0, =0[...][.] Out of : Kill 18694 (perl) score 246 or child[.] 18694 (perl) total-vm:, anon-rss:, file-rss:0kB[.] TCP: SYN on port 7001. . Check SNMP .
該命令會(huì)輸出系統(tǒng)日志的最后10行。示例中的輸出，可以看見一次內(nèi)核的oom kill和一次TCP丟包。這些日志可以幫助排查性能問題。千萬不要忘了這一步。
1
$ ------------------- ---swap-- -----io---- --- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st34 0 0 208 0 0 0 5 6 10 96 1 3 0 032 0 0 208 0 0 0 592 13284 4282 98 1 1 0 032 0 0 208 0 0 0 0 9501 2154 99 1 0 0 032 0 0 202 0 0 0 48 11900 2459 99 0 0 0 032 0 0 202 0 0 0 0 15898 4840 98 1 1 0 0^C
(8) 命令，每行會(huì)輸出一些系統(tǒng)核心指標(biāo)，這些指標(biāo)可以讓我們更詳細(xì)的了解系統(tǒng)狀態(tài)。后面跟的參數(shù)1，表示每秒輸出一次統(tǒng)計(jì)信息，表頭提示了每一列的含義，這幾介紹一些和性能調(diào)優(yōu)相關(guān)的列：
上述這些CPU時(shí)間，可以讓我們很快了解CPU是否出于繁忙狀態(tài)。一般情況下，如果用戶時(shí)間和系統(tǒng)時(shí)間相加非常大，CPU出于忙于執(zhí)行指令。如果IO等待時(shí)間很長，那么系統(tǒng)的瓶頸可能在磁盤IO。
示例命令的輸出可以看見，大量CPU時(shí)間消耗在用戶態(tài)，也就是用戶應(yīng)用程序消耗了CPU時(shí)間。這不一定是性能問題，需要結(jié)合r隊(duì)列，一起分析。
-P ALL 1
$ -P ALL 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)07:38:49 PM CPU %usr %nice %sys % %irq %soft %steal %guest %gnice %:38:50 PM all 98.47 0.00 0.75 0.00 0.00 0.00 0.00 0.00 0.00 0.7807:38:50 PM 0 96.04 0.00 2.97 0.00 0.00 0.00 0.00 0.00 0.00 0.9907:38:50 PM 1 97.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 2.0007:38:50 PM 2 98.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.0007:38:50 PM 3 96.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3.03[...]
該命令可以顯示每個(gè)CPU的占用情況linux查看可用空間，如果有一個(gè)CPU占用率特別高，那么有可能是一個(gè)單線程應(yīng)用程序引起的。
1
$ 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)07:41:02 PM UID PID %usr % %guest %CPU CPU :41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/007:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 :41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 :41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 :41:03 PM 60004 60154 0.94 4.72 0.00 5.66 9 :41:03 PM UID PID %usr % %guest %CPU CPU :41:04 PM 0 4214 6.00 2.00 0.00 8.00 15 mesos-:41:04 PM 0 6521 1590.00 1.00 0.00 1591.00 27 :41:04 PM 0 6564 1573.00 10.00 0.00 1583.00 28 :41:04 PM 108 6718 1.00 0.00 0.00 1.00 0 snmp-:41:04 PM 60004 60154 1.00 4.00 0.00 5.00 9 ^C
命令輸出進(jìn)程的CPU占用率，該命令會(huì)持續(xù)輸出，并且不會(huì)覆蓋之前的數(shù)據(jù)，可以方便觀察系統(tǒng)動(dòng)態(tài)。如上的輸出，可以看見兩個(gè)JAVA進(jìn)程占用了將近1600%的CPU時(shí)間，既消耗了大約16個(gè)CPU核心的運(yùn)算資源。
-xz 1
$ -xz 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)avg-cpu: %user %nice % % %steal %idle 73.96 0.00 3.73 0.03 0.06 22.: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm % 0.00 0.23 0.21 0.18 4.52 2.08 34.37 0.00 9.98 13.80 5.42 2.44 0. 0.01 0.00 1.02 8.94 127.97 598.53 145.79 0.00 0.43 1.78 0.28 0.25 0. 0.01 0.00 1.02 8.86 127.79 595.94 146.50 0.00 0.45 1.82 0.30 0.27 0.26dm-0 0.00 0.00 0.69 2.32 10.47 31.69 28.01 0.01 3.23 0.71 3.98 0.13 0.04dm-1 0.00 0.00 0.00 0.94 0.01 3.78 8.00 0.33 345.84 0.04 346.81 0.01 0.00dm-2 0.00 0.00 0.09 0.07 1.35 0.36 22.50 0.00 2.55 0.23 5.62 1.78 0.03[...]^C
命令主要用于查看機(jī)器磁盤IO情況。該命令輸出的列，主要含義是：
如果顯示的是邏輯設(shè)備的數(shù)據(jù)，那么設(shè)備利用率不代表后端實(shí)際的硬件設(shè)備已經(jīng)飽和。值得注意的是，即使IO性能不理想，也不一定意味這應(yīng)用程序性能會(huì)不好，可以利用諸如預(yù)讀取、寫緩存等策略提升應(yīng)用性能。
free –m
$ free -m total used free : 24545 83 59 541-/+ /cache: 23944 : 0 0 0
free命令可以查看系統(tǒng)內(nèi)存的使用情況，-m參數(shù)表示按照兆字節(jié)展示。最后兩列分別表示用于IO緩存的內(nèi)存數(shù)，和用于文件系統(tǒng)頁緩存的內(nèi)存數(shù)。需要注意的是，第二行-/+ /cache，看上去緩存占用了大量內(nèi)存空間。這是Linux系統(tǒng)的內(nèi)存使用策略，盡可能的利用內(nèi)存，如果應(yīng)用程序需要內(nèi)存，這部分內(nèi)存會(huì)立即被回收并分配給應(yīng)用程序。因此，這部分內(nèi)存一般也被當(dāng)成是可用內(nèi)存。
如果可用內(nèi)存非常少，系統(tǒng)可能會(huì)動(dòng)用交換區(qū)（如果配置了的話），這樣會(huì)增加IO開銷（可以在命令中提現(xiàn)），降低系統(tǒng)性能。
sar -n DEV 1
$ sar -n DEV 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)12:16:48 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s /s %:16:49 AM eth0 18763.00 5032.00 20686.42 478.30 0.00 0.00 0.00 0.0012:16:49 AM lo 14.00 14.00 1.36 1.36 0.00 0.00 0.00 0.0012:16:49 AM 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.0012:16:49 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s /s %:16:50 AM eth0 19763.00 5101.00 21999.10 482.56 0.00 0.00 0.00 0.0012:16:50 AM lo 20.00 20.00 3.25 3.25 0.00 0.00 0.00 0.0012:16:50 AM 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00^C
sar命令在這里可以查看網(wǎng)絡(luò)設(shè)備的吞吐率。在排查性能問題時(shí)，可以通過網(wǎng)絡(luò)設(shè)備的吞吐量linux查看可用空間，判斷網(wǎng)絡(luò)設(shè)備是否已經(jīng)飽和。如示例輸出中，eth0網(wǎng)卡設(shè)備，吞吐率大概在22 /s，既176 Mbits/sec，沒有達(dá)到1Gbit/sec的硬件上限。
sar -n TCP,ETCP 1
$ sar -n TCP,ETCP 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)12:17:19 AM /s /s iseg/s oseg/s12:17:20 AM 1.00 0.00 10233.00 18846.0012:17:19 AM /s /s /s /s orsts/s12:17:20 AM 0.00 0.00 0.00 0.00 0.0012:17:20 AM /s /s iseg/s oseg/s12:17:21 AM 1.00 0.00 8359.00 6039.0012:17:20 AM /s /s /s /s orsts/s12:17:21 AM 0.00 0.00 0.00 0.00 0.00^C
sar命令在這里用于查看TCP連接狀態(tài)，其中包括：
TCP連接數(shù)可以用來判斷性能問題是否由于建立了過多的連接，進(jìn)一步可以判斷是主動(dòng)發(fā)起的連接，還是被動(dòng)接受的連接。TCP重傳可能是因?yàn)榫W(wǎng)絡(luò)環(huán)境惡劣，或者服務(wù)器壓力過大導(dǎo)致丟包。
top
$ - 00:15:40 up 21:56, 1 user, load : 31。09, 29。87, 29。: 871 total, 1 , 868 , 0 , 2 %Cpu(s): 96。8 us, 0。4 sy, 0。0 ni, 2。7 id, 0。1 wa, 0。0 hi, 0。0 si, 0。0 stKiB Mem: +total, used, +free, 60448 Swap: 0 total, 0 used, 0 free。 Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ 20248 root 20 0 0。227t 0。012t 18748 S 3090 5。2 29812:58 java 4213 root 20 0 64640 44232 S 23。
5 0。0 233:35。37 mesos-slave 66128 + 20 0 24344 2332 1172 R 1。0 0。0 0:00。07 top 5235 root 20 0 38。227g 49996 S 0。7 0。2 2:02。74 java 4299 root 20 0 20。015g 2。682g 16836 S 0。3 1。1 33:14。42 java 1 root 20 0 33620 2920 1496 S 0。0 0。0 0:03。82 init 2 root 20 0 0 0 0 S 0。0 0。0 0:00。02 3 root 20 0 0 0 0 S 0。0 0。0 0:05。35 /0 5 root 0 -20 0 0 0 S 0。0 0。0 0:00。00 /0:0H 6 root 20 0 0 0 0 S 0。0 0。0 0:06。94 /u256:0 8 root 20 0 0 0 0 S 0。0 0。0 2:38。05
top命令包含了前面好幾個(gè)命令的檢查的內(nèi)容。比如系統(tǒng)負(fù)載情況（）、系統(tǒng)內(nèi)存使用情況（free）、系統(tǒng)CPU使用情況（）等。因此通過這個(gè)命令，可以相對全面的查看系統(tǒng)負(fù)載的來源。同時(shí)，top命令支持排序，可以按照不同的列排序，方便查找出諸如內(nèi)存占用最多的進(jìn)程、CPU占用率最高的進(jìn)程等。
但是，top命令相對于前面一些命令，輸出是一個(gè)瞬間值，如果不持續(xù)盯著，可能會(huì)錯(cuò)過一些線索。這時(shí)可能需要暫停top命令刷新，來記錄和比對數(shù)據(jù)。
排查Linux服務(wù)器性能問題還有很多工具，上面介紹的一些命令，可以幫助我們快速的定位問題。例如前面的示例輸出，多個(gè)證據(jù)證明有JAVA進(jìn)程占用了大量CPU資源，之后的性能調(diào)優(yōu)就可以針對應(yīng)用程序進(jìn)行