、磁盤(pán) I/O 的概念

I/O 的概念，從字義來(lái)理解就是輸入輸出。操作系統(tǒng)從上層到底層，各個(gè)層次之間均存在 I/O。比如，CPU 有 I/O，內(nèi)存有 I/O, VMM 有 I/O, 底層磁盤(pán)上也有 I/O，這是廣義上的 I/O。通常來(lái)講，一個(gè)上層的 I/O 可能會(huì)產(chǎn)生針對(duì)磁盤(pán)的多個(gè) I/O，也就是說(shuō)，上層的 I/O 是稀疏的，下層的 I/O 是密集的。

磁盤(pán)的 I/O，顧名思義就是磁盤(pán)的輸入輸出。輸入指的是對(duì)磁盤(pán)寫(xiě)入數(shù)據(jù)，輸出指的是從磁盤(pán)讀出數(shù)據(jù)。我們常見(jiàn)的磁盤(pán)類(lèi)型有 ATA、SATA、FC、SCSI、SAS，如圖1所示。這幾種磁盤(pán)中，服務(wù)器常用的是 SAS 和 FC 磁盤(pán)，一些高端存儲(chǔ)也使用 SSD 盤(pán)。每一種磁盤(pán)的性能是不一樣的。

二、性能評(píng)價(jià)指標(biāo)

SAN（Storage Area Network, 存儲(chǔ)區(qū)域網(wǎng)絡(luò)）和NAS存儲(chǔ)（Network Attached Storage，網(wǎng)絡(luò)附加存儲(chǔ))一般都具備2個(gè)評(píng)價(jià)指標(biāo)：IOPS和帶寬（throughput），兩個(gè)指標(biāo)互相獨(dú)立又相互關(guān)聯(lián)。體現(xiàn)存儲(chǔ)系統(tǒng)性能的最主要指標(biāo)是IOPS。下面，將介紹一下這兩個(gè)參數(shù)的含義。

IOPS (Input/Output Per Second)即每秒的輸入輸出量(或讀寫(xiě)次數(shù))，是衡量磁盤(pán)性能的主要指標(biāo)之一。IOPS是指單位時(shí)間內(nèi)系統(tǒng)能處理的I/O請(qǐng)求數(shù)量，I/O請(qǐng)求通常為讀或?qū)憯?shù)據(jù)操作請(qǐng)求。隨機(jī)讀寫(xiě)頻繁的應(yīng)用，如OLTP(Online Transaction Processing)，IOPS是關(guān)鍵衡量指標(biāo)。另一個(gè)重要指標(biāo)是數(shù)據(jù)吞吐量(Throughput)，指單位時(shí)間內(nèi)可以成功傳輸?shù)臄?shù)據(jù)數(shù)量。對(duì)于大量順序讀寫(xiě)的應(yīng)用，如VOD(Video On Demand)，則更關(guān)注吞吐量指標(biāo)。

簡(jiǎn)而言之：

1. 磁盤(pán)的 IOPS，也就是在一秒內(nèi)，磁盤(pán)進(jìn)行多少次 I/O 讀寫(xiě)。
2. 磁盤(pán)的吞吐量，也就是每秒磁盤(pán) I/O 的流量，即磁盤(pán)寫(xiě)入加上讀出的數(shù)據(jù)的大小。

IOPS 與吞吐量的關(guān)系

每秒 I/O 吞吐量＝ IOPS* 平均 I/O SIZE。從公式可以看出： I/O SIZE 越大，IOPS 越高，那么每秒 I/O 的吞吐量就越高。因此，我們會(huì)認(rèn)為 IOPS 和吞吐量的數(shù)值越高越好。實(shí)際上，對(duì)于一個(gè)磁盤(pán)來(lái)講，這兩個(gè)參數(shù)均有其最大值，而且這兩個(gè)參數(shù)也存在著一定的關(guān)系。

IOPS可細(xì)分為如下幾個(gè)指標(biāo)：

1. Toatal IOPS，混合讀寫(xiě)和順序隨機(jī)I/O負(fù)載情況下的磁盤(pán)IOPS，這個(gè)與實(shí)際I/O情況最為相符，大多數(shù)應(yīng)用關(guān)注此指標(biāo)。
2. Random Read IOPS，100%隨機(jī)讀負(fù)載情況下的IOPS。
3. Random Write IOPS，100%隨機(jī)寫(xiě)負(fù)載情況下的IOPS。
4. Sequential Read IOPS，100%順序讀負(fù)載情況下的IOPS。
5. Sequential Write IOPS，100%順序?qū)懾?fù)載情況下的IOPS。

下圖為一個(gè)典型的NFS測(cè)試結(jié)果：

IOPS的測(cè)試benchmark工具主要有Iometer, IoZone, FIO等，可以綜合用于測(cè)試磁盤(pán)在不同情形下的IOPS。對(duì)于應(yīng)用系統(tǒng)，需要首先確定數(shù)據(jù)的負(fù)載特征，然后選擇合理的IOPS指標(biāo)進(jìn)行測(cè)量和對(duì)比分析，據(jù)此選擇合適的存儲(chǔ)介質(zhì)和軟件系統(tǒng)。

IOPS計(jì)算公式

對(duì)于磁盤(pán)來(lái)說(shuō)一個(gè)完整的IO操作是這樣進(jìn)行的：當(dāng)控制器對(duì)磁盤(pán)發(fā)出一個(gè)IO操作命令的時(shí)候，磁盤(pán)的驅(qū)動(dòng)臂(Actuator Arm)帶讀寫(xiě)磁頭(Head)離開(kāi)著陸區(qū)(Landing Zone，位于內(nèi)圈沒(méi)有數(shù)據(jù)的區(qū)域)，移動(dòng)到要操作的初始數(shù)據(jù)塊所在的磁道(Track)的正上方，這個(gè)過(guò)程被稱(chēng)為尋址(Seeking)，對(duì)應(yīng)消耗的時(shí)間被稱(chēng)為尋址時(shí)間(Seek Time);但是找到對(duì)應(yīng)磁道還不能馬上讀取數(shù)據(jù)，這時(shí)候磁頭要等到磁盤(pán)盤(pán)片(Platter)旋轉(zhuǎn)到初始數(shù)據(jù)塊所在的扇區(qū)(Sector)落在讀寫(xiě)磁頭正上方的之后才能開(kāi)始讀取數(shù)據(jù)，在這個(gè)等待盤(pán)片旋轉(zhuǎn)到可操作扇區(qū)的過(guò)程中消耗的時(shí)間稱(chēng)為旋轉(zhuǎn)延時(shí)(Rotational Delay);接下來(lái)就隨著盤(pán)片的旋轉(zhuǎn)，磁頭不斷的讀/寫(xiě)相應(yīng)的數(shù)據(jù)塊，直到完成這次IO所需要操作的全部數(shù)據(jù)，這個(gè)過(guò)程稱(chēng)為數(shù)據(jù)傳送(Data Transfer)，對(duì)應(yīng)的時(shí)間稱(chēng)為傳送時(shí)間(Transfer Time)。完成這三個(gè)步驟之后一次IO操作也就完成了。

在我們看硬盤(pán)廠商的宣傳單的時(shí)候我們經(jīng)常能看到3個(gè)參數(shù)，分別是平均尋址時(shí)間、盤(pán)片旋轉(zhuǎn)速度以及最大傳送速度，這三個(gè)參數(shù)就可以提供給我們計(jì)算上述三個(gè)步驟的時(shí)間。

• 第一個(gè)尋址時(shí)間，考慮到被讀寫(xiě)的數(shù)據(jù)可能在磁盤(pán)的任意一個(gè)磁道，既有可能在磁盤(pán)的最內(nèi)圈(尋址時(shí)間最短)，也可能在磁盤(pán)的最外圈(尋址時(shí)間最長(zhǎng))，所以在計(jì)算中我們只考慮平均尋址時(shí)間，也就是磁盤(pán)參數(shù)中標(biāo)明的那個(gè)平均尋址時(shí)間，這里就采用當(dāng)前最多的10krmp硬盤(pán)的5ms。
• 第二個(gè)旋轉(zhuǎn)延時(shí)，和尋址一樣，當(dāng)磁頭定位到磁道之后有可能正好在要讀寫(xiě)扇區(qū)之上，這時(shí)候是不需要額外額延時(shí)就可以立刻讀寫(xiě)到數(shù)據(jù)，但是最壞的情況確實(shí)要磁盤(pán)旋轉(zhuǎn)整整一圈之后磁頭才能讀取到數(shù)據(jù)，所以這里我們也考慮的是平均旋轉(zhuǎn)延時(shí)，對(duì)于10krpm的磁盤(pán)就是(60s/10k)*(1/2)=2ms。
• 第三個(gè)傳送時(shí)間，磁盤(pán)參數(shù)提供我們的最大的傳輸速度，當(dāng)然要達(dá)到這種速度是很有難度的，但是這個(gè)速度卻是磁盤(pán)純讀寫(xiě)磁盤(pán)的速度，因此只要給定了單次 IO的大小，我們就知道磁盤(pán)需要花費(fèi)多少時(shí)間在數(shù)據(jù)傳送上，這個(gè)時(shí)間就是IO Chunk Size / Max Transfer Rate。

現(xiàn)在我們就可以得出這樣的計(jì)算單次IO時(shí)間的公式。

IO Time=Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate

于是我們可以這樣計(jì)算出IOPS。

IOPS=1/IO Time=1/(Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate)

對(duì)于給定不同的IO大小我們可以得出下面的一系列的數(shù)據(jù)

4K (1/7.1 ms=140 IOPS)
5ms + (60sec/15000RPM/2) + 4K/40MB=5 + 2 + 0.1=7.1
8k (1/7.2 ms=139 IOPS)
5ms + (60sec/15000RPM/2) + 8K/40MB=5 + 2 + 0.2=7.2
16K (1/7.4 ms=135 IOPS)
5ms + (60sec/15000RPM/2) + 16K/40MB=5 + 2 + 0.4=7.4
32K (1/7.8 ms=128 IOPS)
5ms + (60sec/15000RPM/2) + 32K/40MB=5 + 2 + 0.8=7.8
64K (1/8.6 ms=116 IOPS)
5ms + (60sec/15000RPM/2) + 64K/40MB=5 + 2 + 1.6=8.6

從上面的數(shù)據(jù)可以看出，當(dāng)單次IO越小的時(shí)候，單次IO所耗費(fèi)的時(shí)間也越少，相應(yīng)的IOPS也就越大。

上面我們的數(shù)據(jù)都是在一個(gè)比較理想的假設(shè)下得出來(lái)的，這里的理想的情況就是磁盤(pán)要花費(fèi)平均大小的尋址時(shí)間和平均的旋轉(zhuǎn)延時(shí)，這個(gè)假設(shè)其實(shí)是比較符合我們實(shí)際情況中的隨機(jī)讀寫(xiě)，在隨機(jī)讀寫(xiě)中，每次IO操作的尋址時(shí)間和旋轉(zhuǎn)延時(shí)都不能忽略不計(jì)，有了這兩個(gè)時(shí)間的存在也就限制了IOPS的大小。現(xiàn)在我們考慮一種相對(duì)極端的順序讀寫(xiě)操作，比如說(shuō)在讀取一個(gè)很大的存儲(chǔ)連續(xù)分布在磁盤(pán)的的文件，因?yàn)槲募拇鎯?chǔ)的分布是連續(xù)的，磁頭在完成一個(gè)讀IO操作之后，不需要從新的尋址，也不需要旋轉(zhuǎn)延時(shí)，在這種情況下我們能到一個(gè)很大的IOPS值，如下。

4K (1/0.1 ms=10000 IOPS)
0ms + 0ms + 4K/40MB=0.1
8k (1/0.2 ms=5000 IOPS)
0ms + 0ms + 8K/40MB=0.2
16K (1/0.4 ms=2500 IOPS)
0ms + 0ms + 16K/40MB=0.4
32K (1/0.8 ms=1250 IOPS)
0ms + 0ms + 32K/40MB=0.8
64K (1/1.6 ms=625 IOPS)
0ms + 0ms + 64K/40MB=1.6

相比第一組數(shù)據(jù)來(lái)說(shuō)差距是非常的大的，因此當(dāng)我們要用IOPS來(lái)衡量一個(gè)IO系統(tǒng)的系能的時(shí)候我們一定要說(shuō)清楚是在什么情況的IOPS，也就是要說(shuō)明讀寫(xiě)的方式以及單次IO的大小，當(dāng)然在實(shí)際當(dāng)中，特別是在OLTP的系統(tǒng)的，隨機(jī)的小IO的讀寫(xiě)是最有說(shuō)服力的。

另外，對(duì)于同一個(gè)磁盤(pán)（或者 LUN），隨著每次 I/O 讀寫(xiě)數(shù)據(jù)的大小不通，IOPS 的數(shù)值也不是固定不變的。例如，每次 I/O 寫(xiě)入或者讀出的都是連續(xù)的大數(shù)據(jù)塊，此時(shí) IOPS 相對(duì)會(huì)低一些；在不頻繁換道的情況下，每次寫(xiě)入或者讀出的數(shù)據(jù)塊小，相對(duì)來(lái)講 IOPS 就會(huì)高一些。也就是說(shuō)，IOPS 也取決與I/O塊的大小，采用不同I/O塊的大小測(cè)出的IOPS值是不同的。 對(duì)一個(gè)具體的IOPS, 可以了解它當(dāng)時(shí)測(cè)試的I/O塊的尺寸。并且IOPS都具有極限值，表1列出了各種磁盤(pán)的 IOPS 極限值。

三、I/O 讀寫(xiě)的類(lèi)型

大體上講，I/O 的類(lèi)型可以分為：讀 / 寫(xiě) I/O、大 / 小塊 I/O、連續(xù) / 隨機(jī) I/O, 順序 / 并發(fā) I/O。在這幾種類(lèi)型中，我們主要討論一下：大 / 小塊 I/O、連續(xù) / 隨機(jī) I/O, 順序 / 并發(fā) I/O。

大 / 小塊 I/O

這個(gè)數(shù)值指的是控制器指令中給出的連續(xù)讀出扇區(qū)數(shù)目的多少。如果數(shù)目較多，如 64，128 等，我們可以認(rèn)為是大塊 I/O；反之，如果很小，比如 4，8，我們就會(huì)認(rèn)為是小塊 I/O，實(shí)際上，在大塊和小塊 I/O 之間，沒(méi)有明確的界限。

連續(xù) / 隨機(jī) I/O

連續(xù) I/O 指的是本次 I/O 給出的初始扇區(qū)地址和上一次 I/O 的結(jié)束扇區(qū)地址是完全連續(xù)或者相隔不多的。反之，如果相差很大，則算作一次隨機(jī) I/O

連續(xù) I/O 比隨機(jī) I/O 效率高的原因是：在做連續(xù) I/O 的時(shí)候，磁頭幾乎不用換道，或者換道的時(shí)間很短；而對(duì)于隨機(jī) I/O，如果這個(gè) I/O 很多的話，會(huì)導(dǎo)致磁頭不停地?fù)Q道，造成效率的極大降低。

順序 / 并發(fā) I/O

從概念上講，并發(fā) I/O 就是指向一塊磁盤(pán)發(fā)出一條 I/O 指令后，不必等待它回應(yīng)，接著向另外一塊磁盤(pán)發(fā) I/O 指令。對(duì)于具有條帶性的 RAID（LUN），對(duì)其進(jìn)行的 I/O 操作是并發(fā)的，例如：raid 0+1(1+0),raid5 等。反之則為順序 I/O。

四、磁盤(pán) I/O 性能調(diào)優(yōu)

確認(rèn)磁盤(pán) I/O 存在性能問(wèn)題

對(duì)于隨機(jī)負(fù)載，當(dāng)遇到余下情況時(shí)，我們那通常認(rèn)為存在 I/O 性能問(wèn)題：

• 1. 平均讀時(shí)間大于 15ms
• 2. 在具有寫(xiě) cache 的條件下，平均寫(xiě)時(shí)間大于 2.5ms

對(duì)于順序負(fù)載，當(dāng)遇到余下情況時(shí)，我們那通常認(rèn)為存在 I/O 性能問(wèn)題：

• 1. 在一個(gè)磁盤(pán)上有兩個(gè)連續(xù)的 I/O 流
• 2. 吞吐量不足（即遠(yuǎn)遠(yuǎn)小于磁盤(pán) I/O 帶寬）

對(duì)于一塊磁盤(pán)來(lái)講，隨著 IOPS 數(shù)量的增加，I/O service 也會(huì)增加，并且會(huì)有一個(gè)飽和點(diǎn)，即 IOPS 達(dá)到某個(gè)點(diǎn)以后，IOPS 再增加將會(huì)引起 I/O service time 的顯著增加。

從經(jīng)驗(yàn)上講，我們?cè)跍y(cè)試工作中，我們主要關(guān)注 IOPS 和吞吐量以及磁盤(pán)的 busy% 這三個(gè)數(shù)值。如果 IOPS 和吞吐量均很低，磁盤(pán)的 busy% 也很低，我們會(huì)認(rèn)為磁盤(pán)壓力過(guò)小，造成吞吐量和 IOPS 過(guò)低；只有在 IOPS 和吞吐量均很低，磁盤(pán)的 busy% 很高（接近 100%）的時(shí)候，我們才會(huì)從磁盤(pán) I/O 方面分析 I/O 性能。

————————————————

版權(quán)聲明：本文為CSDN博主「風(fēng)云龍兒」的原創(chuàng)文章，遵循CC 4.0 by-sa版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/hanchengxi/article/details/19089589