操屁眼的视频在线免费看,日本在线综合一区二区,久久在线观看免费视频,欧美日韩精品久久综

強烈推薦下之前的雄文《為什么Linux CFS調度器沒有帶來驚艷的碾壓效果？》

我們描述負載均衡的系列文章一共三篇，第一篇是框架部分，即本文，主要描述了負載均衡相關的原理、場景和框架。后面的兩篇是對均衡代碼的情景分析，通過對load balance、task placement和active upmigration幾個典型的負載均衡來呈現其實現細節，稍后發布，敬請期待。

本文出現的內核代碼來自Linux5.4.28，如果有興趣，讀者可以配合代碼閱讀本文。

一、什么是負載均衡

1、什么是CPU負載（load）

CPU負載是一個很容易和CPU利用率（utility）混淆的概念。CPU利用率是CPU忙閑的比例，例如在一個周期為1000ms的窗口中觀察CPU的情況，如果500ms的時間在執行任務，500ms的時間處于idle狀態，那么在這個窗口中CPU的利用率是50%。

在CPU利用率沒有達到100%的時候，利用率基本上等于負載，一旦當CPU利用率達到了100%的時候，利用率其實是無法給出CPU負載的狀況，因為大家的利用率都是100%，利用率相等，但是并不意味著CPUs的負載也是相等的，因為這時候不同CPU上runqueue中等待執行的任務數目不同，直覺上runque上掛著10任務的CPU承壓比掛著5個任務的CPU的負載要更重一些。因此，早期的CPU負載是使用runqueue深度來描述的。

顯然，僅僅使用runqueue深度來表示CPU負載是一個很粗略的概念，我們可以舉一個簡單的例子：當前CPU A和CPU B上都掛了1個任務，但是A上掛的任務是一個重載任務，而B上掛的是一個經常sleep的輕載任務，那么僅僅從runqueue深度來描述CPU負載就有失偏頗了。因此，現代調度器往往使用CPU runqueue上task load之和來表示CPU load。這樣，對CPU負載的跟蹤就變成了對任務負載的跟蹤。

3.8版本的linux內核引入了PELT算法來跟蹤每一個sched entity的負載，把負載跟蹤的算法從per-CPU進化到per-entity。PELT算法不但能知道CPU的負載，而且知道負載來自哪一個調度實體，從而可以更精準的進行負載均衡。

2、什么是均衡

對于負載均衡而言，并不是把整個系統的負載平均的分配到系統中的各個CPU上。實際上，我們還是必須要考慮系統中各個CPU的算力，讓CPU獲得和其算力匹配的負載。例如在一個6個小核+2個大核的系統中，整個系統如果有800的負載，那么每個CPU上分配100的負載其實是不均衡的，因為大核CPU可以提供更強的算力。

什么是CPU算力（capacity），所謂算力就是描述CPU的能夠提供的計算能力。在同樣的頻率下，一個微架構是A77的CPU顯然算力要大于A57的CPU。如果CPU的微架構都是一樣的，那么一個最大頻率是2.2GHz的CPU算力肯定是大于最大頻率是1.1GHz的CPU。因此，確定了微架構和最大頻率，一個CPU的算力就基本確定了。Cpufreq系統會根據當前的CPU util來調節CPU當前的運行頻率，但這并不能改變CPU算力。只有當CPU最大運行頻率發生變化的時候（例如觸發溫控，限制了該CPU的最大頻率），CPU的算力才會隨之變化。

此外，本文主要描述CFS任務的均衡（RT的均衡不考慮負載，是在另外的維度），因此在考慮CPU算力的時候，需要把CPU用于執行rt和irq的算力去掉，使用該CPU可用于CFS的算力。因此，CFS任務均衡中使用的CPU算力其實一個不斷變化的值，需要經常更新。為了讓CPU算力和任務負載可以對比，實際上我們采用了歸一化的方式，即系統中處理能力最強的CPU運行在最高頻率的算力是1024，其他的CPU算力根據微架構和運行頻率響應的調整其算力。

有了任務負載就可以得到CPU負載，配合系統中各個CPU的算力，看起來我們就可以完成負載均衡的工作，然而事情沒有那么簡單，當負載不均衡的時候，任務需要在CPU之間遷移，不同形態的遷移會有不同的開銷。例如一個任務在小核cluster上的CPU之間的遷移所帶來的性能開銷一定是小于任務從小核cluster的CPU遷移到大核cluster的開銷。因此，為了更好的執行負載均衡，我們需要構建和CPU拓撲相關的數據結構，也就是調度域和調度組的概念。

3、調度域（sched domain）和調度組（sched group）

負載均衡的復雜性主要和復雜的系統拓撲有關。由于當前CPU很忙，我們把之前運行在該CPU上的一個任務遷移到新的CPU上的時候，如果遷移到新的CPU是和原來的CPU在不同的cluster中，性能會受影響（因為會cache flush）。

但是對于超線程架構，cpu共享cache，這時候超線程之間的任務遷移將不會有特別明顯的性能影響。NUMA上任務遷移的影響又不同，我們應該盡量避免不同NUMA node之間的任務遷移，除非NUMA node之間的均衡達到非常嚴重的程度。

總之，一個好的負載均衡算法必須適配各種cpu拓撲結構。為了解決這些問題，linux內核引入了sched_domain的概念。

內核中struct sched_domain來描述調度域，其主要的成員如下：

一旦形成了調度域，那么負載均衡就被限制在了該調度域內，在該調度域內進行均衡的時候不考慮系統中其他調度域的CPU負載情況，只考慮該調度域內的sched group之間的負載是否均衡。對于base domain，其所屬的sched group中只有一個cpu，對于更高level的sched domain，其所屬的sched group中可能會有多個cpu core。內核中struct sched_group來描述調度組，其主要的成員如下：

上面的描述過于枯燥，我們后面會使用一個具體的例子來描述負載如何在各個level的sched domain上進行均衡的，不過在此之前，我們先看看負載均衡的整體軟件架構。

二、負載均衡的軟件架構

負載均衡的整體軟件結構圖如下：

負載均衡模塊主要分兩個軟件層次：核心負載均衡模塊和class-specific均衡模塊。內核對不同的類型的任務有不同的均衡策略，普通的CFS（complete fair schedule）任務和RT、Deadline任務處理方式是不同的，由于篇幅原因，本文主要討論CFS任務的負載均衡。

為了更好的進行CFS任務的均衡，系統需要跟蹤任務負載和CPU負載。跟蹤任務負載是主要有兩個原因：

（1）判斷該任務是否適合當前CPU算力。

（2）如果判定需要均衡，那么需要在CPU之間遷移多少的任務才能達到平衡？有了任務負載跟蹤模塊，這個問題就比較好回答了。

對CPU負載的跟蹤不僅要考慮每一個CPU的負載，還要匯聚cluster上所有負載，方便計算cluster之間負載的不均衡狀況。

為了更好的進行高效的均衡，我們還需要構建調度域的層級結構（sched domain hierarchy），圖中顯示的是二級結構。手機場景多半是二級結構，支持NUMA的服務器場景可能會形成更復雜的結構。通過DTS和CPU topo子系統，我們可以構建sched domain層級結構，用于具體的均衡算法。

有了上面描述的基礎設施，那么什么時候進行負載均衡呢？這主要和調度事件相關，當發生任務喚醒、任務創建、tick到來等調度事件的時候，我們可以檢查當前系統的不均衡情況，并酌情進行任務遷移，以便讓系統負載處于平衡狀態。

三、如何做負載均衡

1、一個CPU拓撲示例

我們以一個4小核+4大核的處理器來描述CPU的domain和group：

在上面的結構中，sched domain是分成兩個level，base domain稱為MC domain（multi core domain），頂層的domain稱為DIE domain。頂層的DIE domain覆蓋了系統中所有的CPU，小核cluster的MC domain包括所有小核cluster中的cpu，同理，大核cluster的MC domain包括所有大核cluster中的cpu。

對于小核MC domain而言，其所屬的sched group有四個，cpu0、1、2、3分別形成一個sched group，形成了MC domain的sched group環形鏈表。

不同CPU的MC domain的環形鏈表首元素（即sched domain中的groups成員指向的那個sched group）是不同的，對于cpu0的MC domain，其groups環形鏈表的順序是0-1-2-3，對于cpu1的MC domain，其groups環形鏈表的順序是1-2-3-0，以此類推。大核MC domain也是類似，這里不再贅述。

對于非base domain而言，其sched group有多個cpu，覆蓋其child domain的所有cpu。例如上面圖例中的DIE domain，它有兩個child domain，分別是大核domain和小核domian，因此，DIE domain的groups環形鏈表有兩個元素，分別是小核group和大核group。

不同CPU的DIE domain的環形鏈表首元素（即鏈表頭）是不同的，對于cpu0的DIE domain，其groups環形鏈表的順序是（0,1,2,3）--（4,5,6,7），對于cpu6的MC domain，其groups環形鏈表的順序是（4,5,6,7）--（0,1,2,3），以此類推。

為了減少鎖的競爭，每一個cpu都有自己的MC domain、DIE domain以及sched group，并且形成了sched domain之間的層級結構，sched group的環形鏈表結構。

2、負載均衡的基本過程

負載均衡不是一個全局CPU之間的均衡，實際上那樣做也不現實，當系統的CPU數量較大的時候，很難一次性的完成所有CPU之間的均衡，這也是提出sched domain的原因之一。

當一個CPU上進行負載均衡的時候，我們總是從base domain開始（對于上面的例子，base domain就是MC domain），檢查其所屬sched group之間（即各個cpu之間）的負載均衡情況，如果有不均衡情況，那么會在該cpu所屬cluster之間進行遷移，以便維護cluster內各個cpu core的任務負載均衡。有了各個CPU上的負載統計以及CPU的算力信息，我們很容易知道MC domain上的不均衡情況。

為了讓算法更加簡單，Linux內核的負載均衡算法只允許CPU拉任務，這樣，MC domain的均衡大致需要下面幾個步驟：

（1）找到MC domain中最繁忙的sched group；

（2）找到最繁忙sched group中最繁忙的CPU（對于MC domain而言，這一步不存在，畢竟其sched group只有一個cpu）；

（3）從選中的那個繁忙的cpu上拉取任務，具體拉取多少的任務到本CPU runqueue上是和不均衡的程度相關，越是不均衡，拉取的任務越多。

完成MC domain均衡之后，繼續沿著sched domain層級結構向上檢查，進入DIE domain，在這個level的domain上，我們仍然檢查其所屬sched group之間（即各個cluster之間）的負載均衡情況，如果有不均衡的情況，那么會進行inter-cluster的任務遷移。基本方法和MC domain類似，只不過在計算均衡的時候，DIE domain不再考慮單個CPU的負載和算力，它考慮的是：

（1）該sched group的負載，即sched group中所有CPU負載之和；

（2）該sched group的算力，即sched group中所有CPU算力之和；

2、其他需要考慮的事項

之所以要進行負載均衡主要是為了系統整體的throughput，避免出現一核有難，七核圍觀的狀況。然而，進行負載均衡本身需要額外的算力開銷，為了降低開銷，我們為不同level的sched domain定義了時間間隔，不能太密集的進行負載均衡。之外，我們還定義了不均衡的門限值，也就是說domain的group之間如果有較小的不均衡，我們也是可以允許的，超過了門限值才發起負載均衡的操作。很顯然，越高level的sched domain其不均衡的threashhold越高，越高level的均衡會帶來更大的性能開銷。

在引入異構計算系統之后，任務在placement的時候可以有所選擇。如果負載比較輕，或者該任務對延遲要求不高，我們可以放置在小核CPU執行，如果負載比較重或者該該任務和用戶體驗相關，那么我們傾向于讓它在算力更高的CPU上執行。為了應對這種狀況，內核引入了misfit task的概念。一旦任務被標記了misfit task，那么負載均衡算法要考慮及時的將該任務進行upmigration，從而讓重載任務盡快完成，或者提升該任務的執行速度，從而提升用戶體驗。

除了性能，負載均衡也會帶來功耗的收益。例如系統有4個CPU，共計8個進入執行態的任務。這些任務在4個CPU上的排布有兩種選擇：

（1）全部放到一個CPU上；

（2）每個CPU runqueue掛2個任務。

負載均衡算法會讓任務均布，從而帶來功耗的收益。雖然方案一中有三個CPU是處于idle狀態的，但是那個繁忙CPU運行在更高的頻率上。而方案二中，由于任務均布，CPU處于較低的頻率運行，功耗會比方案一更低。

四、負載均衡場景分析

1、整體的場景描述

在linux內核中，為了讓任務均衡的分布在系統的所有CPU上，我們主要考慮下面三個場景：

（1）負載均衡（load balance）。通過搬移cpu runqueue上的任務，讓各個CPU上的負載匹配CPU算力。

（2）任務放置（task placement）。當阻塞的任務被喚醒的時候，確定該任務應該放置在那個CPU上執行。

（3）主動均衡（active upmigration）。當一個低算力CPU的runqueue中出現misfit task的時候，如果該任務持續執行，那么負載均衡無能為力，因為它只負責遷移runnable狀態的任務。這種場景下，active upmigration可以把當前正在運行的misfit task向上遷移到算力更高的CPU上去。

2、Task placement

任務放置主要發生在：

（1）喚醒一個新fork的線程；

（2）Exec一個線程的時候；

（3）喚醒一個阻塞的進程。

在上面的三個場景中都會調用select_task_rq來為task選擇一個適合的CPU core。

3、Load balance

Load balance主要有三種：

（1）在tick中觸發load balance。我們稱之tick load balance或者periodic load balance。具體的代碼執行路徑是：

（2）調度器在pick next的時候，當前cfs runque中沒有runnable，只能執行idle線程，讓CPU進入idle狀態。我們稱之new idle load balance。具體的代碼執行路徑是：

（3）其他的cpu已經進入idle，本CPU任務太重，需要通過ipi將其idle的cpu喚醒來進行負載均衡。我們稱之idle load banlance，具體的代碼執行路徑是：

如果沒有dynamic tick特性，那么其實不需要進行idle load balance，因為tick會喚醒處于idle的cpu，從而周期性tick就可以覆蓋這個場景。

4、Active upmigration

主動遷移是Load balance的一種特殊場景。在負載均衡中，只要運用適當的同步機制（持有一個或者多個rq lock），runnable的任務可以在各個CPU runqueue之間移動，然而running的任務是例外，它不掛在CPU runqueue中，load balance無法覆蓋。為了能夠遷移running狀態的任務，內核提供了Active upmigration的方法（利用stop machine調度類）。

參考文獻

1. 內核源代碼

2. linux-5.4.28\Documentation\scheduler\*

添加極客助手微信，加入技術交流群

無線路由器目前在生活中中已經成為必不可少的設備，并且承擔著宿舍互聯網入口的重擔。智能手機、平板電腦等無線設備的在宿舍中幾乎人手一臺，如何在宿舍暢快WiFi上網成為了一個問題。宿舍環境狹小，同時上網的設備很多，一些老舊無線路由器已經無法滿足用戶的需求。在實際使用中，會出現經常掉線、網速慢、卡頓等讓人不爽的體驗。正值開學季，快來抱一臺給力的無線路由器返校吧！

不花錢的雙頻智能路由 斐訊K2零元購

斐訊K2選用世界頂尖無線半導體解決方案公司Skyworks的PA+LNA模組，PA提高無線信號發射功率，LNA降低無線信號接收噪聲干擾，收發兼備，2.4G無線性能相比普通路由器產品提升4倍，5G無線性能相比普通路由產品提升5倍，信號的穿墻能力和覆蓋力毋庸置疑。京東商城正在開展優惠活動，現在下單立返399元，還送16G閃迪U盤！

斐訊K2

PHICOMM斐訊K2雙頻智能無線路由器采用業界頂尖的8000目模具精細打磨外殼，整個路由器晶瑩剔透猶如藝術品一般呈現出高貴的光澤。配合K2優雅曲面的造型設計，它不論放在客廳還是書房，均能夠完美地與家居環境融為一體并相得益彰。智能白色指示燈給原本冷冰冰的科技賦予了生命的律動，讓K2看上去更為靈動。

這款無線路由器采用外置4天線的設計加上雙頻并發，最高可達1200M無線速率，這不但能夠輕松滿足大平層或是獨棟別墅無線信號的覆蓋需求，消除家庭中的無線信號盲點，更可以讓用戶避開擁堵的2.4GHz頻段，在信號干擾較小的5GHz通道上“狂飆”，再也不用擔心因為網絡信號問題游戲卡頓、搶不到紅包、秒殺不了商品。

斐訊K2搭載智能APP進行管理，通過斐訊云賬號安全登陸輕松實現遠程配置和管理。防蹭網功能一目了然看清網絡當前客戶端，快速清理“網絡老王”歸還高速清凈的自家無線網絡環境。信號不夠更可用手機APP支持的一鍵“穿墻”增加信號強度，也可自由選定多種模式智能調節信號強度降低能耗，讓家庭網絡在健康綠色和高效穩定中持續運行。

斐訊 K2（PSG1218）

[參考價格] 399元

[經銷商] 京東

提升WiFi覆蓋 華為Q1子母路由贈禮

華為Q1子母路由器分為兩臺設備，由一臺無線路由器和一個無線信號擴展器組成。母路由器擁有3dBi高性能無線天線和獨立信號放大器，能夠覆蓋家庭中的絕大部分區域；子路由配合母路由使用，讓信號擴展至角落里的房間或洗手間、廚房等不易覆蓋的區域。并且，一臺母路由最多可以支持7臺子路由進行無線信號的擴展，可以滿足更大家庭戶型的使用需求。京東商城現在報價為599元，下單就送航嘉插排一個！

華為Q1子母路由

通過華為的HiLink智聯技術，子路由無需用戶單獨進行配置，子母路由自動同步WiFi設置。部署后，用戶無需手動切換連接的WiFi，我們的聯網設備會自動連接信號最強的熱點，讓WiFi快速無縫切換。同時，支持HiLink協議的智能家居產品，也可以通過母路由機身上的“Hi”鍵一鍵快速連接，讓家庭生活更加輕松智能。

華為Q1子母路由器的造型，也打破了傳統無線路由器的桎梏。母路由器主色調為黑色，以黃金分割比例設計，簡潔大方又不失優雅，擺放在家中可以作為一款裝飾品。子路由迷你精致，身材小巧的它寬度約為銀行卡的一半，節省家居空間。華為Q1子母路由器，可以分別滿足32個設備同時上網，最多可以支持64個設備同時接入，完全不用擔心網絡卡頓問題。

在更換新路由器時，我們總是需要把上網賬號和密碼找出來。時間一長，難免忘記放在何處，還需要向網絡運營商打電話求助，非常麻煩。Q1在進行初次配置時，可以連接舊路由器，自動學習舊路由中的上網賬號，幫助用戶輕松完成上網設置。使用網線連接兩臺設備的WAN端口，就可以輕松完成。另外，華為Q1還擁有帶寬智能分配功能，在多臺設備進行不同上網行為時也能夠暢通無阻。

華為 路由Q1

[參考價格] 599元

性能神器再創新低 網件R7000僅699

美國網件（NETGEAR）是北美市場的知名品牌，在北美市場擁有非常不錯的口碑和很高的占有率。目前在國內市場中推出了新品“夜鷹騎士”R7000。這款無線路由器新品擁有頂級發燒配置，1900M、1GHz雙核處理器、256M內存、USB3.0……，這些極致性能的代名詞集中在R7000中。現在京東商城報價為999元，使用手機下單直降100，僅需899元，領券再降200，只賣699元！

網件R7000

網件R7000配備博通雙核1GHz CPU，256MB大容量內存，支持DD-WRT，頂級配置讓R7000成為無線路由發燒友的最愛。它采用IEEE 802.11ac無線標準，最高能夠提供1900Mbps的無線網絡，并且完全能夠向下兼容采用IEEE 802.11a/b/g/n的無線設備。雙頻并發技術，可以讓用戶避開擁堵的2.4GHz頻段，在信號干擾較小的5GHz通道上“狂飆”。

產品外置3根5dBi可拆卸天線，能夠立體360°收發無線信號，同時符合國家電子產品輻射標準。在享受無線網絡的同時，最大程度上保護用戶的家人，尤其是老人、小孩、孕婦等敏感人群。搭配全新睿動天線技術，可以迅速擴展無線信號，減少干擾及忙點，提升整體的無線性能。讓用戶在使用無線網絡時，能夠完美體驗高速下載、高清語音、視頻及流暢的游戲享受。

配備USB3.0和USB2.0雙接口的R7000依舊支持“易共享”功能，讓產品成為家庭網絡中心，共享影音文件及文檔。R7000提供了一個10/100/1000Mbps WAN端口和4個10/100/1000Mbps LAN端口，分別用不同顏色標注，方便用戶識別和使用。性能強大、綠色環保，是網件產品的一貫風格，相信R7000無線路由器能夠滿足用戶的任何需求。

NETGEAR R7000

[參考價格] 699元

宿舍游戲親兄弟 華碩RT-AC88U減400

華碩無線路由器新品RT-AC88U，強勁的性能和誘人的價格，吸引了大量的消費者。RT-AC88U去年提前開始預售之時，憑借強大的硬件配置和給力的售價，讓人垂涎三尺，讓這款無線路由新品發售場面十分火爆！這款專為游戲玩家打造的無線路由器，現在京東商城正在進行促銷活動，原價1999元的RT-AC88U，領券立減400元，僅售1599元！

華碩RT-AC88U

華碩RT-AC88U內置博通BCM47094網絡處理器，這款ARM架構的雙核處理器主頻達到了1.4GHz，無疑是一顆強勁的“心臟”。由此可以加速網絡數據處理，USB接口的傳輸速度可以超過100MB/s，而通過網線傳輸的網絡速率將提升至1800MBps。這樣的傳輸速度，讓用戶無論是使用NAS還是通過其他設備訪問路由器的存儲，都會非常的快速。即使是傳輸大容量文件，或者觀看4K視頻，都能夠快速傳輸不卡頓。

這款無線路由器擁有創新的聚合鏈路功能，支持兩條千兆網線同時接入，傳輸速度能夠達到2GB/s。用戶搭建家庭數據中心或向其他設備提供網絡傳輸，網絡傳輸速率將成倍增長。RT-AC88U外置四根可拆卸至強天線，搭配AiRadar智能雷達和beamforming信號成束技術，可以追蹤用戶的移動端設備，提高無線設備的接受信號強度。4×4 MIMO傳輸技術的應用，讓RT-AC88U的無線信號覆蓋范圍可達502平方米，完全覆蓋家庭的每一個角落。

RT-AC88U背部提供1個千兆WAN網絡端口和8個千兆LAN端口，再多有線設備的連接也不在話下。同時，還設有1個USB2.0接口，以及側面的USB3.0接口，無論是連接移動存儲設備還是打印機、3G/4G無線網卡都能夠通過RT-AC88U輕松進行分享。2.4GHz頻段1000Mbps和5GHz頻段2167Mbps的超高無線傳輸速率，讓用戶無論進行何種網絡行為都不會產生卡頓現象。這款無線路由器還內置趨勢科技的安全技術，為家庭用戶提供企業級的網絡安全防護。

華碩 RT-AC88U

[參考價格] 1599元