天之前，國外著名網(wǎng)絡安全供應商CrowdStrike（吐槽一下：這公司的名字有“罷工”之意，也是很應景哈）向所有客戶發(fā)布了例行的自動更新，立即在全球范圍內(nèi)導致850萬臺window電腦系統(tǒng)崩潰。
除非您自上周以來一直處于斷網(wǎng)狀態(tài)，不然您應該聽說過CrowdStrike導致的Windows中斷，該中斷導致世界各地的航空公司、銀行、超市、警察部門、醫(yī)院、電視頻道等關鍵服務癱瘓。企業(yè)看到他們的Windows機器因“藍屏死機”而崩潰，并且沒有明顯的修復程序——至少最初沒有。該事件在規(guī)模上是非同小可的，并且它還涉及到一些在系統(tǒng)底層級別運行的軟件，這個因素讓我們更有理由去看一看。
今天，我們將介紹：
1、回顧 850萬臺Windows計算機的崩潰對各行各業(yè)的影響
2、根源：一個用于查找惡意進程的自動更新會以某種方式導致CSAgent.sys進程寫入無效的內(nèi)存地址，并使計算機操作系統(tǒng)崩潰（簡單地說就是殺毒軟件更新出BUG了）
3、進度非常緩慢的人工修復 事件發(fā)生四天后，計算機恢復工作仍在進行中，因為每臺受影響的機器和主機都必須手動修復
4、誰負責？顯然，CrowdStrike主要的責任人，微軟公司應該承擔次要責任。2009年的一項法規(guī)可能會在此次事件中發(fā)揮作用
5、給軟件工程師的經(jīng)驗教訓：量化潛在影響，執(zhí)行金絲雀/分階段部署等
1. 回顧
上周五（7月19日），發(fā)生了一次有史以來規(guī)模最大的、由軟件引發(fā)的window電腦故障。航空公司、銀行、超市、警察局、醫(yī)院、電視臺等社會關鍵企業(yè)使用的數(shù)百萬個Windows10、11操作系統(tǒng)突然崩潰，出現(xiàn)了可怕的“藍屏死機”，而且沒有明顯的修復方法。這是一次真正的全球宕機，從北美、歐洲到澳大利亞，整個西方世界都受到了沖擊。
全球航空旅行陷入混亂，在阿拉斯加，緊急服務號碼停止工作；在英國，天空新聞電視臺無法播出；麥當勞因收銀機故障而不得不關閉一些日本分店。總共有數(shù)以萬計的企業(yè)和數(shù)百萬人受到影響。與此同時，在F1賽車的世界里，梅賽德斯-奔馳車隊的電腦在匈牙利大獎賽上崩了。具有諷刺意味的是，該團隊的贊助商之一是就是此次事件的罪魁禍首CrowdStrike。
2024年7月19日，紐約拉瓜迪亞機場的傳送帶屏幕。
資料來源：維基百科
巴黎迪斯尼樂園受到影響，工作人員改用紙質(zhì)打印輸出來顯示游樂設施的等待時間。
來源： The Points Guy
在新西蘭（奧克蘭）的一家超市自助結(jié)賬。
資料來源：《新西蘭先驅(qū)報》
由CrowdStrike更新引起的Windows崩潰給CrowdStrike贊助的F1車隊帶來了問題。
資料來源：英國廣播電臺/Getty
這場大崩盤的所有商業(yè)受害者都是網(wǎng)絡安全公司CrowdStrike的客戶，該公司是“端點安全”的市場領導者，擁有約20%的市場份額。它在Windows/Linux/Mac機器上安裝軟件，并運行防病毒、防火墻、入侵檢測和防御系統(tǒng)（IDP）等。引發(fā)全球大混亂的是Crowdstrike對其“獵鷹”產(chǎn)品（類似于火絨或者360安全衛(wèi)士）的一次更新。
我們知道全球有850萬臺Windows機器因共享這個更新而受到影響，后來由CrowdStrike證實。受災最嚴重的可能是達美航空公司，大約三分之一的航班（5000架）在三天內(nèi)被取消。即使在第4天，達美航空也不得不在計算機恢復過程中取消了另外1000個航班，并且正在為受影響的客戶提供現(xiàn)金退款。
2. 根本原因
在運行CrowdStrike軟件的Windows機器開始崩潰的幾個小時后，該公司發(fā)布了更新：
“CrowdStrike正在積極協(xié)助受到最近更新BUG影響的客戶。Mac和Linux主機不受影響。該問題已被識別和隔離，并且已部署修復程序。這不是網(wǎng)絡攻擊。”
發(fā)生了什么？該公司向所有客戶推送了一個文件，然后導致操作系統(tǒng)崩潰。但這是怎么發(fā)生的呢？隨著事件的進行，一些開發(fā)人員試圖重建發(fā)生的事情。以下是帕特里克·沃德爾（Patrick Wardle）的詳細信息：
1.導致Windows崩潰的進程稱為“CSAgent.sys”
2.崩潰的指令是程序集指令“mov r9d，[r8]”。這指示將r8地址中的字節(jié)移動到r9d地址。問題是r8是一個未映射的地址（無效），因此進程崩潰！
罪魁禍首：導致全球Windows機器崩潰的匯編指令。
資料來源：帕特里克·沃德爾（Patrick Wardle）在X上的推文
3.崩潰是由CSAgent.sys進程讀取CrowdStrike推送到所有客戶端的新文件引起的，稱為“C-00000291-*.sys”
一天后，CrowdStrike分享了更多細節(jié)：
1. 此更新的目標是檢測惡意軟件的通信活動。CrowdStrike的獵鷹安全軟件會觀察進程如何在機器上或網(wǎng)絡上進行通信，以嘗試查明惡意活動。此更新添加了一個新的規(guī)則文件，以篩選可疑的網(wǎng)絡通信活動。
2. 發(fā)布了具有新規(guī)則/命名的新配置文件。CrowdStrike的配置文件，例如可疑網(wǎng)絡連接的名稱、注冊表這些東西，它們將所有這些文件存儲在位置C：\Windows\System32\drivers\CrowdStrike\中（國內(nèi)沒有，不用查了哈）。這些文件都是有編號的，命名連接的規(guī)則位于編號291下。命名模式為“C-00000291-*.sys”的每個文件都是此類別的規(guī)則。
3. 未經(jīng)處理的錯誤使進程和操作系統(tǒng)崩潰。雖然我很想知道錯誤到底是什么，但CrowdStrike只分享了一個非常簡短的總結(jié)：
“配置更新觸發(fā)了邏輯錯誤，導致操作系統(tǒng)崩潰。這與編號文件291或任何其他頻道文件中包含的空字節(jié)無關。”
總之就是出現(xiàn)了一個很奇怪的BUG，不知何故，解析這些新的命名規(guī)則會導致程序集級指令嘗試將內(nèi)存位置移動到無效位置。這就是使Windows設備崩潰的原因。（就是內(nèi)存報錯藍屏）
3. 緩慢的手動修復
解決這種崩潰比平時要復雜得多，因為簡單的遠程重啟還原是不夠的，技術人員必須親自維護每臺計算機：
技術人員正在親自修復受影響的Windows計算機，因為沒有遠程修復選項。
資料來源：techAU on X
CrowdStrike在事件發(fā)生幾個小時后發(fā)布了針對此次故障的處理步驟。
步驟是：
將Windows啟動到安全模式或Windows恢復環(huán)境
導航到C：\Windows\System32\drivers\CrowdStrike目錄
找到與“C-00000291*.sys”匹配的文件并將其刪除
引導計算機重啟
恢復過程需要計算機上的管理員權(quán)限，這些步驟很專業(yè)（需要CMD或者powershell命令），普通用戶很難執(zhí)行恢復，因此在大多數(shù)公司，技術人員需要手動修復每臺機器。
在許多地方，Windows筆記本電腦都受到了影響。一位技術人員分享了這項任務的一瞥，發(fā)布了一張圖片，其中2000臺筆記本電腦中有120臺需要在一個周末內(nèi)修復。
一些筆記本電腦要重置。資料來源：Dunken K Bliths on X
作為一個正常人，當我們看到一個全手動的流程時，顯然會想到，是否可以將其自動化，或者以巧妙的方式更快地完成。由于850萬臺機器需要復位，很明顯手動過程非常耗時。因此，獨立開發(fā)人員以及微軟公司都介入了：
一天后，iOS開發(fā)人員和Windows修補匠Adam Demasi（亞丹 德瑪西）創(chuàng)建了一個叫Unistrike的工具。通過一些額外的設置，您可以創(chuàng)建一個U盤來插入每臺受影響的機器，以便更快地恢復。
Microsoft在事件后的第二天發(fā)布了類似的恢復工具。
幾乎同一時刻，CrowdStrike分享說，他們正在為客戶測試一種新的、更快的恢復技術。
然鵝，在中斷四天后，大多數(shù)受影響的Windows設備都未得到修復。事實證明，大規(guī)模崩潰的操作系統(tǒng)比應用程序更難恢復，因為應用程序可以將補丁發(fā)送到客戶端，或者可以在服務器端完成修復。
4. 誰負責？
有趣的是，新聞媒體最初將其報道為“Microsoft宕機”或“Windows宕機”，但是它與事實相去甚遠。那么，誰導致了世界上最大的軟件崩潰呢？
CrowdStrike – 顯然
毋庸置疑，大部分責任在于CrowdStrike。在這一點上，我們只能推測哪些關鍵步驟被跳過了，或者做得不夠徹底。希望我們能在面向公眾的事后分析中學到更多經(jīng)驗。同時，以下是CrowdStrike應該問的一些問題——：
1.更新是否經(jīng)過測試，以及是如何測試的？
此配置文件（C-00000291-*.sys）中的更新是否以手動和自動方式進行了測試？如果是這樣，測試是如何通過的，為什么在實際生產(chǎn)中會發(fā)生崩潰？
事實上，我們知道測試環(huán)境永遠無法完全復制生產(chǎn)環(huán)境，因此bug可能會在測試中被通過。
2.這些配置更改在向公眾發(fā)布之前，是否已向CrowdStrike員工推出？
如果是，一些CrowdStrike員工是否也看到他們的操作系統(tǒng)崩潰了？
這樣的話，那么為什么要繼續(xù)推出？
如果有BUG，但自己家員工的機器沒有崩潰，倒是全世界的機器都崩潰了，那就更有趣了。
3. 有沒有金絲雀檢查程序？
“金絲雀”來自“煤礦中的金絲雀”一詞。在20世紀初，礦工們將籠子里的金絲雀鳥帶到了地下。這只鳥對有毒氣體的耐受性比人類低，所以如果這只鳥停止鳴叫或暈倒，這是對礦工的警告信號，表明存在危險氣體，并讓他們撤離。
如今，金絲雀測試意味著將代碼更改推廣到較小比例的用戶群，然后監(jiān)控此部署的運行狀況信號，以發(fā)現(xiàn)某些不對勁的跡象。
分階段推出意味著變化是一步一步的，在繼續(xù)之前評估每個階段的結(jié)果。分階段推出通常定義獲取更改功能的用戶群百分比，或此功能應推出的區(qū)域，或兩者兼而有之。
分階段推出計劃可能如下所示：
第 1 階段：在新西蘭推出10%（驗證更改的小市場）
第 2 階段：50%在新西蘭推出
第 3 階段：在新西蘭100%推廣
第 4 階段：全球10%的推廣
第 5 階段：全球25%的推廣
第 6 階段：全球50%的推廣
第 7 階段：全球100%推廣
在每個推出階段之間，都會設置一個達標條件，用于確定何時可以繼續(xù)推出下一個階段。這通常被定義為沒有BUG的反饋，并且觀察到業(yè)務指標的預期變化。
CrowdStrike是否使用了金絲雀方法，或者更像是“一次性梭哈”，將配置文件同時推送給所有客戶？現(xiàn)在，我們還不知道。
4. CrowdStrike的軟件在Windows中以內(nèi)核級別運行，這意味著其進程在操作系統(tǒng)中擁有最高級別的權(quán)限，這意味著它可能會使整個系統(tǒng)崩潰，比如通過損壞操作系統(tǒng)的部分內(nèi)存信息。在此級別運行的殺毒軟件對于監(jiān)督操作系統(tǒng)運行的進程以及發(fā)現(xiàn)威脅和漏洞是必要的，但這也意味著一次微小的更新——即使是看起來無辜的內(nèi)容配置文件也可能導致整個系統(tǒng)崩潰。
5. 公司是否忽略了之前的類似系統(tǒng)宕機？一位在私營技術實驗室工作的黑客新聞評論員分享說，幾個月前，CrowdStrike對他們的Linux系統(tǒng)造成了類似的系統(tǒng)崩潰。這位開發(fā)人員總結(jié)道：
“早在2024年4月19日，Crowdstrike就對我們用于工作的linux計算機集群做了這件事，我一直很想對此大發(fā)雷霆。”
簡而言之，我們是一個私營的技術實驗室，制作了一堆不同的生產(chǎn)網(wǎng)站。我們運行Crowdstrike的安全軟件，它在周五晚上推送了一個與最新的穩(wěn)定版系統(tǒng)不兼容的更新。我們像往常一樣給系統(tǒng)打了補丁，在一周時間里一切都很好，然后我們用于多個網(wǎng)站和云主機的所有服務器同時硬件崩潰并無法啟動。
當我們將其中一個磁盤連接到一臺新的電腦并檢查錯誤日志時，Crowdstrike看起來像是罪魁禍首，所以我們手動刪除了它，機器啟動，嘗試重新安裝它，機器立即再次崩潰。很好，我們提交了技術支持工單并讓工程師在線。
Crowdstrike花了一天時間做出回應，然后要求提供更多證據(jù)（超出上述范圍）證明這是他們的錯。
一天后，他們承認了這個錯誤，幾周后，他們進行了根本原因分析，認為他們沒有在他們的測試中涵蓋我們的場景（我認為他們用于測試的是我們的上一代操作系統(tǒng)版本）。在我們自己的事后分析中，我們沒有真正的能力來防止同樣的事情再次發(fā)生：“Crowdstrike會隨時將軟件跟新推送到你的機器上，無論它是否緊急，而不進行測試。
（就像打游戲到一半，window突然藍屏并強制更新哈哈）
這些細節(jié)表明，CrowdStrike可能或應該意識到它可以——而且確實——通過更新使內(nèi)核進程崩潰。
公平地說，像CrowdStrike這樣的公司擁有數(shù)百個工程團隊，一個團隊觀察到宕機的信息不一定會在整個組織中傳播。盡管如此，導致操作系統(tǒng)崩潰的CrowdStrike進程肯定是一個已知的漏洞，因為它是破壞客戶機器的最明顯方法，而它本來要保護的。
（笑死我了，宕機的電腦永遠不會中病毒）
Microsoft / Windows在干嘛？
為什么CrowdStrike可以在內(nèi)核級別運行進程，這可能會使操作系統(tǒng)崩潰？相比之下，蘋果對MacOS進行了更改，以在用戶級別運行第三方軟件，而不是內(nèi)核。
幾年來，蘋果一直在鼓勵第三方開發(fā)人員從內(nèi)核擴展轉(zhuǎn)向在用戶級別運行的等效擴展。然而，直到最近一年左右，蘋果才提供了足夠的支持，使其可行。
因此，在Mac上，相同的CrowdStrike進程將在用戶空間中運行，如果它崩潰，它不會使整個系統(tǒng)隨之癱瘓。
（Mac真就生產(chǎn)力YYDS）
但是，在Windows和Linux上，防病毒和其他網(wǎng)絡安全軟件通常在內(nèi)核級別運行，并且一直如此。那么，為什么Microsoft沒有效仿蘋果的做法，禁止第三方進入內(nèi)核空間呢？事實證明，一起發(fā)生在在2010年之前的殺毒軟件公司的投訴，和歐盟法規(guī)發(fā)揮了作用。
監(jiān)管是罪魁禍首？
《華爾街日報》問Microsoft為什么不限制像CrowdStrike這樣的第三方軟件只在用戶空間運行，而不是在內(nèi)核空間運行。它的回應是：
“Microsoft發(fā)言人表示，它不能像蘋果那樣合法地封鎖其操作系統(tǒng)，因為它在一起用戶投訴后與歐盟委員會達成了諒解。2009年，Microsoft同意為安全軟件制造商提供與Microsoft相同級別的Windows訪問權(quán)限。
具有諷刺意味的是，所有這一切都始于2006年，當時Microsoft希望使其內(nèi)核對Windows Vista更安全。
“如今，像賽門鐵克（類似于國內(nèi)的360安全衛(wèi)士）這樣的安全供應商處于高度敏感的狀態(tài)，因為他們已經(jīng)開始與Microsoft正面競爭，而進一步反壟斷行動的幽靈籠罩著Microsoft在安全領域的一舉一動。
上周，歐盟競爭事務發(fā)言人喬納森·托德（Jonathan Todd）警告說，如果Microsoft不允許安全供應商有公平的競爭機會，市場可能會受到威脅。
（window在安全軟件方面涉及壟斷了，主打一個自產(chǎn)自銷）
賽門鐵克和其他安全供應商不喜歡微軟的行為，因為它會阻止他們訪問 Windows內(nèi)核。他們表示，這將阻止他們提供賽門鐵克的“防篡改”技術等重要功能，該技術可以防止惡意程序修改賽門鐵克自己的軟件。
（病毒把殺毒軟件改了，倒反天罡）
Microsoft拒絕接受本文的采訪，但在上周接受IDG新聞采訪時，一位Microsoft高管表示，這只是為了防止內(nèi)核被濫用。
“我們認為周圍存在大量混亂......我們認為產(chǎn)品中的某些安全功能奠定了基礎，“安全技術部門高級產(chǎn)品經(jīng)理Stephen Toulouse（斯蒂芬·圖盧茲）說。“我們正在做的是將內(nèi)核與攻擊者隔離開來，因為目前存在的功能從未被任何人使用過——軟件供應商或攻擊者。
最終，賽門鐵克和其他供應商勝出。Microsoft只能“禁止”安全供應商在內(nèi)核空間運行，前提是它也沒有在那里運行自己的安全軟件。因此，雖然Microsoft可以被視為對這次系統(tǒng)宕機負有部分責任，但該公司并沒有其他辦法來阻止此事件的發(fā)生！
不過，可能會有一種方法：如果Microsoft將自己的安全解決方案（例如Windows Defender）移出內(nèi)核空間，將內(nèi)核徹底對所有安全軟件供應商關閉，包括它自己。這樣做可能意味著對Windows安全系統(tǒng)進行重大更新。
5. 軟件工程師能學到什么
以下是我們軟件工程師可以從這次事件中吸取的一些教訓，就目前的情況而言：
量化軟件崩潰的影響
如果您公司的產(chǎn)品在幾個小時內(nèi)不可挽回地崩潰，會發(fā)生什么？
如果發(fā)生這種情況，對您的公司和外部世界會有什么影響？例如：
如果亞馬遜在全球范圍內(nèi)崩潰幾個小時，賣家將失去收入，一部分購物者可能會失去必需品。亞馬遜將失去收入并遭受聲譽損害。
如果TikTok在全球范圍內(nèi)崩潰了幾個小時，品牌將無法投放廣告，客戶會因為無法使用社交平臺而感到無動于衷、略帶惱火或憤怒。關于TikTok被封鎖的牽強附會的理論可能會出現(xiàn)，該公司將失去廣告收入，用戶將暫時涌向Ins、Reels和Snap等替代品。
如果一家主要的電話和互聯(lián)網(wǎng)運營商崩潰，其影響將遠遠超過上述兩家公司的總和。企業(yè)將難以運營，緊急服務可能會受到影響。損害將是影響到聲譽的、持久的，政府干預也可能隨之而來。就像去年11月，澳大利亞一半的互聯(lián)網(wǎng)被切斷14小時的情況。
這個經(jīng)歷很有幫助，因為它可以讓人感覺到系統(tǒng)中斷的代價有多大。了解這些BUG的“殺傷半徑”有助于使操作系統(tǒng)更具彈性，并更快地檢測和緩解類似的事件。
死機不是一個人的錯
人們很容易將系統(tǒng)崩潰歸咎于誰寫了一段令人反感的代碼，也許是缺乏經(jīng)驗的實習生，或者是生活過得很糟糕的資深工程師。但是，將責任歸咎于個人是錯誤的做法。Microsoft退休員工斯科特·漢塞爾曼（Scott Hanselman）總結(jié)了為什么這種規(guī)模的失敗從來都不是一個人的錯：
“伙計們，事情是這樣的。我從事編程工作已有32年了。當這樣的事情發(fā)生時，這是組織的失敗。是的，有人寫了一句不好的評論，有人可以把“責備”指向某些人，這太可怕了。
它總是一行代碼，但絕不是一個人。指責員工導致了錯誤是簡單化、和種族主義的。工程是一項團隊運動。包容造就了優(yōu)秀的團隊。良好的工程實踐造就了優(yōu)秀的軟件。工程實踐中未能發(fā)現(xiàn)錯誤是常見的，無論寫入該代碼的人員的資歷如何。
（黑鍋不能給實習生背，大家要一起背鍋）
拓展
大范圍的系統(tǒng)崩潰總是不好的，但一個好處是它們迫使我們的工程師停下來反思：
我的公司會發(fā)生類似的災難性事件嗎，如果是這樣，如何發(fā)生？
對人們會有什么影響？
我們該怎么做才能避免成為“下一個CrowdStrike”？
CrowdStrike宕機現(xiàn)在正式成為地球上有史以來最大的軟件宕機，客戶遭受了嚴重的財務和聲譽損失。目前尚不清楚CrowdStrike的經(jīng)濟損失，但您可以假設這將是巨大的，因為一些企業(yè)會為造成的損失尋求賠償。
對于CrowdStrike來說，聲譽受損的情況再糟糕不過了。直到幾天前，該公司還是殺毒軟件安全合規(guī)性的黃金標準。但是現(xiàn)在不再是：它的名字與我們見過的最大規(guī)模系統(tǒng)崩潰有關。Crowdstrike的聲譽遭受了打擊，需要很長時間才能恢復。
沒有企業(yè)希望一次糟糕的更新部署對自己造成這樣的打擊，但它確實發(fā)生了。如果您發(fā)現(xiàn)公司的產(chǎn)品發(fā)布流程（測試、推出、監(jiān)控、警報等）存在問題，那么就應該將您的擔憂和建議提出，記得及時與您的經(jīng)理或者上級領導交談。
CrowdStrike肯定會吸取教訓，毫無疑問。祝那里的團隊（以及所有受影響客戶的團隊）好運，以解決這次事件，并祝CrowdStrike繼續(xù)開展工作以徹底改革內(nèi)部流程。
讓我們希望許多公司效仿，這一歷史性事件最終會成為科技行業(yè)的一次積極的經(jīng)驗學習。
2024年歐洲杯決賽將在英格蘭和西班牙之間展開，英格蘭隊有望首奪歐洲杯冠軍，而西班牙則有望奪得隊史第四座歐洲杯冠軍。接下來就回顧一下歐洲杯歷屆冠軍吧。
1960年在法國舉辦
冠軍：蘇聯(lián)，亞軍：南斯拉夫
1964年在西班牙舉辦
冠軍：西班牙，亞軍：蘇聯(lián)
1968年在意大利舉辦
冠軍：意大利，亞軍：南斯拉夫
1972年在比利時舉辦
冠軍：聯(lián)邦德國，亞軍：蘇聯(lián)
1976年在南斯拉夫舉辦
冠軍：捷克斯洛伐克，亞軍：聯(lián)邦德國
1980年在意大利舉辦
冠軍：聯(lián)邦德國，亞軍：比利時
1984年在法國舉辦
冠軍：法國，亞軍：西班牙
1988年在聯(lián)邦德國舉辦
冠軍：荷蘭，亞軍：蘇聯(lián)
1992年在瑞典舉辦
冠軍：丹麥，亞軍：德國
1996年在英格蘭舉辦
冠軍：德國，亞軍：捷克
2000年在荷蘭、比利時兩國舉辦
冠軍：法國，亞軍：意大利
2004年在葡萄牙舉辦
冠軍：希臘，亞軍：葡萄牙
2008年在奧地利、瑞士兩國舉辦
冠軍：西班牙，亞軍：德國
2012年在波蘭、烏克蘭兩國舉辦
冠軍：西班牙，亞軍：意大利
2016在法國舉辦
冠軍：葡萄牙，亞軍：法國
2021年歐洲多國舉辦
冠軍：意大利，亞軍：英格蘭