作者| 楊孝真子
編輯| 小石頭
人工智能掀起了新的產業浪潮。
這半個月來，人工智能領域大模型的消息層出不窮。
OpenAI 意外推出大規模多模態模型 GPT-4； 百度“文心一言”如期上線，展現了文心一言在文學創作、數理邏輯計算、多模態制作等方面的多重能力。
騰訊總裁劉熾平表示，將繼續優化混元AI大模型； 字節跳動報道，原達摩院大模組長M6入職，參與語言生成大模組開發。
大模型被認為具有帶來工業革命的力量，能夠給行業帶來實實在在的生產力變革。
谷歌率先宣布開放PaLM大模型API，將生成式AI功能用于各類應用； 微軟緊隨其后，宣布推出 Copilot AI 產品，表明 GPT-4 等模型具備引入生產工具的穩定性。 Adobe 還宣布將與 Nvidia 合作，探索將大模型能力引入產品。
一個人工智能的新時代即將展開。 人工智能領域的創業熱情被點燃，眾多大佬宣布進軍大模型賽道。
創新工場CEO李開復、前搜狗CEO王小川、前京東AI掌門人周博文、魔門問創始人李志飛、阿里科技副總裁賈揚清，這些知名大咖正步入規模化模式的創業河追蹤 。
然而，大模型的發展有三個重要因素：算法、計算能力和數據。 算力是大模型訓練的重要能源引擎，也是制約我國大模型產業發展的一大障礙。
芯片能力直接影響高算力訓練的效果和速度，背后是錢。 擁有的芯片數量也成為業內人士判斷企業大機型能力的重要指標。
在剛剛結束的GTC大會上，英偉達不負眾望，推出了ChatGPT專用GPU，可將推理速度提升10倍。
此外，針對中國用戶，根據A800運行模式（A100芯片的降維版），英偉達推出了完全符合出口規定的H100芯片降維版。 具體參數暫未公布。
不過，無論是面向中國的A800還是中國版的H100，都與原裝芯片能夠在國外市場上使用存在差距。
國外芯片能否支撐大機型的算力需求成為業界關注的問題。
尋找 A100
OpenAI ChatGPT大模型能有今天的風光ai中怎么批量替換鏈接，英偉達的A100功不可沒。 大型模型的訓練需要龐大的算力資源，而GPU是大型模型最好的算力引擎。
為了支持OpenAI訓練ChatGPT，微軟專門為OpenAI打造了一臺由數萬個A100 GPU組成的AI超級計算機。 此外，還有超過 60 個數據中心和數十萬個 GPU 可以支持 ChatGPT 的推理工作。
國內云計算專家認為，一個好的AI模型的最低算力門檻是10000顆英偉達A100芯片。 研究表明，基于A100的計算能力，GPT-3.5大模型最多需要20000個GPU，未來商用后可能需要30000多個GPU。
據臺灣《電子時報》報道，微軟等客戶對英偉達的A100/H100芯片需求旺盛。 目前英偉達的訂單能見度已經達到2024，高端芯片供不應求。
但是，國內的超高算力芯片并不多。
據《財經十一人》報道，國內云廠商主要使用英偉達的低端性能產品，GPU超過10000的不超過5家。 其中，最多只有一家公司擁有10,000顆Nvidia A100芯片。 .
目前，唯一一家公開表示擁有10,000個A100 GPU的公司是Magic Square 。 為發展量化金融服務，公司打造了名為“Firefly II”的AI集群。
作為大模型的主要進入者，國內互聯網巨頭擁有天然的數據優勢，自然不想因為算力而被困在大模型所能帶來的廣闊天地和商機之外。
多位業內人士告訴36氪，自2022年9月美國禁止向國內客戶銷售英偉達A100、H100和AMD的MI250人工智能芯片后，國內各大廠商開始大規模囤積芯片。
一位為企業采購算力的從業者告訴36氪，從去年下半年開始，一些廠商就開始在市場上尋找各種可以拆解A100的整機產品，其唯一目的就是獲得GPU芯片。 “機器太多了，沒有足夠的地方存放它們?！?/p>
一位接近百度的人士告訴36氪，百度擁有部分A100芯片，并布局了少量昆侖芯片。
而另一家較早推出大機型的公司，在市場上搶芯的動作相當激進，“幾乎到了人盡皆知的程度”。
Nvidia 已申請在 2023 年 3 月 1 日之前為 A100 的美國客戶提供所需的出口支持。
現在截止日期已經過去，A100芯片的獲取渠道已經鎖定。 英偉達專門為中國客戶提供的降維版GPU A800成為最受歡迎的產品。 此外，在3月份的GTC大會上，英偉達發言人確認將針對中國市場推出符合監管要求的降維H100產品。
與A100相比，A800的計算性能沒有變化，但數據傳輸速度受到限制，功耗有所增加。 換句話說，A800獲取數據速度較慢，使用起來更耗電，但其運算速度依然出色。
目前A800 80GB顯卡在京東的售價已經達到了89999元，部分門店甚至以93999元的價格開賣，甚至超過了此前A100的售價。
超級計算中心的建設成本非常高。 除了百度、華為等極少數企業會建設自己的超算中心外，更多的企業是通過租用超算中心的算力進入市場。
在ChatGPT引領AI熱潮后，數據中心A100算力租賃價格快速上漲。
分散的計算資源已經達到10元/卡每小時，即使是相對便宜的批量計算資源也漲價了近20%，達到6-7元/卡/小時。 就連A800的計算資源也變得緊缺，需要提前預定。
一位數據標注從業者告訴36氪：“在飛天平臺上，如果要預約1000個A100，肯定沒有。如果要預約100個A100，可以排隊試試?！?/p>
如果連A800都等不及，用NVIDIA高端GPU系列中性能更差的V100進行訓練也是可以的。
在GTC大會上，面對強大的算力需求，英偉達也推出了全新的云算力平臺。 企業可以租用算力，谷歌、微軟AZURE等云算力平臺為其提供算力支持。
黃仁勛表示，中國也可以采用這個平臺，但需要阿里巴巴、騰訊等公司的云平臺提供。
一切回到原點。
推理的一面是機會
雖然英偉達的產品可以做降維，但是國內的大型模型公司在訓練和推理的時候都會受到底層算力的影響。 “
祥峰投資管理合伙人夏志進告訴36氪：“從動態上看，海外公司會推出更大的機型，下一代需要更大的算力資源，算力是未來的一大挑戰?！?/p>
國產GPU芯片能否支撐大機型的算力需求？
大模型對算力的需求分為兩個階段。 一是訓練ChatGPT通用大模型的過程； 另一個是將這個模型商業化的推理過程。
國產GPU可以做不需要這么高信息粒度的云端推理工作，但目前大多無法勝任需要超高算力的云端訓練。
隨緣科技、必人科技、天數智芯、寒武紀等公司都推出了自己的云GPU產品，理論性能指標也不弱。
3月17日，李彥宏在亞布力中國企業家論壇上也分享到，昆侖芯片??現在非常適合做大模型的推理，未來也會適合做訓練。
登臨科技聯合創始人王平告訴36氪：“從實際來看，國內GPU初創企業的短期機會在推理端，推理端的服務器需要用到多卡登臨創新的通用GPU產品具有更高的效率和能效比，可以幫助客戶實現降本增效，當然降本增效也是云廠商現在和未來需要解決的問題”
摩爾線程全功能GPU顯卡可以完成AI模型訓練、推理、微調的全過程。 目前可以對ChatGLM和GLM系列模型進行推理，支持超大模型的分布式推理和卸載推理。
大規模模型訓練需要處理高粒度的信息，對云端訓練芯片處理信息的精度和計算速度提出更高的要求。 現階段，大部分國產GPU不具備支持大規模模型訓練的能力。
與多媒體和圖形處理的單精度浮點計算（FP32）計算要求不同，在超級計算領域，雙精度浮點計算能力FP64是高計算能力計算的剛性指標。
Nvidia的A100兼具以上兩類能力，而國內GPU芯片云培訓公司大多只能處理單精度浮點計算，如碧仁科技（通用GPU芯片BR100）、天數智芯（“智開100”） )、寒武紀（云推理思源270）產品在FP32理論指標方面做的不錯，但不具備處理FP64的能力。
公開資料顯示，目前國內支持FP64雙精度浮點運算的只有海光推出的DCU（協處理器），但其性能只有A100的60%左右。
王平認為，“國產通用GPU產品在滿足大規模模型訓練方面確實與國際旗艦產品存在差距，但并非無法彌補，只是業界還沒有往大規模模型方向設計在產品定義中?！?/p>
摩爾學院院長李鋒告訴36氪，公司現階段已經可以支持3億參數模型的訓練。 2022年底提前安排自然語言模型預訓練，開發自己的模型。
目前，行業從業者正在做相關的探索和努力，比如思考是否通過Chiplet（堆疊或并排放置芯片）和先進封裝來增加算力。
一位chiplet領域的從業者告訴36氪，曾有一家明星GPU廠商咨詢是否可以使用chiplet來實現大模型所需的算力。
王平還表示，“針對龐大的模型訓練市場，業界可以選擇做出在某些維度性能上超越NVIDIA的特點產品?！?/p>
目前，國內GPU企業正在大模型領域進行布局。
昆侖芯回復36氪：“與第一代產品相比，昆侖芯2代芯片在算力、互聯和高性能方面都有很大的優化，公司也在不斷研發新的產品和技術，為大機型的應用提供更好的服務?！焙?AIGC. 性能體驗?！?/p>
據王平介紹，登林科技的首款產品已經在多家業內知名企業的主營業務中得到大規模應用。 國際廠商的產品在能效比和性價比上具有明顯優勢。
燧原科技宣布公司品牌戰略升級，打造AIGC時代的基礎設施； Moore Thread表示將推出基于該公司全功能GPU的AIGC算力平臺。
軟件是更高的門檻
與硬件性能上可以接受的差異相比，軟件適配和兼容性更難讓客戶接受。
當大模型和應用層面的競爭開始時，從商業角度來看，用國產AI芯片參戰并不是一個好的選擇。
在硬件性能方面，使用國產AI芯片的計算速度會比使用Nvidia A100慢。 當分秒必爭時，“慢”是企業最不愿意看到的景象。
另外，即使一個計算能力相當的產品可以通過堆疊芯片堆疊起來，從服務器運行的角度來看，它的主板費用、電費、運營費用，以及功耗和散熱等問題都需要考慮將大大增加數據中心的數量。 運營成本。
由于算力資源往往需要以池化的形式呈現，數據中心通常更愿意使用同一種芯片，或者同一家公司的不同芯片，以降低算力池化的難度。
對于客戶來說，國產AI芯片并不好用。
算力的釋放需要復雜的軟硬件配合，才能將芯片的理論算力轉化為有效算力。 國產AI芯片要想取代英偉達的GPU，需要打通CUDA生態和整個產業生態的壁壘。
Moore Thread 擁有自己的全功能 GPU 芯片，并推出了 AIGC 平臺。 李峰告訴36氪：“最難的是生態的建立，我們要考慮很多生態的兼容性。
先說CUDA。 為了進一步開發GPU的計算能力，英偉達耗時10年，投入3000多人搭建了CUDA框架。 該框架集成了調用GPU算力所需的大量代碼，工程師可以直接使用這些代碼，無需一一編寫。
如果沒有這套編碼語言，軟件工程師將很難實現硬件的價值。 一位關注基礎軟件的投資人告訴36氪：“沒有CUDA，調用GPU的代碼就永遠寫不完了，不可能什么都自己寫。”
一個尚處于創業階段的芯片設計公司很難在生態上投入如此大量的人力和財力。 大部分都會選擇兼容CUDA架構，降低客戶使用門檻。
一些企業也選擇自主研發的加速器。 比如寒武紀搭建了自己的加速平臺； Kunlun Core也為開發者提供了類似于Nvidia CUDA的軟件棧，希望能夠建立自己的生態，擺脫對CUDA硬件的依賴。 更新煩惱。
即使有了這個編程框架，整個產業生態的人也很難用上這個芯片。
目前全球主流的深度學習框架都是基于CUDA加速的，整個行業的中下游軟件和驅動廠商都是基于此適配的。 這就構成了一個非常強大的生態壁壘，就像蘋果系統內部的閉環生態，window操作系統+上層應用軟件一樣。
對于企業來說，更換云端AI芯片需要一定的遷移成本和風險。 除非新產品具有性能優勢，或者能夠在某個維度上提供別人無法解決的問題，否則客戶更換的意愿很低。
祥峰投資管理合伙人夏志進也告訴36氪：“軟件生態是好用不好用的問題ai中怎么批量替換鏈接，沒有CUDA，門檻會提高，不是不能用，但這需要付出很多額外的努力。”
芯片需要適配硬件系統、工具鏈、編譯器等多個層面，需要很強的適應性。 不然就會出現這個芯片在一個場景可以跑90%的算力，而在另一個場景只能跑。 用完 80% 的性能場景。
就連英偉達，為了更好的發揮硬件的作用，也會給大客戶提供一些人力，幫助進行軟件的適配和調試。 軟件和硬件仍然需要為客戶部署和調試。
對性能要求高的大廠，也會設立專門的軟件部署工程師，對硬件進行適配，最大限度地發揮硬件的性能。 這也是為什么很多手機廠商會研發自己的芯片來更好的適配自己的產品。
共建生態，共謀解決之道
目前，國內從業者已經在著力打造生態。
在人工智能生態系統中，支撐大模型的訓練需求需要底層硬件、中層深度學習平臺、上層應用軟件的整體適配和相互支持。
硬件對上層軟件的支持，需要在代碼寫完后，有人一步一步地躺在坑里，知道問題所在，完善硬件對軟件的支持。
一家C輪應用軟件公司告訴36氪，需要對不同類型、不同版本的基礎軟硬件進行適配，每年適配費用超過1000萬元。
百度飛槳已經在推動國產芯片的適配。
2022年4月，百度飛槳已完成百度昆侖芯、華為升騰等22家國內外硬件廠商的31款芯片適配優化，基本覆蓋國內主流芯片。
目前，昆侖芯片??和飛槳已完成Level 3兼容性適配，登臨科技和飛槳也已完成Level 2適配，木犀集成電路和飛槳已完成Level 1兼容性測試。
近日，有消息稱華為的可以兼容外顯子載體數據庫。 據了解，慕曦之前也加入過笙絲社。
大尺度模型領域的另一重要玩家致遠研究院及其九鼎智能計算平臺也在與國內多家AI芯片企業展開合作。
未來，大型模型訓練對計算能力的要求會越來越高。 比如科研場景或者訓練視頻信息需要更大的算力支持。
英偉達等廠商也將繼續追求更高性能芯片的開發。 海外企業可以采購更高算力的英偉達芯片，推動大規模模型訓練。 例如，微軟已經宣布將加強與Nvidia的合作，將GPU從之前的A100升級到H100。
參加大型模型競賽，算法、算力、數據緊密相連。 在最卡頓的環節，如何降低GAP成為一個求同存異的命題。
（感謝魏世偉老師的采訪支持）