生成式AI模型性能不斷提升，或處于更大規模放量前夕，推理需求有望高速增長。

OpenAI于2022年11月推出生成式AI應用ChatGPT，在不到兩個月的時間內，月活躍用戶數突破1億人。以ChatGPT為代表的生成式AI應用快速迭代、落地，模型推理的算力需求逐漸顯現。隨著生成式AI模型參數和Token數量不斷增加，模型單次推理所需的算力持續攀升。同時，ChatGPT、Gemini、Kimi等聊天機器人的用戶數逐步上升，Microsoft Copilot、Adobe Firefly、WPS AI等辦公助手持續落地，用戶側的流量不斷上升，推理算力未來有望超過訓練算力，最終訓練芯片與推理芯片數量之比或達到2：8。

· 量化技術（Quantization）是決定生成式AI推理成本的關鍵因素

量化技術的迭代升級有望降低推理門檻，為CPU+ASIC、CPU+FPGA等技術路線的發展，以及國產算力的放量提供了技術基礎。人工智能模型的量化技術從最初的FP16量化快速發展到目前應用最成熟的INT8量化，再到正在進一步研究中的INT4量化，呈現出數據精度逐步降低，內存或顯存占用不斷減少的趨勢。這一趨勢有助于CPU+ASIC、CPU+FPGA等技術路線通過軟硬件的優化提高推理能力，也有助于國產算力通過增加低精度計算單元等方式，以較成熟的制程工藝實現可用的推理算力。

· 消費級GPU產品和海外CSP企業的自研芯片同樣被用于推理場景。

英偉達和AMD的消費級GPU產品，同樣具備接近千億參數量級的生成式AI模型的推理能力，從側面說明推理芯片的門檻相對較低。谷歌、微軟、亞馬遜、Meta等海外CSP企業在大規模采購英偉達數據中心GPU的同時，也在積極自研用于模型訓練和推理的芯片，有望成為滿足推理算力需求的另一種途徑。

我們認為：生成式AI的發展是一個不斷迭代升級的過程，隨著國內生成式AI模型的質量持續提升，有望出現更多優質應用，從而帶動推理算力需求快速上升。在推理場景下，算力的性價比顯得更為重要。在供給端有所限制的情況下，國產推理芯片有望受益于國內生成式AI應用的落地，迎來重大發展機遇。

建議關注

1）AI推理芯片：寒武紀、海光信息。

2）算力服務器：浪潮信息、中科曙光、神州數碼、工業富聯。

風險提示

人工智能技術落地和商業化不及預期；產業政策轉變；宏觀經濟不及預期。

020年10月9日，AMD正式發布了采用7nm ZEN3架構的銳龍5000系列臺式機處理器。直到11月5日，正式揭開了AMD銳龍5000系列CPU的真實性能，尤其是在對PCIe 4.0存儲的支持上更加優秀了。今天編輯收到了WD_BLACK SN850 NVMe SSD，一起來看看它是如何展現自己的實力的。

自研主控+原廠閃存，實力強勁

事實上，PCIe 4.0對于大家來說，早已不陌生。2019年臺北電腦展，AMD銳龍三代處理器和X570主板集體亮相，就已經開始了對于PCIe 4.0極致性能的探索。隨后，各大存儲品牌也躍躍欲試，推出了旗下第一代PCIe 4.0 SSD，讀取速度達到了5GB/s，寫入速度也達到了4GB/s，對于追求速度的玩家來說，這已經是相當優秀的硬盤性能了。

到今年，西部數據推出WD_BLACK SN850 NVMe SSD，采用更高性能的PCIe 4.0主控，標稱讀取速度達到7000MB/s。盡管采用了與WD_BLACK SN750 NVMe SSD同樣的酷炫黑色外觀，性能的差距可是相當明顯的。

WD_BLACK SN850 NVMe SSD采用的是SanDisk 20-82-10034-A1主控，以及SanDisk 60914閃存顆粒，原廠自研技術的加持，勢必讓這款產品的性能更加強勁。

不僅如此，搭配WD_BLACK 儀表板優化，可以讓WD_BLACK SN850 NVMe SSD在開啟游戲模式的情況下，得到更快的傳輸速度。同時，還能隨時監控SSD的使用溫度、速度波動等等情況。

開啟游戲模式，實現更強性能

看到這里，想必大家都很想知道這款WD_BLACK SN850 NVMe SSD的真正性能到底如何？這不，搭配上PCIe 4.0平臺，快來感受一下它的極致速度吧！

性能實測，妥妥的PCIe速度王者

在AS SSD測試中，WD_BLACK SN850 NVMe SSD的4K隨機性能表現優異。因為ROG CROSSHAIR VIII DARK HERO提供兩個PCIe Gen4X4 M.2 SSD插槽，搭配高頻率內存，確保PCIe 4.0 SSD在使用過程中始終保持極致性能輸出。在開啟游戲模式之前，這款SSD 在4K多線程讀寫中，WD_BLACK SN850 NVMe SSD讀取達到716787 IOPS，寫入值達到708824 IOPS，總分高達8711，這樣的成績的確很棒。

磁盤寫入901GB文件后測試成績

磁盤寫入901GB文件后測試成績

開啟游戲模式之后，WD_BLACK SN850 NVMe SSD的4K隨機讀寫都得到了一定幅度的提升。即使在SN850已經寫入901GB文件之后，4K隨機讀取速度依然達到了21033 IOPS，4K隨機寫入速度高達72637 IOPS，在多線程隨機讀寫中，讀取提升到713556 IOPS，寫入提高到721648 IOPS。也就是說，在開啟游戲模式之后，玩游戲時加載畫面、切換畫面的速度就會更快，給你更為流暢的游戲體驗。

在這里，編輯選擇了CrystalDiskMark6.0.0和 7.0.0版本進行測試。在舊版本CDM測試中，WD_BLACK SN850 NVMe SSD最高讀取速度實現了7078MB/s，最大寫入速度也達到了5240.1 MB/s；而在新版本CDM測試中，我們看到這款SSD在Q32T16情況下，4K吞吐量達到了1034233 IOPS，而在Q32T8的情況下，也達到了959291 IOPS，這樣優秀的表現一定震驚了不少小伙伴吧！

或許有人會擔心這樣的速度僅僅只是理論值，那不如進行一下實際文件拷貝測試。為了不受到文件輸出硬盤的速度限制，在這里編輯選擇了FastCopy軟件進行了大小文件的拷貝測試。本次測試文件為一個包含了213個文件總容量為71.6GB的游戲文件包和一個總容量為58.5GB的單個大容量文件，可以分別考驗SSD在應對大文件以及零散文件時的傳輸性能。

測試文件說明

從測試結果來看，WD_BLACK SN850 NVMe SSD在拷貝單個大容量文件時，平均速度達到3756MB/s，而拷貝多個零散文件時，平均速度也達到了3222MB/s。這樣的成績，在SSD市場上絕對是佼佼者。不管是應對大文件還是零散文件，速度都能維持到3000MB/s以上，可見這款產品的穩定性是相當可靠的。

為了進一步檢驗WD_BLACK SN850 NVMe SSD的穩定性，在這里編輯選擇了HD Tune Pro進行測試。我們知道，為了保證SSD在傳輸資料過程中能夠維持穩定，SSD提供了一定區域的緩存設置。經過檢測，WD_BLACK SN850 NVMe SSD 1TB提供了接近250GB緩存區域。

在文件長度250GB范圍內，讀寫速度維持穩定

可能有人會疑惑，空盤情況下，SSD能保證250GB不掉速，如果SSD已經寫入大量的資料，還能維持穩定的速度嗎？在這里編輯傳輸了901GB（可用空間為932GB）大小的文件到SN850，然后設置30GB文件長度，再次進行了測試。

在測試結果曲線圖上，我們可以看到SN850在幾乎滿載的情況下，還能保證12GB文件長度下寫入不掉速，足以證明這款產品的穩定性是經得起考驗的。

看到這里，想必大家對于WD_BLACK SN850 NVMe SSD的高性能沒有什么疑問了吧？那么，接下來編輯就要跟大家說一個需要注意的問題了，那就是溫度功耗。我們知道，PCIe 4.0在帶來更高的性能上限的同時，也帶來了過高的功耗，而溫度，恰恰是影響固態性能的一個方面，溫度過高可能會導致掉速甚至掉盤。到底SN850的溫控情況如何呢？

待機溫度不足35℃

數據傳輸過程中最高溫度達到68.4℃

我們使用FLIR測溫儀對SN850進行測溫，在SN850進行穩定性測試的過程中進行了溫控數據拍攝。長時間的數據加載，會讓SSD的溫度持續升高，而這款SN850最高溫度在68.4℃，控制在標稱的70℃以內，相當不錯了。另外，現在支持PCIe 4.0的主板，均配備散熱片，在這樣的情況下，就能實現更優的溫度控制了。溫控做好了，我們就能真正享受到SN850帶來的高效穩定的傳輸體驗了。

總結：PCIe 4.0時代的王者，生產力工具首選

想要使用PCIe 4.0 SSD的小伙伴們，想必已經準備好主板、顯卡等其他裝備了吧？目前在售支持PCIe 4.0的芯片組大多采用雙PCIe 4.0×4 設計，不管你插在哪個位置，都能實現滿速，這對于專業級用戶來講，絕對是能大幅提升工作效率的升級方案。WD_BLACK SN850 NVMe SSD提供超過7000MB/s讀取速度，超過100萬4K吞吐量，相比SN750系列，速度提升了一倍。不管你是玩游戲還是進行專業應用，都能夠享受到高效率的生產力提升。不僅如此，穩定性、溫控都經得起用戶的長時間考驗，絕對是PCIe 4.0時代的存儲王者。

雷西 發自 凹非寺

量子位 | 公眾號 QbitAI

鵝妹子嚶！斯坦福用ChatGPT打造的「AI小鎮」，可以在自己的電腦上跑了，還是能定制的那種！

這是一個由25個ChatGPT組成的虛擬世界，完完全全地模擬了真實的人類生活。

就在剛剛，作者在GitHub上公布了這個項目的源代碼，還貼心地附上了部署教程。

目前獲得的星標已經超過了1.3K，而且還在上漲！

英偉達的Jim Fan博士第一時間點贊轉發，直言「前方有無限多新的可能」。

網友們則開始了許愿，期待著推出一個寶可夢版本：

創建自己的小鎮

這個小鎮中，可以添加最多25個由ChatGPT扮演的角色。

他們有著不同的身份、性格和年齡，共同生活在這個小鎮里。

他們像人類一樣進行著自己的活動，也像人類一樣彼此交流。

交流時所用的，也是人類的語言。

那么，該如何打造一個這樣的「AI小鎮」呢？

在開始之前，先要檢查GitHub文檔里的requirements.txt列出的依賴是否都安裝好了。

然后把項目文件克隆到本地，并創建配置文件。

配置文件要放在reverie目錄下的backend_server中，并命名為utils.py。

其中填入如下的內容，注意替換OpenAI的API。

配置好這些之后，就可以開始運行啦！

首先轉到environment目錄下的frontend_server，開啟運行環境。

python manage.py runserver

啟動完成后，可以通過瀏覽器訪問localhost:8000檢查是否成功。

如果成功的話，會看到下面的內容：

Your environment server is up and running

環境啟動完畢，就可以開啟主程序了，還是要回到reverie目錄下的backend_server當中。

也就是之前存放配置文件的目錄。

python reverie.py

輸入啟動指令之后，程序會讓我們輸入人物的名字。

這里人物的名字要在程序預設的列表里有才行，而且要按照下面的格式：

base_the_ville_人物名1_人物名2……

假如我們選擇的是Isabella Rodriguez、Maria Lopez和Klaus Mueller輸入的內容就是：

base_the_ville_isabella_maria_klaus

然后也給這個小鎮起個名，并記住這個名字。

用瀏覽器打開localhost:8000/simulator_home，這個「AI小鎮」就呈現在我們眼前了。

回到命令行界面當中，會看到系統要求我們輸入選項。

此時輸入run+空格+次數，回車之后小鎮里的人們就動起來了。

此外，模擬的整個過程都可以回放，只需要用瀏覽器訪問這個地址：

localhost:8000/replay/小鎮名稱/想看的步驟

注意替換里面的名字和步驟序號。

歷史記錄文件也可以在這個目錄里找到：

environment/frontend_server/static_dirs/assets/the_ville

此外，還可以對小鎮中上演的故事開頭進行「定制」。

還是按照前面的步驟，在給小鎮命名之后，系統要求輸入選項時使用下面的命令：

call -- load history the_ville/歷史記錄文件名.csv

此時程序會把讀取到的記錄作為故事的開始。

由于歷史記錄是明文可編輯的，所以通過修改這些記錄也就實現了內容的定制。

除了將代碼進行開源，團隊也對此前發布的論文進行了一些修改。

新版本中，作者替換了一些用詞，格式也更加完善，不過核心內容上改變不大。

相比于舊版，新版本還增加了Acknowledgement部分，對為本項目做出貢獻的人和機構表達了感謝。

此外，作者還對參考文獻進行了調整，數量上少了一篇，順序也有所改動。

快來打造一個屬于你的「AI小鎮」吧！

GitHub頁面：
https://github.com/joonspk-research/generative_agents
參考鏈接：
https://twitter.com/drjimfan/status/1689315683958652928
論文地址：
https://arxiv.org/pdf/2304.03442.pdf

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態