選自towardsdatascience
作者：Ahinand
機器之心編譯
編輯：Panda
雖然大多數深度學習模型都是在 Linux 系統上訓練的，但 Windows 也是一個非常重要的系統，也可能是很多機器學習初學者更為熟悉的系統。要在 Windows 上開發模型，首先當然是配置開發環境。Kaggle Master 及機器學習實踐者 Abhinand 立足于自己的實踐，給出了一種簡單易行的 Windows 深度學習環境配置流程。
本文將介紹在 Windows 計算機上配置深度學習環境的全過程，其中涉及安裝所需的工具和驅動軟件。出人意料的是，即便只是配置深度學習環境，任務也不輕松。你很有可能在這個過程中犯錯。我個人已經很多次從頭開始配置深度學習環境了，但是通常是在對程序員更友好的操作系統 Linux 中。
而對于 Windows 操作系統，沒有多少文章詳細解釋這一過程。所以我打算自己來試試。這些天，經過多次試錯之后，我終于找到了解決方案。這個方法不僅能夠配置成功，還比我見過的其它教程簡單得多。
本教程為誰而寫，以及為什么要用 Windows？
相信我，我自己也不喜歡在 Windows 上鼓搗 CUDA。但我們常常遇到這種情況：開發者經常需要在并非深度學習或程序開發專用的筆記本電腦或更強大的硬件上工作。在這種情況下，你并不總能避免使用 Windows。如果你遇到這種情況，或者正好擁有一臺 Windows 計算機，又或者還不能熟練使用 Linux，那么這份指南肯定能幫到你。
本文包含以下內容：
硬件和軟件的最低要求
安裝 Python 和所需工具
設置開發環境
一些 GPU 術語
安裝 GPU 驅動
安裝 TensorFlow（CPU 和 GPU）
安裝 PyTorch（CPU 和 GPU）
驗證安裝情況
我的個人經驗和替代方法
硬件和軟件的最低要求
如果你要按照本指南操作并且計劃使用 GPU，你必須使用英偉達 GPU。
開發深度學習應用涉及到訓練神經網絡，這自然需要執行大量計算。也因此，我們需要越來越多的并行運算，而 GPU 正好能夠滿足我們的需求。這也是當前 GPU 需求旺盛的主要原因之一。大多數深度學習框架都自帶 GPU 加速支持，這讓開發者和研究者無需執行任何 GPU 編程就能在幾分鐘內使用 GPU 進行計算。
大部分這些框架都（只）支持 CUDA，而這只能在英偉達 GPU 上使用，這也是你需要使用英偉達 GPU 的原因。但是，使用 AMD 的 GPU 也不是不可能，相關信息可參閱：https://rocmdocs.amd.com/en/latest/。
不過，就算你沒有 GPU，也依然可以繼續本教程。但為了有效進行深度學習，至少你要有好用的 CPU、內存和存儲空間。
我的硬件——筆記本電腦的配置如下：
CPU——AMD Ryzen 7 4800HS 8C -16T@ 4.2GHz on Turbo
RAM——16 GB DDR4 RAM@ 3200MHz
GPU——Nvidia GeForce RTX 2060 Max-Q @ 6GB GDDR6 顯存
對于硬件配置，我推薦至少使用 4 核 2.6 GHz 的 CPU、16GB 內存和 6GB 顯存的英偉達 GPU。
另外，對于本教程，你當然需要使用 Windows 10 系統。我也假設你對 Python 軟件包和環境具備基本認知。不管怎樣，后面都會給出解釋。
推薦使用的 Windows 版本是最新的 64 位 Windows 10 穩定版。
本教程假設你的操作系統是剛裝好的，沒有執行過額外的修改。不過只要你知道自己在做什么，依然可以參考本教程。
安裝 Python 和所需工具
第一步當然是安裝 Python。我建議使用 Mini-Conda 來安裝 Python。先給剛入門的新手解釋一下原因。
Conda 是一個軟件包管理工具，可以幫助你安裝、管理和移除各種不同的軟件包。不過 Conda 并不是唯一的選擇，還有 pip——這是我很喜歡的 Python 默認軟件包管理工具。這里我們選擇 Conda 的原因是在 Windows 上使用它更簡單直接。
Anaconda 和 Mini-Conda 都是 Conda 的軟件發行版，其中預安裝了一些非常有用的數據科學 / 機器學習軟件包，能節省很多時間。Anaconda 包含 150 多個在數據科學和機器學習中有用的軟件包，基本上包含了你可能需要的一切，而 Mini-Conda 僅包含一些必需的工具和軟件包。
我推薦使用 Mini-Conda，因為我喜歡對所安裝的軟件包有（幾乎）完整的控制權。清楚地了解你所安裝的東西完全不是壞事。當然這還能幫你節省一些存儲空間，你也不會裝上幾十個你可能永遠也用不上的奇怪軟件包。
要安裝 Mini-Conda，請訪問：https://docs.conda.io/en/latest/miniconda.html
下載 Windows 64 位版本的 Python3 安裝工具，然后像安裝其它 Windows 軟件一樣安裝它。一定要勾選詢問你是否要將 Conda 和 Python 加入到 PATH 的勾選框。
現在你可以通過以下命令檢查 Conda 和 Python 是否安裝成功。如果安裝成功，則會顯示版本號；否則你可能需要再次正確安裝 Mini-Conda 并將其加入到 PATH。
下一步是安裝 jupyter-notebook，請在命令行界面使用以下命令：
你可以通過運行 jupyter notebook 來驗證安裝，這會幫你在瀏覽器上打開 Jupyter Notebook。
設置開發環境
這一步很重要，但很多人會忽視它。使用 Anaconda 這種包含所有已知軟件包的工具是可以理解的，但如果要開發自己的項目，真正構建一些東西，你可能還是需要一個專門針對該項目或你的工作性質的定制開發環境。使用專門虛擬環境的另一大優勢是你可以將軟件包與全局設置隔離開。這樣，就算你在該環境中使用軟件包時搞錯了，你也可以輕松地丟棄它們，而不對全局軟件包產生任何影響。
這也能讓你靈活地使用任何之前版本的 Python 創建環境。這樣，你就可以避免使用那些還不穩定的新特性，之后再根據支持情況選擇是否升級。
創建 Conda 環境還算簡單。為了方便解釋，我創建了一個名為 tensorflow 的環境，你可以將其改為任何名稱。我將使用 Python 3.7，因為我知道 TensorFlow 對其有很好的支持。順便一提，這將是安裝 TensorFlow 的位置，我還會創建一個名為 torch 的環境來安裝 PyTorch。
環境創建完成之后，你可以使用以下命令進入該環境，其中的 tensorflow 只是我們之前提供給該環境的名稱。
進入環境之后，你會在提示框的左邊看到類似這樣的信息：
如果你沒在 Powershell 上看到這個信息，那么你可能需要先在 Powershell 初始化 conda 一次：
然后，你可能會在左邊看到 (base)，如上圖所示，此時你已不在任何環境中。之后，你再進入任何環境，你應該都會看見環境名。
此外，你還可以在環境中安裝 nb 工具，并將其鏈接到我們之前安裝的 Jupyter Notebook。
要將該環境注冊到 Jupyter Notebook，可運行以下命令：
要退出 Conda 環境，則運行以下命令：
現在按照同樣的步驟創建一個名為 torch 的環境：
如果環境設置成功，你可以在環境列表中看到它們。
要驗證每個環境是否都已安裝了各自的軟件包，你可以進入各個環境，執行 conda list，這會顯示該環境中已安裝的所有軟件包。
不要因為這個列表很長而感到困擾。Conda 已經妥善地處理了主要部分和依賴包。
一些 GPU 術語
在安裝 GPU 相關軟件之前，我們有必要了解這些軟件是什么，以及你需要它們的原因。
GPU 驅動：顧名思義，GPU 驅動是讓操作系統及程序能使用 GPU 硬件的軟件。游戲玩家肯定很熟悉這個。如果你喜歡打游戲，你可能需要讓這個軟件保持最新以獲得最好的游戲體驗。
CUDA：簡單來說，這是英偉達開發的一個編程接口層，能讓你調用 GPU 的指令集及其并行計算單元。
自 2010 年代末的 GeForce 8 系列 GPU 以來，幾乎所有 GPU 都兼容 CUDA。要想了解你的 GPU 是否啟用 CUDA，可以訪問英偉達的網站。
舉個例子，如果你有一臺消費級 GPU，不管是 GeForce 系列還是 Titan 系列，你都可以在下圖中看到你的 GPU 是否支持 CUDA。
數據截至 2020 年 9 月，截圖僅含部分型號。
如果你的電腦是筆記本，你應該看右邊的列表；如果你的電腦是臺式機，你顯然就該看左邊的列表。
之前已經提到，我的 GPU 是右側列表中的 RTX 2060 Max-Q。另外，你不必在意顯卡型號名稱是否與該列表中的名稱完全匹配，Max-Q 和 Super 的底層架構一樣，只在 TDP、CUDA 核及張量核數量方面有一些差異。
比如，不管你的 GPU 是 RTX 2080 Super 還是 2080 Max-Q 又或是 2080 Super Max-Q，看列表中的 RTX 2080 就夠了。但如果你的 GPU 是 RTX 2080Ti 或其它加了 Ti 的型號，則說明你的 GPU 是該系列中最高端的那一款，這些 GPU 通常在顯存大小和 CUDA 核及張量核數量方面更具優勢。
截至 2020 年 9 月，要使用 TensorFlow 2.0，顯卡計算能力必須高于 3.5，但建議使用計算能力至少為 6 的顯卡以獲得更好的體驗。TensorFlow 2.0 還需要 CUDA 10 版本，而這又進一步要求驅動版本至少為 418.x。
PyTorch 需要的 CUDA 版本至少為 9.2，但也支持 10.1 和 10.2。所需的計算能力至少要高于 3.0。
CuDNN：即 CUDA Deep Neural Network 軟件庫，這是一個用于深度神經網絡的 GPU 加速原語庫。cuDNN 為前向和反向卷積、池化、歸一化和激活層等標準例程提供了經過高度微調的實現。
（可選）TensorRT：NVIDIA TensorRT 是一套用于高性能深度學習接口的 SDK。其包含深度學習接口優化器和運行時優化器，能為深度學習接口應用提供低延遲和高通量的特性。
安裝 GPU 驅動
首先，你需要搞清楚所使用的 GPU 型號，而且你的 GPU 必須啟用了 CUDA。
如果你還沒有安裝驅動，你可能需要運行一次 Windows 更新，它會自動處理有用軟件的安裝過程，比如英偉達控制面板。這能幫助你獲悉 GPU 的相關信息，還有一些與本文無關的設置。
英偉達控制面板就緒之后，你可以在開始菜單打開它，也可以右鍵點擊桌面，然后選擇英偉達控制面板。
打開之后，你可以點擊「幫助→系統信息」來查看 GPU 驅動版本。驅動版本號列在「細節」窗口的頂部。
如上圖所示，我的驅動版本是 456.x，遠超過 418.x 的最低要求，所以我不必安裝新驅動。
但你的電腦可能不是這樣的。要安裝最新版的驅動，可訪問 https://www.nvidia.com/Download/index.aspx，然后輸入 GPU 信息，下載合適的驅動。
?
驅動下載完成后，運行安裝包，選擇快速安裝會更輕松。驅動安裝完成之后，可使用英偉達控制面板進行驗證。
另一個安裝驅動的方法是使用英偉達的 GeForce Experience 應用程序。只要你購買的是主打游戲的電腦，應該都預裝了該軟件。安裝過程很簡單。
這一步是可選的。如果你已經按照上面的步驟安裝了驅動，或你的電腦沒有預裝該軟件，那就不用在乎這個步驟。
你可在這里下載該程序：https://www.nvidia.com/en-in/geforce/geforce-experience/，然后跟著安裝流程將其安裝到電腦上。安裝完成，打開它，進入驅動選項卡，檢查更新并安裝新驅動。你也可以在該應用中查看驅動的版本號。
?GeForce Experience 演示
現在安裝驅動過程中最重要的步驟已經完成，你可以選擇手動安裝 CUDA 工具包，也可以選擇在安裝 TensorFlow 或 PyTorch 時留給 Conda 來安裝（強烈推薦后者）。
如果決定手動安裝，你可以從這里下載安裝包：https://developer.nvidia.com/cuda-downloads，然后跟著指示操作即可。
安裝 CUDA 工具包
CUDA 工具包裝好之后，你可以在 cmd 或 Powershell 中執行 nvidia-smi 命令進行驗證。
nvidia-smi 的輸出
安裝 TensorFlow
現在終于來到本教程的關鍵了。如果你已經完成了前述步驟，那么這一步會非常簡單。
我們通過 Conda 來安裝 TensorFlow 2.x。
要注意，首先進入我們之前創建的 tensorflow 環境，然后再進行操作。
如果你需要 GPU 支持，就運行以下命令：
通過 anaconda 通道安裝 TensorFlow 的 GPU 支持軟件。使用 conda 而非 pip 安裝 TensorFlow 的一大優勢是 conda 的軟件包管理系統。使用 conda 安裝 TensorFlow 時，conda 還會安裝所有必需和兼容的依賴包。這個過程是自動的，用戶無需通過系統軟件包管理器或其它方式安裝任何其它軟件。
其中也包含 TensorFlow 或 PyTorch 所需的版本合適的 CUDA 工具包。因此，使用 conda 能讓這個過程變得非常簡單。
我們只能在安裝了 TensorFlow GPU 的環境中看到所安裝的 CUDA 工具包。這既不會影響到全局系統的 CUDA 版本，同時也能滿足 TensorFlow 和 PyTorch 的不同版本 CUDA 需求。這就是使用虛擬環境的最大好處，它能讓不同的虛擬環境完全隔離開。
如果一切順利，你不會在安裝過程中看到任何報錯信息。
要驗證 TensorFlow 和所需的軟件包是否成功安裝，你可以執行 conda list，這會顯示已安裝軟件包的列表，你應該能在其中找到與 TensorFlow 相關的軟件包以及 CUDA 工具包。
你也可以打開 Python prompt 來驗證是否已安裝 TensorFlow。
如果你看到了版本號，那么恭喜你，TensorFlow 已安裝成功！任務完成。
在 Python prompt 中驗證 TensorFlow 的安裝情況。
你在 Python prompt 中使用 TensorFlow 時可能會看到這樣的信息：「Opened Dynamic Library」，但這并不是壞消息。這只是一條日志消息，說明 TensorFlow 可以打開這些軟件庫。
GPU 上的安裝情況驗證將在下文中介紹。
如果要安裝僅使用 CPU 的 TensorFlow，你需要對安裝命令進行簡單的修改。
這將會安裝沒有 CUDA 工具包和 GPU 支持的 TensorFlow。
安裝 PyTorch
安裝 PyTorch 的過程與安裝 TensorFlow 其實沒太大差異。conda 讓這一切都變得非常簡單。
首先，進入我們創建的 torch 環境。
如果你想安裝支持 CUDA 的 PyTorch，使用以下命令：
該命令會通過 Conda 的 PyTorch 通道安裝兼容 CUDA 的 PyTorch。
至于僅使用 CPU 的 PyTorch，只需從以上命令中移除 cudatookit 即可：
這會安裝無 CUDA 支持的 PyTorch。
和之前一樣，你可以使用 conda list 驗證安裝情況，也可使用以下代碼在 Python 上執行驗證。
如果返回版本號，則說明已成功安裝 PyTorch。
驗證安裝情況
有時候，你覺得一切都很順利，準備開始使用這些工具時卻遇到了一些重大錯誤。如果你正好遇到了這種情況，有可能是機器的問題，也可能是流程出錯了，不能一概而論，要具體問題具體分析。
為了幫助你更好地驗證安裝情況，并確保 TensorFlow 和 PyTorch 使用的是指定的硬件，這里分享一些筆記。
你可以在 https://github.com/abhinand5/blog-posts 的 dl-setup-win 文件夾中找到它們。你可以克隆這些筆記然后運行其中的代碼。如果返回的信息正確，你就可以放手開發了。
下圖是該筆記的代碼示例：
注：如果你沒有從正確的環境啟動 Jupyter Notebook，就可能會遇到一些錯誤。例如，如果你想使用 tensorflow 環境，你可以從 base 環境啟動 notebook，然后將核改到 tensorflow 環境，但我在這樣操作時遇到過報錯。因此，如果你要運行 TensorFlow，就在 tensorflow 環境里啟動 Notebook；如果你要運行 PyTorch，就在 torch 環境中啟動 Notebook。不要從 base 或其它地方啟動。
我的個人經驗和替代方法
我一直使用這套配置完成一些輕量級的深度學習工作，反正這套本地硬件足夠了。現在幾周過去了，一切都還不錯。但是，在此之前我還嘗試過其它一些方法，也出現過一些嚴重問題。
比如有一次我嘗試了這里的方法：https://developer.nvidia.com/cuda/wsl，其中涉及在 WSL（Windows Subsystem for Linux）中啟用 CUDA 和英偉達驅動以便使用 GPU 來進行深度學習訓練。目前這個功能還在預覽階段，但一旦官方發布，必將為深度學習實踐者帶來重大影響。這能將讓人驚喜的 WSL 與 CUDA/GPU 驅動結合到一起。
不過這是有條件的。要想使用這一功能，你必須參與 Windows Insider Program 項目。當然，根據我的經歷，內部預覽版往往有很多漏洞。我在使用時遇到過很多問題，包括所有 Windows 應用不再響應、GSOD（綠屏死機）錯誤、未正確啟動、驅動故障。我個人不喜歡不穩定的環境，所以選擇退出只是時間問題。
你有可能在使用預覽版時不會遇到任何問題，只不過我的經歷太糟了，所以不推薦使用預覽版。
其它替代選擇包括完全不使用 Windows，只使用基于 Linux 的系統，享受更加流暢的體驗。只不過 Linux 沒有 Windows 中那樣花哨的 GUI 安裝工具。
本文介紹了如何在 Windows 系統中安裝 TensorFlow、PyTorch 和 Jupyter 工具，希望對大家有所幫助。
https://towardsdatascience.com/setting-up-your-pc-workstation-for-deep-learning-tensorflow-and-pytorch-windows-9099b96035cb
NVIDIA 于近日發布 NVIDIA RTX AI 套件，這一工具和 SDK 集合能夠幫助 Windows 應用開發者定制、優化和部署適用于 Windows 應用的 AI 模型。該套件免費提供，不要求使用者具備 AI 框架和開發工具方面的經驗，并且可以為本地和云端部署提供絕佳的 AI 性能。
生成式預訓練轉換器（GPT）模型的普及為 Windows 開發者創造了將 AI 功能集成到應用中的絕佳機會。但要實現這些功能仍面臨著巨大的挑戰。首先，您需要根據應用的特定需求來定制模型。其次，需要優化模型，使其在適應各種硬件的同時，仍然能夠提供絕佳的性能。之后，需要一條同時適用于云端和本地 AI 的簡便部署路徑。
NVIDIA RTX AI 套件為 Windows 應用開發者提供了端到端工作流。您可以根據應用的特定要求，使用常用的微調技術對 Hugging Face 的預訓練模型進行定制，并將它們量化到適合消費類 PC 的規模。然后，可以對它們進行優化，使其能夠在整個 NVIDIA GeForce RTX GPU 系列以及云端 NVIDIA GPU 上發揮絕佳性能。
<script src="https://lf6-cdn-tos.bytescm.com/obj/cdn-static-resource/tt_player/tt.player.js?v=20160723"></script>
視頻 1. 觀看 NVIDIA RTX AI 套件
從模型開發到應用部署的端到端演示
當需要部署時，無論您是選擇將經過優化的模型與應用捆綁在一起，還是在應用安裝/更新時下載模型，亦或是建立一個云微服務，RTX AI 套件都能提供多種途徑來滿足您的應用需求。該套件還包含 NVIDIA AI 推理管理器（AIM）SDK，能夠根據用戶的系統配置或當前的工作負載讓應用在本地或云端運行 AI。
適用于各種應用的強大定制 AI
當今的生成式模型在龐大的數據集上訓練而成。整個訓練過程可能需要數周時間，并使用數百顆全球最強大的 GPU。雖然這些計算資源對大多數開發者來說遙不可及，但開源預訓練模型可以讓您獲得強大的 AI 功能。
開源預訓練基礎模型通常在通用數據集上訓練而成，因此在各種任務中都能夠提供不錯的結果。但應用往往需要專門的行為，例如游戲角色需要以特定的方式說話、科學寫作助手需要理解特定行業的術語等。
微調是一種可以根據應用需求，在額外的數據上對預訓練模型進行進一步訓練的技術，例如游戲角色的對話示例。
RTX AI 套件包含 NVIDIA AI Workbench 等支持微調的工具。今年早些時候發布的 AI Workbench 是一款用于在本地 RTX GPU 和云端中組織并運行模型訓練、調優與優化項目的工具。RTX AI 套件還包含使用 QLoRA 進行微調的 AI Workbench 項目，QLoRA 是當今最常用、效果最好的技術之一。
為了實現參數高效微調，該套件使用 Hugging Face Transformer 庫來充分發揮 QLoRA 的作用，在減少內存使用的同時實現了定制化，而且可以在搭載 RTX GPU 的客戶端設備上高效運行。
微調完成后的下一步是優化。
針對 PC 和云端進行優化
AI 模型優化需要解決兩大難題。首先，PC 用于運行 AI 模型的內存和計算資源有限。其次，PC 和云端之間存在各種具有不同功能的目標硬件。
RTX AI 套件包含以下用于優化 AI 模型并使其作好部署準備的工具。
NVIDIA TensorRT 模型優化器：即使較小的 LLM 也需要 14 GB 或以上的內存。適用于 Windows 的 NVIDIA TensorRT 模型優化器正式發布，它所提供的模型量化工具可在不顯著降低準確性的情況下，將模型規模最多縮小至原來的三分之一。其中的 INT4 AWQ 后訓練量化等方法便于在 RTX GPU 上運行最先進的 LLM。這樣一來，較小的模型不僅可以更加容易地適應典型系統上可用的 GPU 內存，還能通過減少內存帶寬瓶頸來提高性能。
NVIDIA TensorRT Cloud：為了在每個系統上都能獲得絕佳的性能，可以針對每個 GPU 專門優化模型。當前推出的 NVIDIA TensorRT Cloud 開發者預覽版是一項云服務，用于為 PC 中的 RTX GPU 以及云端中的 GPU 構建經過優化的模型引擎。它還為流行的生成式 AI 模型提供了預構建的減重引擎，這些引擎可與微調的權重合并成優化的引擎。與預訓練模型相比，使用 TensorRT Cloud 構建并使用 TensorRT 運行時運行的引擎可以實現高達 4 倍的性能提升。
優化微調模型后的下一步是部署。
開發一次即可實現隨處部署
如果您的應用能夠在本地或云端執行推理，就能為大多數用戶提供絕佳的體驗。將模型部署在設備上可以實現更低的延遲，并且不需要在運行時調用云，但對硬件有一定的要求。將模型部署在云端則可以支持在任何硬件上運行的應用，但服務提供商需要承擔持續的運營成本。在完成模型開發后，您就可以使用 RTX AI 套件將其部署到任意位置，且該套件中的工具既適用于設備端路徑，也適用于云端路徑，例如：
NVIDIA AI 推理管理器（AIM）：當前推出的 AIM 搶先體驗版為 PC 開發者簡化了 AI 集成的復雜性，并且可以在 PC 端和云端無縫協調 AI 推理。NVIDIA AIM 利用必要的 AI 模型、引擎和依賴關系對 PC 環境進行預配置，并支持 GPU、NPU、CPU 等各種不同加速器的所有主要推理后端（TensorRT、ONNX Runtime、GGUF、Pytorch）。它還能執行運行時兼容性檢查，以此確定 PC 是否能在本地運行模型，或者根據開發者策略切換到云端。
借助 NVIDIA AIM，開發者既可以利用 NVIDIA NIM 在云端進行部署，也可以利用 TensorRT 等工具在本地設備上進行部署。
NVIDIA NIM：NVIDIA NIM 是一套易于使用的微服務，能夠加速云、數據中心和工作站中的生成式 AI 模型部署。NIM 屬于 NVIDIA AI Enterprise 軟件套裝的一部分。RTX AI 套件提供的工具可將經過優化的模型與其依賴關系打包并上傳至暫存服務器，然后啟動 NIM。這一步將調入經過優化的模型，并創建一個端點供應用調用。
您還可以使用 NVIDIA AI 推理管理器（AIM）插件在設備上部署模型，有助于管理本地和云推理的細節，減輕開發者的集成負擔。
NVIDIA TensorRT：NVIDIA TensorRT 10.0 和 TensorRT-LLM 推理后端為配備張量核的 NVIDIA GPU 提供同類產品中的最佳性能。新發布的 TensorRT 10.0 簡化了將 AI 模型部署到 Windows 應用中的流程。減重引擎可壓縮 99% 以上的已編譯引擎大小，因此可直接在終端用戶設備上使用模型權重對其進行重新調整。此外，TensorRT 還為 AI 模型提供軟硬件前向兼容性，使其能與較新的運行時或硬件配合使用。TensorRT-LLM 加入了在 RTX GPU 上加速生成式 AI LLM 和 SLM 的專門優化措施，可進一步加速 LLM 推理。
這些工具使開發者能夠在應用運行時準備好模型。
RTX AI 加速生態系統
包括 Adobe、Blackmagic Design、Topaz Labs 等在內的頂尖創意獨立軟件開發商（ISV）正在將 NVIDIA RTX AI 套件集成到他們的應用中，以提供在 RTX PC 上運行的 AI 加速應用，從而提升數百萬創作者的用戶體驗。
如果您想要在 RTX PC 上構建基于 RAG 和智能體的加速工作流，可以通過 LangChain 和 LlamaIndex 等開發者框架獲得 RTX AI 套件的功能和組件（如 TensorRT-LLM）。此外，常用的生態系統工具（如 Automatic1111、Comfy.UI、Jan.AI、OobaBooga 和 Sanctum.AI）也可通過 RTX AI 套件實現加速。通過這些集成，您可以輕松構建經過優化的 AI 加速應用，將其部署到設備和云端 GPU 上，并在應用中實現能夠在各種本地和云環境中運行推理的混合功能。
將強大的 AI
加入到 Windows 應用中
NVIDIA RTX AI 套件為 Windows 應用開發者提供了一套端到端工作流，使他們能夠充分利用預訓練模型，對這些模型進行定制和優化，并將它們部署到本地或云端運行。借助快速、強大的混合 AI，由 AI 驅動的應用既能夠快速擴展，又能在各個系統上提供絕佳的性能。RTX AI 套件使您能夠為更多用戶帶來更多由 AI 驅動的功能，讓用戶在游戲、生產、內容創建等所有活動中都能享受到 AI 所帶來的好處。
NVIDIA RTX AI 套件即將發布，供開發者使用：
https://developer.nvidia.com/rtx/ai-toolkit