前言

為了運行一個 Tensorflow1.6.0 的項目，CPU 跑了三個多小時才完成一個 epoch，還得用 GPU。但這個版本的 TF 只能在 10 以下的 CUDA 平臺，但是以前的 Pytorch 也要繼續啊。所以需要在本地 Windows 下安裝多個版本 CUDA，其實有兩種方式讓 CUDA 共存。一種是英偉達的工具包安裝，還一種是 CUDA 的動態鏈接庫通過 conda 安裝。

由于是 Windows，配置 CUDA 多版本環境變量可能還會出現 “此環境變量太大，此對話框允許將值設置為最長 2047 個字符” 和安裝后運行項目 “If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info” 等報錯，接下來就開始一一介紹了。

安裝

動態鏈接庫方式

相比英偉達官方提供的 CUDA Toolkit，這種方式顯得特別輕便。因為前者是一個完整的工具安裝包，其中還提供了英偉達驅動程序（可以不勾選）和開發 CUDA 程序的工具。而對于使用深度學習框架的話，訓練使用 GPU 確實只需要使用 CUDA 的動態鏈接庫就可以，而且只需要用 conda 安裝就可以。

• 創建環境并激活

這里還是用 conda 創建一個新環境專門用于一個版本的 CUDA，要幾個就創建幾個，然后激活并進入，當然也要看看當前 conda 支持哪些 cuda 和 cudnn。

conda create -n tensorflow-cu python=3.6
conda activate tensorflow-cu

• 查看支持的 cuda

conda search cudatoolkit --info

• 查看支持的 cudnn

• 安裝 cuda 和 cudnn

conda install cudatoolkit=9.01
conda install cudnn=7.1.4

工具包方式

這種方法就是先明確自己需要安裝的版本，然后去英偉達官網下載安裝包。我上面也有文章介紹，不過在以前基礎上再加一低版本，需要注意的就是不要勾選驅動程序，然后切換版本要配置環境變量。

• 流程安裝

• 切記只勾選 CUDA，切記

• 重新選擇位置

安裝完畢后，他會自動在環境變量里新增 CUDA_PATH_V9_0 和 NVCUDASAMPLES9_0_ROOT，并且 CUDA_PATH 和 NVCUDASAMPLES 也會替換成最后安裝的版本，但當前依然還是之前的 CUDA11，這個時候還要去 Path 里設置一下。

要讓版本切換到 v9，需要手動添加 CUDA9 的 development 下 bin 和 libnvvp，并放 v11 前面，但是保存時報 “此環境變量太大”。這個是因為 Patch 變量的值只有 2047 字符大小，解決方法可以修改注冊表，在 Path 里刪除沒用的環境變量和用外邊的變量做一個引入。就是 bin 和 libvvp 都是 CUDA9 下，只需要引入這個就可以節省更多字符占用了。

%CUDA_PATH_V11_4%\bin
%CUDA_PATH_V11_4%\libnvvp

雖然可以保存了，但是想切換 CUDA 版本要再次打開 Path，發現這個彈窗變成了一行，而不是像之前那樣按變量展開。這是因為剛剛為了讓 V9 版本在前面，我把他頂到了最上面，而最頂上如果有變量方式的引入，Path 就會變成一行，我們只需要把一個其他絕對位置的變量放在頂部就可以解決了。

其他

當切換后安裝 tensorflow-gpu 開始訓練時，出現 “Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info”，因為當前顯卡 GTX 750Ti，顯存太小，可以將批次 batch_size 調小解決。