自towardsdatascience

作者：Dipanjan (DJ) Sarkar

機(jī)器之心編譯

參與：李詩萌、Chita

深度學(xué)習(xí)好處多多，但構(gòu)建起來卻有些令人痛苦。為此，本文提供了一份詳盡的教程來教你快速構(gòu)建自己的深度學(xué)習(xí)環(huán)境。不僅教你利用現(xiàn)有資源快速搭建深度學(xué)習(xí)模型，還一步步列出了如何通過云平臺(tái)搭建自己的深度學(xué)習(xí)環(huán)境。

引言

多虧了更快更好的計(jì)算，我們終于能利用神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)真正的力量了，這都得益于更快更好的 CPU 和 GPU。無論我們喜不喜歡，傳統(tǒng)的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)模型在處理高維的、非結(jié)構(gòu)化數(shù)據(jù)、更復(fù)雜和大量數(shù)據(jù)的問題上存在很大的局限性。

深度學(xué)習(xí)的好處在于，在構(gòu)建解決方案時(shí)，我們有更好的計(jì)算力、更多數(shù)據(jù)和各種易于使用的開源框架，比如 keras、TensorFlow 以及 PyTorch。

深度學(xué)習(xí)的壞處是什么呢？從頭開始構(gòu)建你自己的深度學(xué)習(xí)環(huán)境是很痛苦的事，尤其是當(dāng)你迫不及待要開始寫代碼和實(shí)現(xiàn)自己的深度學(xué)習(xí)模型的時(shí)候。

這個(gè)痛苦的過程我經(jīng)歷了好幾次，也在這個(gè)過程中發(fā)現(xiàn)了更易于使用的服務(wù)，本文旨在教你改進(jìn)自己設(shè)置的深度學(xué)習(xí)模型中不那么令人滿意的部分，以便你可以更快更好地建立自己的深度學(xué)習(xí)模型并解決問題。本文涵蓋了以下幾個(gè)方面：

• 最小化配置基于云的深度學(xué)習(xí)環(huán)境
• 建立你自己的基于云的深度學(xué)習(xí)環(huán)境
• 本地部署提示

配置基于云的深度學(xué)習(xí)環(huán)境

如果你不想用專用硬件搭建深度學(xué)習(xí)模型，或者你想跳過那些煩人的配置和設(shè)置命令，這里有一些選擇！使用預(yù)配置的基于云的深度學(xué)習(xí)環(huán)境是最好的選擇。通常，有一些常用的基于云端的深度學(xué)習(xí)服務(wù)器供應(yīng)商。下面的幾個(gè)只需要很少的設(shè)置和配置，就可以讓你馬上開始工作。不過，這個(gè)列表并不全面，基本都是我用過或者從別人那聽過的：

• Google Colaboratory：https://colab.research.google.com/
• Paperspace Gradient°：https://www.paperspace.com/gradient
• FloydHub Workspace：https://www.floydhub.com/product/build
• Lambda GPU Cloud：https://lambdalabs.com/service/gpu-cloud
• AWS Deep Learning AMIs：https://aws.amazon.com/machine-learning/amis/
• GCP Deep Learning VM Images：https://cloud.google.com/deep-learning-vm

Google Colaboratory

也許谷歌是最好的選擇之一，而且它（仍然）免費(fèi)，它可以讓你在 GPU 甚至是 TPU 支持的深度學(xué)習(xí)環(huán)境中運(yùn)行交互式 Jupyter notebook。谷歌一直在積極使用和推廣它在各個(gè)領(lǐng)域的應(yīng)用，包括其極受歡迎的機(jī)器學(xué)習(xí)速成課程（Machine learning Crash Course）。簡(jiǎn)言之，Colaboratory 是免費(fèi)的 Jupyter notebook 環(huán)境，它不需要任何設(shè)置，甚至能夠讓你免費(fèi)用 GPU 運(yùn)行深度學(xué)習(xí)模型。

現(xiàn)在，對(duì)于工作負(fù)載和數(shù)據(jù)量較小的相對(duì)簡(jiǎn)單的模型來說，使用 CPU 就可以了，但在解決更復(fù)雜的問題時(shí)你肯定需要使用 GPU。在 Google Colab 中改變運(yùn)行時(shí)來使用 GPU 只需要幾秒，如下圖所示：

然后 Google Colab 會(huì)給你分配一個(gè)新的GPU用于深度學(xué)習(xí)，你可以通過以下代碼查看 GPU 類型：

你可以免費(fèi)使用有 12 GB 內(nèi)存的 Tesla K80 GPU了！同樣的配置，AWS 的 p2.xlarge 每小時(shí)收費(fèi) 0.9 美元。太棒了！

這應(yīng)該可以幫你在 Google Colab 上嘗試運(yùn)行自己的深度學(xué)習(xí)模型。你在用 Colab 時(shí)，可以隨意用我的 colab notebook來測(cè)試CPU 和 GPU支持的深度學(xué)習(xí)環(huán)境。

Paperspace Gradient°

Gradient° 是 Paperspace 的產(chǎn)品，該公司重點(diǎn)關(guān)注的是機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的基礎(chǔ)設(shè)施。它為開發(fā)人員提供了一套用于在 GPU 上探索數(shù)據(jù)、訓(xùn)練深度學(xué)習(xí)模型以及運(yùn)行計(jì)算工作的完整工具。Gradient° 包括1-click jupyter notebook，該notebook支持 Paperspace GPU 云端所有功能。

如果你用 GPU 的話確實(shí)需要按小時(shí)付費(fèi)，但其價(jià)格與其他服務(wù)器供應(yīng)商相比極具競(jìng)爭(zhēng)力——Quadro P4000 每小時(shí)收費(fèi) 0.5$，Tesla K80 每小時(shí)收費(fèi) 0.59$。而這些和 AWS 的同類產(chǎn)品相比也更便宜一些。

FloydHub Workspace

FloydHub 有一個(gè)有趣的產(chǎn)品——FloydHub Workspace，它為基于云端的深度學(xué)習(xí)提供了完全配置的開發(fā)環(huán)境。優(yōu)勢(shì)？雖然它不是免費(fèi)的，但你可以從 CPU 后端無縫切換到 GPU 后端，而且你可以根據(jù)所使用的處理器按秒付費(fèi)。

他們的價(jià)格也很值得考慮。12 GB 內(nèi)存、61 GB RAM 和 200 GB SSD 的 Tesla K80，使用 10 小時(shí)的費(fèi)用為 12$，這是最便宜的選擇。

Lambda GPU Cloud

Lambda Labs（Lambda） 是一家 AI 基礎(chǔ)設(shè)施公司，他們提供了可以加速人類進(jìn)步的計(jì)算力。他們關(guān)注的重點(diǎn)是深度學(xué)習(xí)工作站，最近推出了 Lambda GPU Cloud，但它尚處于封閉測(cè)試階段。每個(gè) Lambda GPU Cloud 都有 4 個(gè) GPU，比 AWS 的 p2.8xlarge 快 2 倍。他們聲稱，你只需要簡(jiǎn)單地按一下按鈕，就可以立即通過 SSH 遠(yuǎn)程訪問該云GPU。每個(gè) GPU 每小時(shí)收費(fèi) 0.9$。

AWS Deep Learning AMIS

AMS（Amazon Web Services）是亞馬遜的子公司，他們根據(jù)用戶需要提供付費(fèi)訂閱的云計(jì)算平臺(tái)。近期，他們推出了深度學(xué)習(xí) AMI（Amazon Machine Images），專門用于構(gòu)建深度學(xué)習(xí)模型的GPU 密集型工作負(fù)載。AWS Deep Learning AMI 給我們提供了必要的基礎(chǔ)架構(gòu)和預(yù)配置的工具與框架，可以大規(guī)模加速云端的深度學(xué)習(xí)。它預(yù)先配置了所有最新和最好的深度學(xué)習(xí)框架。

如果選擇用 AWS 那你要謹(jǐn)慎一點(diǎn)，因?yàn)樗前葱r(shí)收費(fèi)的。最便宜的選擇是 p2.xlarge，它提供了 12 GB 的GPU，每小時(shí)收費(fèi)為 0.9$。

GCP Deep Learning VM Images

GCP（Google Cloud Platform）提供了一整套云計(jì)算服務(wù)，包括運(yùn)行深度學(xué)習(xí)模型和工作負(fù)載的基礎(chǔ)設(shè)施。最棒的是，它是在谷歌內(nèi)部用于終端用戶產(chǎn)品的相同基礎(chǔ)設(shè)施上運(yùn)行的。你注冊(cè)的話，GCP會(huì)在第一年給你提供價(jià)值 300$ 的免費(fèi)積分，這簡(jiǎn)直太酷了！

Google Cloud Deep Learning VM Images 可以讓開發(fā)人員在谷歌計(jì)算引擎（Google Compute Engine）上實(shí)例化包含流行深度學(xué)習(xí)和機(jī)器學(xué)習(xí)框架的 VM 圖像。你可以使用預(yù)先安裝了流行 ML 框架（如 TensorFlow、PyTorch 或 scikit-learn 等）的計(jì)算引擎。最棒的是，你可以一鍵添加云端 TPU 和 GPU 支持。和 AWS 相比，它的價(jià)格也非常有競(jìng)爭(zhēng)優(yōu)勢(shì)。用 GCP VM 的話，每小時(shí)僅需 0.45$就可以使用 12 GB 的 Tesla K80 GPU。

上述內(nèi)容可以讓你充分了解潛在選項(xiàng)，以最少的配置和設(shè)置開啟深度學(xué)習(xí)之旅。

建立基于云端的深度學(xué)習(xí)環(huán)境

盡管在云端預(yù)配置的設(shè)置很好用，但有時(shí)候你可能會(huì)想構(gòu)建自定義的基于云端或者是本地的深度學(xué)習(xí)環(huán)境。在本節(jié)中，我們將研究該如何通過常用的云平臺(tái)服務(wù)供應(yīng)商在云端搭建自己的深度學(xué)習(xí)環(huán)境。主要包括以下幾步：

• 選擇云供應(yīng)商
• 創(chuàng)建虛擬服務(wù)器
• 配置虛擬服務(wù)器
• 設(shè)置深度學(xué)習(xí)環(huán)境
• 使用深度學(xué)習(xí)環(huán)境
• 驗(yàn)證 GPU 的使用

現(xiàn)在我們來介紹如何設(shè)置基于云的深度學(xué)習(xí)環(huán)境。

選擇云供應(yīng)商

現(xiàn)在有很多配置不錯(cuò)且價(jià)格低廉的云供應(yīng)商。我們可以利用 PaaS（Platform as a Service，平臺(tái)即服務(wù)）能力，做一些管理數(shù)據(jù)、應(yīng)用程序以及基本配置的工作，還可以用 GPU 計(jì)算來進(jìn)行深度學(xué)習(xí)。常用的供應(yīng)商包括亞馬遜的 AWS、微軟的 Azure 和谷歌的 GCP。

創(chuàng)建虛擬服務(wù)器

選擇云服務(wù)供應(yīng)商之后，就要?jiǎng)?chuàng)建自己的虛擬機(jī)了，它基本上就是托管代碼、數(shù)據(jù)以及配置設(shè)置的服務(wù)器。創(chuàng)建虛擬機(jī)的步驟取決于你所選擇的云供應(yīng)商。

在我寫的《Hands-on Transfer Learning with Python》第二章中詳細(xì)介紹了如何在 AWS 上創(chuàng)建和實(shí)例化自己的虛擬機(jī)。完整的代碼庫是開源的，如果你感興趣的話，可以在 GitHub 庫中查看更多細(xì)節(jié)：https://github.com/dipanjanS/hands-on-transfer-learning-with-python。

配置虛擬服務(wù)器

創(chuàng)建虛擬機(jī)后，你就可以在云供應(yīng)商的平臺(tái)上啟動(dòng)實(shí)例了。在 AWS 上一般是 EC2 用戶界面，在 GCP 中一般是虛擬機(jī)的頁面。現(xiàn)在你需要個(gè)人秘鑰才能從本地終端使用 SSH 登錄服務(wù)器。一般而言，AWS 在創(chuàng)建虛擬機(jī)的最后一步才讓你設(shè)置密碼，并給你提供可下載的個(gè)人秘鑰。GCP 允許你用 SSH 通過 GCP 頁面直接登錄系統(tǒng)。如果需要的話，你可以根據(jù)這篇指南創(chuàng)建SSH 密碼：https://cloud.google.com/compute/docs/instances/adding-removing-ssh-keys。

將你的 SSH 密碼保存在安全的地方，用下列命令從終端登錄服務(wù)器：

恭喜！你現(xiàn)在已經(jīng)成功登入了自己的深度學(xué)習(xí)服務(wù)器。以下是關(guān)于深度學(xué)習(xí)設(shè)置方面的內(nèi)容，前提是你在用 Linux 服務(wù)器。我們的 Linux 發(fā)行版是 Ubuntu 18.10。你可以根據(jù)自己的喜好自由選擇操作系統(tǒng)。

由于我們?cè)谠驮O(shè)計(jì)和開發(fā)時(shí)廣泛地使用了 Jupyter notebook，因此要為筆記本服務(wù)器設(shè)置密碼，這樣即便有人以某種方式得到了你的公共 IP 地址，他也無法使用你的 Jupyter notebook。如果你不想設(shè)置密碼，你可以先跳過本節(jié)中密碼設(shè)置的步驟。這里首先要用 Open SSL 創(chuàng)建新的 SSL 證書。

如果系統(tǒng)中沒有安裝 Python，我們建議你使用 Anaconda 發(fā)行版，它的package管理系統(tǒng)很強(qiáng)大，而且還有一整套預(yù)安裝的庫。我們建議按照官方指南安裝 Anaconda 的 Python 發(fā)行版：https://docs.anaconda.com/anaconda/install/linux/。

為了防止配置文件不存在，要為 Jupyter notebook 服務(wù)器生成配置文件。一般而言，文件在你的主目錄中：~/.jupyter/jupyter_notebook_config.py，如果該文件不存在，你可以用下列命令創(chuàng)建一個(gè)：

為了確保筆記本基于密碼的安全性，我們首先要生成密碼及其哈希碼。可以在 Ipython.lib 中用 passwd() 函數(shù)實(shí)現(xiàn)，如下所示：

輸入密碼并驗(yàn)證后，函數(shù)會(huì)返回一個(gè)哈希值，這是你密碼的哈希值（本例中，我輸入的密碼實(shí)際上就是單詞「password」，你絕對(duì)不要用！）。將這個(gè)哈希值復(fù)制并保存下來，我們很快就會(huì)用到。接下來，啟動(dòng)你常用的文本編輯器來編輯 Jupyter 的配置文件，如下圖所示：

我們現(xiàn)在準(zhǔn)備設(shè)置自己的深度學(xué)習(xí)環(huán)境了。

設(shè)置深度學(xué)習(xí)環(huán)境

我們現(xiàn)在要開始設(shè)置深度學(xué)習(xí)環(huán)境所需的必要配置，以便開始使用 GPU。如果你的實(shí)例中已經(jīng)配置了 CUDA 和 cuDNN，可以根據(jù)需要跳過下面的步驟。

1. 安裝圖形驅(qū)動(dòng)

首先要確定你已經(jīng)為 GPU 安裝了圖形驅(qū)動(dòng)。假設(shè)你用的是英偉達(dá)的 GPU。測(cè)試你是否安裝了驅(qū)動(dòng)的最好方法是在終端運(yùn)行 nvidia-smi 命令。如果命令不起作用，我們就要安裝 GPU 驅(qū)動(dòng)。

2. 安裝 CUDA

NVIDIA? CUDA? Toolkit 基本上就是一個(gè)創(chuàng)建能最大程度利用英偉達(dá) GPU 的應(yīng)用和程序的開發(fā)環(huán)境。GPU 加速的 CUDA 庫支持跨多個(gè)域的嵌入式加速，包括線性代數(shù)、圖像和視頻處理、深度學(xué)習(xí)以及圖形分析。假設(shè)我們用的是基于 Ubuntu 的系統(tǒng)，你可以查閱英偉達(dá) CUDA 的官方文檔并下載必要的安裝文件。在撰寫本文時(shí)，CUDA 10 已經(jīng)發(fā)布了，但是它還太新。因此我們用的是舊版的 CUDA 9.0，你可以從歷史版本的發(fā)布頁面獲取該版本。如果你在服務(wù)器上，最好用終端直接下載安裝文件，并用下面的命令配置 CUDA：

3. 安裝 cuDNN

英偉達(dá) CUDA? 深度神經(jīng)網(wǎng)絡(luò)庫（cuDNN）是用于深度神經(jīng)網(wǎng)絡(luò)GPU 加速的原語庫。cuDNN 庫為神經(jīng)網(wǎng)絡(luò)中的標(biāo)準(zhǔn)例程提供了高度優(yōu)化的實(shí)現(xiàn)，包括正向和反向卷積、池化、歸一化和激活層。深度學(xué)習(xí)從業(yè)者可以依賴 cuDNN 加速在 GPU 上廣泛使用的深度學(xué)習(xí)框架。你可以從官方網(wǎng)站下載 cuDNN，但你先要注冊(cè)一個(gè)英偉達(dá)的賬號(hào)。之后你會(huì)得到下載 cuDNN 的鏈接，然后你可以在服務(wù)器上通過這個(gè)鏈接直接在終端上下載：

一般而言，這能解決 GPU 設(shè)置所需的大部分依賴。

4. 安裝深度學(xué)習(xí)框架

如果還沒有安裝深度學(xué)習(xí)框架，我們可以安裝和設(shè)置 Python 深度學(xué)習(xí)框架。我們用得比較多的是 keras 和 tensorflow，下面的命令可以幫助我們?cè)谧约旱纳疃葘W(xué)習(xí)環(huán)境上安裝它們：

訪問深度學(xué)習(xí)云端環(huán)境

我們并不想一直在服務(wù)器的終端上寫代碼。因此我們想用 Jupyter Notebook 進(jìn)行交互式開發(fā)，所以我們要通過本地系統(tǒng)訪問在云服務(wù)器上的 Notebook。首先，要啟動(dòng)遠(yuǎn)程實(shí)例上的 Jupyter Notebook：

現(xiàn)在，如果你給實(shí)例分配了公共 IP，而且公開了 8888 端口，你可以直接輸入 http://:8888，然后就可以通過本地瀏覽器訪問在云端虛擬機(jī)中的 Jupyter 服務(wù)器了！

還有另一個(gè)選擇，尤其是對(duì) AWS 實(shí)例來說，那就是在本地實(shí)例上用端口轉(zhuǎn)發(fā)，通過本地機(jī)器的瀏覽器來訪問云端服務(wù)器的筆記本。這也稱為 SSH 隧道（tunneling）。

如果用的是端口轉(zhuǎn)發(fā)，轉(zhuǎn)到本地瀏覽器并導(dǎo)航到本地主機(jī)地址，例如 https://localhost:8890，我們將轉(zhuǎn)到虛擬服務(wù)器的遠(yuǎn)程筆記本服務(wù)器。確保地址中用的是 https，否則會(huì)觸發(fā) SSL 錯(cuò)誤。

驗(yàn)證 GPU 的使用

最后一步是確保一切都在正常運(yùn)行，確保我們的深度學(xué)習(xí)框架在使用 GPU（我們是按小時(shí)付費(fèi)的！）。下面的代碼可以幫助我們驗(yàn)證這一點(diǎn)。

本地部署的安裝提示

有些用戶或組織可能不想用云端服務(wù)，特別是在他們的數(shù)據(jù)比較敏感的情況下，因此他們關(guān)注更多的是搭建本地部署的深度學(xué)習(xí)環(huán)境。這里主要介紹如何投資適當(dāng)?shù)挠布蛙浖詫?shí)現(xiàn)性能最大化，并利用合適的 GPU 搭建深度學(xué)習(xí)模型。關(guān)于硬件，特別需要注意的是：

• 處理器：你可以用 i5 或 i7 的 Intel CPU，如果你想奢侈一下那也可以買 Intel Xeon！
• RAM：就內(nèi)存而言，你至少要用 32 GB 的 DDR4或 DDR5，更好的 RAM 也可以。
• 硬盤：1 TB 的硬盤就很好了，如果想快速訪問數(shù)據(jù)的話，至少也要 128 GB 或者 256 GB！
• GPU：這可能是深度學(xué)習(xí)中最重要的組件了。建議你買英偉達(dá)的 GPU，至少要是 8 GB 的 GTX 1070。

當(dāng)然，其他元件你也不應(yīng)該忽視，包括主板、電源、堅(jiān)固的外殼以及冷卻器等。配好硬件設(shè)施后，對(duì)于軟件配置，你可以重復(fù)上面的所有步驟，除了云端設(shè)置。現(xiàn)在，你應(yīng)該可以開始了！

總結(jié)

本文旨在幫助開發(fā)人員、工程師以及深度學(xué)習(xí)從業(yè)者從零開始快速部署深度學(xué)習(xí)環(huán)境。希望本文可以幫你節(jié)省精力，不必絞盡腦汁花數(shù)小時(shí)閱讀論壇和 Stack Overflow中無數(shù)關(guān)于設(shè)置深度學(xué)習(xí)環(huán)境的文章，就能建立自己的深度學(xué)習(xí)環(huán)境。現(xiàn)在走出去，開始「深度學(xué)習(xí)」吧！