、介紹

GLM-4-9B 是智譜 AI 推出的最新一代預訓練模型 GLM-4 系列中的開源版本。 在語義、數學、推理、代碼和知識等多方面的數據集測評中， GLM-4-9B 及其人類偏好對齊的版本 GLM-4-9B-Chat 均表現出超越 Llama-3-8B 的卓越性能。除了能進行多輪對話，GLM-4-9B-Chat 還具備網頁瀏覽、代碼執行、自定義工具調用（Function Call）和長文本推理（支持最大 128K 上下文）等高級功能。本代模型增加了多語言支持，支持包括日語，韓語，德語在內的 26 種語言。還推出了支持 1M 上下文長度（約 200 萬中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模態模型 GLM-4V-9B。GLM-4V-9B 具備 1120 * 1120 高分辨率下的中英雙語多輪對話能力，在中英文綜合能力、感知推理、文字識別、圖表理解等多方面多模態評測中，GLM-4V-9B 表現出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

GLM-4 開源模型旨在與開源社區一起推動大模型技術發展，懇請開發者和大家遵守 開源協議 ，勿將開源模型和代碼及基于開源項目產生的衍生物用于任何可能給國家和社會帶來危害的用途以及用于任何未經過安全評估和備案的服務。目前，其項目團隊未基于 GLM-4 開源模型開發任何應用，包括網頁端、安卓、蘋果 iOS 及 Windows App 等應用。

盡管模型在訓練的各個階段都盡力確保數據的合規性和準確性，但由于 GLM-4-9B 模型規模較小，且模型受概率隨機性因素影響，無法保證輸出內容的準確。同時模型的輸出容易被用戶的輸入誤導。

更多詳細信息見 Github 倉庫。

二、部署過程

基礎環境最低要求說明：

1. 更新基礎軟件包

查看系統版本信息

# 查看系統版本信息，包括ID（如ubuntu、centos等）、版本號、名稱、版本號ID等
cat /etc/os-release

配置 apt 國內源

# 更新軟件包列表
apt-get update

這個命令用于更新本地軟件包索引。它會從所有配置的源中檢索最新的軟件包列表信息，但不會安裝或升級任何軟件包。這是安裝新軟件包或進行軟件包升級之前的推薦步驟，因為它確保了您獲取的是最新版本的軟件包。

# 安裝 Vim 編輯器
apt-get install -y vim

這個命令用于安裝 Vim 文本編輯器。-y 選項表示自動回答所有的提示為“是”，這樣在安裝過程中就不需要手動確認。Vim 是一個非常強大的文本編輯器，廣泛用于編程和配置文件的編輯。

為了安全起見，先備份當前的 sources.list 文件之后，再進行修改：

# 備份現有的軟件源列表
cp /etc/apt/sources.list /etc/apt/sources.list.bak

這個命令將當前的 sources.list 文件復制為一個名為 sources.list.bak 的備份文件。這是一個好習慣，因為編輯 sources.list 文件時可能會出錯，導致無法安裝或更新軟件包。有了備份，如果出現問題，您可以輕松地恢復原始的文件。

# 編輯軟件源列表文件
vim /etc/apt/sources.list

這個命令使用 Vim 編輯器打開 sources.list 文件，以便您可以編輯它。這個文件包含了 APT（Advanced Package Tool）用于安裝和更新軟件包的軟件源列表。通過編輯這個文件，您可以添加新的軟件源、更改現有軟件源的優先級或禁用某些軟件源。

在 Vim 中，您可以使用方向鍵來移動光標，i 鍵進入插入模式（可以開始編輯文本），Esc 鍵退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

編輯 sources.list 文件時，請確保您了解自己在做什么，特別是如果您正在添加新的軟件源。錯誤的源可能會導致軟件包安裝失敗或系統安全問題。如果您不確定，最好先搜索并找到可靠的源信息，或者咨詢有經驗的 Linux 用戶。

使用 Vim 編輯器打開 sources.list 文件，復制以下代碼替換 sources.list里面的全部代碼，配置 apt 國內阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

安裝常用軟件和工具

# 更新源列表，輸入以下命令：
apt-get update

# 更新系統軟件包，輸入以下命令：
apt-get upgrade

# 安裝常用軟件和工具，輸入以下命令：
apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出現以下頁面，說明國內apt源已替換成功，且能正常安裝apt軟件和工具

2. 安裝 NVIDIA CUDA Toolkit 12.1

• 下載 CUDA Keyring ：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb

這個命令用于下載 CUDA 的 GPG 密鑰環，它用于驗證 CUDA 軟件包的簽名。這是確保軟件包安全性的一個重要步驟。

• 安裝 CUDA Keyring ：

dpkg -i cuda-keyring_1.0-1_all.deb

使用 dpkg 安裝下載的密鑰環。這是必要的，以便 apt 能夠驗證從 NVIDIA 倉庫下載的軟件包的簽名。

• 刪除舊的 apt 密鑰（如果必要） ：

apt-key del 7fa2af80

這一步可能不是必需的，除非您知道 7fa2af80 是與 CUDA 相關的舊密鑰，并且您想從系統中刪除它以避免混淆。通常情況下，如果您只是安裝 CUDA 并使用 NVIDIA 提供的最新密鑰環，這一步可以跳過。

• 更新 apt 包列表 ：

apt-get update

更新 apt 的軟件包列表，以便包括剛剛通過 cuda-keyring 添加的 NVIDIA 倉庫中的軟件包。

• 安裝 CUDA Toolkit ：

apt-get -y install cuda-toolkit-12-1

出現以下頁面，說明 NVIDIA CUDA Toolkit 12.1 安裝成功

注意：這里可能有一個問題。NVIDIA 官方 Ubuntu 倉庫中可能不包含直接名為 cuda-toolkit-12-1 的包。通常，您會安裝一個名為 cuda 或 cuda-12-1 的元包，它會作為依賴項拉入 CUDA Toolkit 的所有組件。請檢查 NVIDIA 的官方文檔或倉庫，以確認正確的包名。

如果您正在尋找安裝特定版本的 CUDA Toolkit，您可能需要安裝類似 cuda-12-1 的包（如果可用），或者從 NVIDIA 的官方網站下載 CUDA Toolkit 的 .run 安裝程序進行手動安裝。

請確保您查看 NVIDIA 的官方文檔或 Ubuntu 的 NVIDIA CUDA 倉庫以獲取最準確的包名和安裝指令。

• 出現以上情況，需要配置 NVIDIA CUDA Toolkit 12.1 系統環境變量

編輯 ~/.bashrc 文件

# 編輯 ~/.bashrc 文件
vim ~/.bashrc

插入以下環境變量

# 插入以下環境變量
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

激活 ~/.bashrc 文件

# 激活 ~/.bashrc 文件
source ~/.bashrc

查看cuda系統環境變量

which nvcc
nvcc -V

3. 安裝 Miniconda

• 下載 Miniconda 安裝腳本 ：使用 wget 命令從 Anaconda 的官方倉庫下載 Miniconda 的安裝腳本。Miniconda 是一個更小的 Anaconda 發行版，包含了 Anaconda 的核心組件，用于安裝和管理 Python 包。
• 運行 Miniconda 安裝腳本 ：使用 bash 命令運行下載的 Miniconda 安裝腳本。這將啟動 Miniconda 的安裝過程。

# 下載 Miniconda 安裝腳本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 運行 Miniconda 安裝腳本
bash Miniconda3-latest-Linux-x86_64.sh

# 初次安裝需要激活 base 環境
source ~/.bashrc

按下回車鍵（enter）

輸入yes

輸入yes

安裝成功如下圖所示

pip配置清華源加速

# 編輯 /etc/pip.conf 文件
vim  /etc/pip.conf

加入以下代碼

[global]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple

注意事項：

• 請確保您的系統是 Linux x86_64 架構，因為下載的 Miniconda 版本是為該架構設計的。
• 在運行安裝腳本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令給予腳本執行權限。
• 安裝過程中，您將被提示是否同意許可協議，以及是否將 Miniconda 初始化。通常選擇 "yes" 以完成安裝和初始化。
• 安裝完成后，您可以使用 conda 命令來管理 Python 環境和包。
• 如果鏈接無法訪問或解析失敗，可能是因為網絡問題或鏈接本身的問題。請檢查網絡連接，并確保鏈接是最新的和有效的。如果問題依舊，請訪問 Anaconda 的官方網站獲取最新的下載鏈接。

4. 從github 倉庫克隆項目

• 克隆存儲庫：git clone https://github.com/THUDM/GLM-4這個命令使用 git clone 從指定的 GitHub 地址克隆 "GLM-4" 項目，默認情況下 Git 會克隆整個項目的所有提交歷史。
• 切換目錄：cd GLM-4這個命令使用 cd（change directory）命令切換當前工作目錄到剛才克隆的 "GLM-4" 目錄中。這意味著接下來執行的所有命令都是在該項目目錄下執行。

# 克隆 ChatGLM4 項目
git clone https://github.com/THUDM/GLM-4 ChatGLM4

# 切換到克隆的項目目錄中
cd ChatGLM4

出現以上頁面即是克隆項目成功！

請注意，如果 git clone https://github.com/THUDM/GLM-4 這個鏈接不存在或者無效，git clone 命令將不會成功克隆項目，并且會報錯。確保鏈接是有效的，并且您有足夠的權限訪問該存儲庫。

5. 創建虛擬環境

# 創建一個名為 ChatGLM4 的新虛擬環境，并指定 Python 版本為 3.10.8
conda create --name ChatGLM4 python=3.10.8

# 激活新創建的虛擬環境
conda activate ChatGLM4

6. 安裝模型依賴庫

• 切換到項目目錄

# 切換到項目工作目錄
cd /ChatGLM4

• 激活 ChatGLM4 虛擬環境

conda activate ChatGLM4

• 安裝 requirements.txt 依賴

# 在 ChatGLM3 環境中安裝 requirements.txt 依賴
pip install -r requirements.txt

依賴安裝成功如下圖所示：

7. 下載預訓練模型

# 創建一個THUDM文件夾
mkdir -p /ChatGLM4/basic_demo/THUDM

# 遞歸復制 GLM-4 這個整體文件夾到數據盤位置（因為模型有點大，系盤無法存放）
cp -r /ChatGLM4 /root/sj-tmp/

# 切換到 GLM-4 項目的 basic_demo 目錄
cd /root/sj-tmp/ChatGLM4/basic_demo

安裝 modelscope 依賴包

pip install modelscope

創建一個Python下載腳本

vim modelscope_download.py

插入以下下載代碼

# Python 代碼下載模型
from modelscope import snapshot_download
model_dir=snapshot_download('ZhipuAI/glm-4-9b-chat', cache_dir='./', revision='master')

執行 modelscope_download.py 文件進行模型下載

python modelscope_download.py

8. 運行 web_demo_gradio.py 文件

cd /root/sj-tmp/ChatGLM4/basic_demo/
python trans_web_demo.py

出現以上代碼“ModuleNotFoundError: No module named 'peft'”報錯，安裝 peft 依賴包

# 安裝 peft
pip install peft

出現以上報錯，需要修改模型路徑

# 編輯 trans_web_demo.py 文件
vim trans_web_demo.py

替換為

MODEL_PATH=os.environ.get('MODEL_PATH', 'ZhipuAI/glm-4-9b')

出現以上結果，還需要繼續修改 web_demo_gradio.py 文件的IP和端口，才能進入 gradio 頁面

# 編輯 trans_web_demo.py 文件
vim trans_web_demo.py

替換為

demo.launch(server_name="0.0.0.0", server_port=8080, inbrowser=True, share=True)

替換說明：server_name 為IP地址, server_port 為端口號，根據訪問需求進行替換即可

三、網頁演示

出現以下 Gradio 頁面，即是模型已搭建完成。

一、下載和安裝python

1.可以搜索python官網找到官方鏈接點擊進入

2.也可以用以下鏈接點擊進入：https://www.python.org/

3.進入python后把鼠標移到downloads上，然后看到下拉選項，點擊Windows（因為這里是Windows系統所以選擇Windows，你是Mac就選擇Mac）

4.這里全是迭代的歷史版本號，我們選擇最新的版本點擊進入

5.進入后一直滑到最底下，根據自己的電腦是32位或者64位進行下載

6.下載完成后開始安裝，打開下載好的安裝包

①一定要勾選“Add Python to Path”，要不然要手動添加環境變量

②點擊“Customize installation”

7.然后就一直點擊下一步，進入選擇安裝路徑，這里我們最好不要安裝在C盤，你開心就好

8.確認python是否安裝成功：在cmd中輸入“python”指令，出現下圖中的提示，說明python安裝成功

9.如果在cmd中輸入“python”指令后報錯，則說明環境變量配置有誤，這個時候需要手動配置環境變量

10.首先找到python安裝路徑，把路徑拷貝下來，這里我是把python安裝到E盤了，所以我的路徑在E盤

11.在彈出的環境變量窗口中，點擊系統變量下的Path變量,點擊編輯，進入Path頁面

12.然后點擊新建，把python路徑拷貝到里面就完成了

13.這里還要說下，剛才我們只是配置python變量，可以使用python命令了；但是為了后期可以使用pip安裝第三方庫，也需要配置環境變量

14.pip命令在python目錄下的Script目錄當中，同樣的道理，在Path中加上script路徑

15.打開cmd命令框，輸入pip，看到以下內容，說明pip變量配置成功了

二、pycharm下載安裝與使用

1.這是pycharm下載地址：

https://www.jetbrains.com/pycharm/download/#section=windows

2.我們進入pycharm官網會看到下方頁面；professional 表示專業版，community 是社區版，推薦安裝社區版，因為是免費使用的（如果只是做測試，社區版完全夠你使用了）

3.下載好后，點擊安裝，記得修改路徑，我這里是放到E盤了，修改好后點擊Next

4.需要進行一些設置，我這里是全勾選

5.直接點擊Install（或者自己重新起名字）

6.正在安裝

7.安裝結束

三、打開軟件操作

1.在桌面找到圖標雙擊打開

2.導入這個工具以前的配置，選擇否就行，重新配置

3.直接Next

4.直接點擊Start

5.新建或者打開項目進入主頁面（根據自身隨意選擇）

四、pycharm簡單使用

1.創建一個project

所有python代碼最好都放在project下面，方便管理python文件

工具欄：New - New Project

在彈出的面板中（如下圖），選擇工程目錄（不能選擇pycharm的路徑）

2.創建python文件

右鍵工程名（圖中為pycharm_project）- New - python File

3.輸入文件名稱-回車，會自動打開創建的文件

4.編寫并運行python代碼

在編輯區域輸入：print("Hello,world!!")

在空白處右鍵 - Run

運行完成之后，會在頁面最下方，自動顯示控制臺區域（如下圖所示）

那么到這，基本用法也就介紹完畢了。

本文到此也就介紹完畢了。