著meta、google相繼開源自己的大模型,越來越多的廠商加入到這場開源行動中。本文介紹如何用ollama開源項目在本地搭建自己的大模型,適合新手嘗鮮。
macOS
https://ollama.com/download/Ollama-darwin.zip
Windows
https://ollama.com/download/OllamaSetup.exe
Linux
curl -fsSL https://ollama.com/install.sh | sh
大家根據自己的需要下載即可,國內也可訪問
安裝完成后,執行以下命令即可在本地啟動一個大模型
ollama run llama2
支持的模型有很多,大家可以在這個網站(https://ollama.com/library)所有支持的大模型
注意:至少需要8GB內存來運行70億參數的模型,16GB運行130億參數的模型,32GB運行330億參數的模型
運行llama2模型測試
用中文測試
可以看出來,llama2對中文支持不是很友好,回答錯誤,而且回答中既有中文也有英文。
換成阿里的通義千問試試,運行以下命令
可以看出不同參數的大模型回答也不相同,參數越多的越準確
# 拉取一個大模型
ollama pull llama2
# 刪除一個大模型
ollama rm llama2
# 復制一個大模型
ollama cp llama2 my-llama2
最后說一下下載的大模型文件存放在哪里,大家可以提前規劃硬盤,防止模型下載多了撐爆硬盤
Windows驅動 重要的發展和技術進展:
Windows Display Driver Model(WDDM):微軟引入了WDDM作為新的圖形驅動程序開發模型,支持先進的圖形特性和硬件加速功能,同時提高了窗口管理和多顯示器支持的能力。
驅動程序自動更新:Windows 10引入了驅動程序自動更新功能,使得系統可以自動下載和安裝適用于硬件設備的最新驅動程序版本,以提高系統的兼容性和穩定性。
Universal Windows Driver(UWD):微軟提供了Universal Windows Driver作為新的驅動程序開發模型,支持Windows 10及以上的操作系統版本,同時具有更高的代碼可重用性和跨平臺支持性。
驅動程序商店:Windows 10引入了Windows驅動程序商店,允許硬件制造商將其驅動程序上傳至商店,方便用戶查找和更新驅動程序。
驅動程序治理:為了保證系統的穩定性和安全性,Windows 10引入了驅動程序治理功能,可以對不受信任或有問題的驅動程序進行限制或禁用,以避免系統崩潰或安全漏洞。
驅動程序簽名:為了提高系統的安全性,微軟在Windows Vista引入了驅動程序簽名要求,要求所有的驅動程序都必須經過數字簽名驗證,以確保其來源和完整性。
驅動程序模板:為了簡化驅動程序開發,微軟提供了驅動程序模板,包括內核模式驅動程序、用戶模式驅動程序和WDM驅動程序等,可以快速創建和編譯驅動程序代碼。
驅動程序調試:微軟提供了一系列的驅動程序調試工具,包括WinDbg、Driver Verifier和Kernel Debugger等,可以幫助開發人員檢測和修復驅動程序中的錯誤和漏洞。
驅動程序測試:為了保證驅動程序的質量和穩定性,微軟提供了Windows硬件質量實驗室(HLK)和Windows硬件兼容性應用程序(HCK),可以對驅動程序進行自動化測試和驗證。
驅動程序更新:隨著硬件設備的不斷更新和變化,微軟持續提供驅動程序更新和優化,以提高系統的兼容性和性能。同時,一些硬件制造商也會發布自己的驅動程序更新,以修復問題和提供新的功能。