，大伙有沒有發(fā)現(xiàn)，這兩年的科技趨勢，和以往幾年都不大相同。
AI大模型，成為了科技圈的香餑餑。
用戶需求的日益增長，推動了AI技術(shù)的進化。隨著大語言模型的應(yīng)用場景日益增多，它們開始在我們的生活中扮演著越來越重要的角色。
尤其是休閑娛樂和實際工作中，大語言模型的應(yīng)用變得越來越普遍。這些模型以其自然的語義能力、強大的數(shù)據(jù)處理能力和復(fù)雜任務(wù)的執(zhí)行效率，為用戶提供了前所未有的便利，甚至是以往人們不敢想象的數(shù)字陪伴感。
不過，隨著大語言模型的高速普及下，云端大模型的局限性逐漸顯現(xiàn)出來。
連接緩慢，成本高昂，還有成為熱議話題的數(shù)據(jù)隱私問題，沒有人可以輕易忽視。最重要的是，基于各種制度和倫理道德的云端審核制度，進一步限制了大語言模型的自由。
本地部署，似乎為我們指引了一條新的道路。
隨著本地大模型的呼聲越來越高，今年Github和Huggingface上涌現(xiàn)出不少相關(guān)的項目。在多番研究后，我也順藤摸瓜，拿到了本地部署大模型的簡單方法。
So，本地部署對我們的AI體驗來說，到底是錦上添花，還是史詩級增強？
跟著小雷的腳步，一起來盤盤。
開始前，先說點閑話。
就是咋說呢，可能有些讀者還是沒懂「本地大模型」的意思，也不知道這有啥意義。
總而言之，言而總之。
現(xiàn)階段比較火的大模型應(yīng)用，例如國外的ChatGPT、Midjourney等，還有國內(nèi)的文心一言、科大訊飛、KIWI這些，基本都是依賴云端服務(wù)器實現(xiàn)各種服務(wù)的AI應(yīng)用。
（圖源：文心一言）
它們可以實時更新數(shù)據(jù)，和搜索引擎聯(lián)動整合，不用占用自家電腦資源，把運算過程和負載全部都放在遠端的服務(wù)器上，自己只要享受得到的結(jié)果就可以了。
換句話說，有網(wǎng)，它確實很牛逼。
可一旦斷網(wǎng)，這些依賴云端的AI服務(wù)只能在鍵盤上敲出「GG」。
作為對比，本地大模型，自然是主打在設(shè)備本地實現(xiàn)AI智能化。
除了不用擔心服務(wù)器崩掉帶來的問題，還更有利于保護用戶的隱私。
畢竟大模型運行在自己的電腦上，那么訓(xùn)練數(shù)據(jù)就直接存在電腦里，肯定會比上傳到云端再讓服務(wù)器去計算來得安心一點，更省去了各種倫理道德云端審核的部分。
不過，目前想要在自己的電腦上搭建本地大模型其實并不是一件容易的事情。
較高的設(shè)備要求是原因之一，畢竟本地大模型需要把整個運算過程和負載全部都放在自家的電腦上，不僅會占用你的電腦機能，更會使其長時間在中高負載下運行。
其次嘛……
從Github/Huggingface上琳瑯滿目的項目望去，要達成這一目標，基本都需要有編程經(jīng)驗的，最起碼你要進行很多運行庫安裝后，在控制臺執(zhí)行一些命令行和配置才可以。
別笑，這對基數(shù)龐大的網(wǎng)友來說可真不容易。
那么有沒有什么比較「一鍵式」的，只要設(shè)置運行就可以開始對話的本地應(yīng)用呢？
還真有，Koboldcpp。
簡單介紹一下，Koboldcpp是一個基于GGML/GGUF模型的推理框架，和llama.cpp的底層相同，均采用了純C/C++代碼，無需任何額外依賴庫，甚至可以直接通過CPU來推理運行。
（圖源：PygmalionAI Wiki）
當然，那樣的運行速度會非常緩慢就是了。
要使用Koboldcpp，需要前往Github下載自己所需的應(yīng)用版本。
當然，我也會把相對應(yīng)的度盤鏈接放出來，方便各位自取。
目前Koboldcpp有三個版本。
koboldcpp_cuda12：目前最理想的版本，只要有張GTX 750以上的顯卡就可以用，模型推理速度最快。
koboldcpp_rocm：適用于AMD顯卡的版本，基于AMD ROCm開放式軟件棧，同規(guī)格下推理耗時約為N卡版本的3倍-5倍。
koboldcpp_nocuda：僅用CPU進行推理的版本，功能十分精簡，即便如此同規(guī)格下推理耗時仍為N卡版本的10倍以上。
（圖源：Github）
打開軟件后，首先可以關(guān)注一下Presets選項。
軟件首頁的Presets里，分為舊版N卡、新版N卡、A卡、英特爾顯卡等多種不同模式的選擇。
默認情況下，不設(shè)置任何參數(shù)啟動將僅使用CPU的OpenBLAS進行快速處理和推理，運行速度肯定是很慢的。
作為N卡用戶，我選用CuBLAS，該功能僅適用于Nvidia GPU，可以看到我的筆記本顯卡已經(jīng)被識別了出來。
（圖源：雷科技）
對于沒有Intel顯卡的用戶，可以使用CLblast，這是OPENCL推出的、可用于生產(chǎn)環(huán)境的開源計算庫，其最大的特征是更強調(diào)通用性，至于性能方面本人并沒有做過詳細測試。
另一個需要在主頁調(diào)節(jié)的部分是Context Size。
想要獲得更好的上下文體驗，最好將其調(diào)整至4096，當然Size越大，能記住的上下文就越多，但是推理的速度也會受到顯著影響。
（圖源：雷科技）
再往下，就是載入大模型的部分。
目前開源大模型主要都在huggingface.co下載，沒有出海能力的話，也可以在國內(nèi)HF-Mirror鏡像站或是modelscope魔搭社區(qū)下載。
結(jié)合個人實際體驗，我推薦兩款不錯的本地大模型：
CausalLM-7B
這是一款在LLaMA2的基礎(chǔ)上，基于Qwen 的模型權(quán)重訓(xùn)練的本地大模型，其最大的特征就是原生支持中文，顯卡內(nèi)存8G以下的用戶建議下載CausalLM-7B，8G以上的可以下載CausalLM-14B，效果更好。
（圖源：modelscope）
MythoMax-L2-13B
原生語言為英語的大模型，特征是擁有較強的文學性，可以在要求下撰寫出流暢且具有閱讀性的小說文本，缺點是只能通過輸入英語來獲得理想的輸出內(nèi)容，建議普通消費者使用MythoMax-L2-13B。
如果只是想使用大語言模型的話，其他部分不需要做調(diào)整，直接點擊啟動，你選擇的模型就可以在本地加載好了。
一般來說，接下來你還得給大模型部署前端才能使用。
不過Koboldcpp最大的特點，就是在llama.cpp的基礎(chǔ)上，添加了一個多功能的Kobold API端口。
這個端口，不僅提供了額外的格式支持、穩(wěn)定的擴散圖像生成、不錯的向后兼容性，甚至還有一個具有持久故事、編輯工具、保存格式、內(nèi)存、世界信息、作者注釋、人物、場景自定義功能的簡化前端——Kobold Lite。
大致上，界面就像這樣。
（圖源：雷科技）
功能也很簡單。
人工智能、新會話就不用說了，點擊上方的「場景」，就可以快速啟動一個新的對話場景，或是加載對應(yīng)角色卡。
（圖源：雷科技）
像這樣，加載你擁有的AI對話情景。
「保存/加載」也很一目了然，可以把你當前的對話保存下來，隨時都能加載并繼續(xù)。
在「設(shè)置」中，你可以調(diào)節(jié)一些AI對話的選項。
（圖源：雷科技）
其中，Temperature. 代表著對話的隨機性，數(shù)值越高，生成的對話也就會越不可控，甚至可能超出角色設(shè)定的范圍。
Repetition Penalty. 可以抑制對話的重復(fù)性，讓AI減少重復(fù)的發(fā)言。
Amount to Gen.是生成的對話長度上限，上限越長，所需時間也會更長，重點是在實際體驗中，過高的生成上限會導(dǎo)致AI胡言亂語，個人并不建議把這個值拉到240以上。
Max Ctx. Tokens. 是能給大模型反饋的關(guān)鍵詞上限，數(shù)據(jù)越高，前后文關(guān)系越緊密，生成速度也會隨之變慢。
完成設(shè)置后，就可以和todd howard來場酣暢淋漓的對話了。
（圖源：雷科技）
聊不下去了？
點擊左下角的聊天工具，可以讓大模型根據(jù)你的前文自動生成答復(fù)來推進對話。
（圖源：雷科技）
回答錯了，或是對話走向不如人意？
點擊右下角的聊天工具，不僅可以讓你重復(fù)生成AI問答，甚至還能自己出手編輯回復(fù)以確保對話走向不跑偏。
當然，除了對話以外，Kobold Lite還有更多可能性。
你可以將它和AI語音、AI繪圖的端口連接在一起，這樣在對話的同時，可以自動調(diào)用AI語言為生成的文本進行配音，也可以隨時調(diào)用AI繪圖來畫出當前二人交談的場景。
在此之上，你甚至可以使用更高階的SillyTarven前端，來實現(xiàn)GIF、HTML內(nèi)容在對話中的植入。
當然這些，都是后話了。
好，部署本地大模型的教程就到這了。
文章里面提到的軟件和大模型，我都已經(jīng)傳到百度網(wǎng)盤里了，感興趣的讀者可以自取。
就我這大半年的體驗來看，目前本地大模型的特征還是「可玩性強」。
只要你的配置足夠，你完全可以把大語言模型、AI語音、AI繪圖和2D數(shù)字人連接在一起，搭建起屬于自己的本地數(shù)字人，看著在屏幕中栩栩如生的AI角色，多少讓人有種《serial experiments lain》那樣的恍惚感。
不過這類開源大模型，通常數(shù)據(jù)都會比較滯后，因此在專業(yè)性知識上會有比較明顯的欠缺，實測大部分知識庫都是到2022年中旬為止，也沒有任何調(diào)用外部網(wǎng)絡(luò)資源的辦法，輔助辦公、查閱資料時會遇到很大的局限性。
在我看來，理想的大語言模型體驗應(yīng)該是端云互動的。
即我可以在本地，利用自己的大模型建立自己的知識庫，但是需要用到時效性信息的時候，又能借助互聯(lián)網(wǎng)的力量獲取最新資訊，這樣既可以保護個人資料的隱私性，也算是有效解決了開源大模型信息滯后的問題。
至于本地角色交流這塊，如果大家感興趣的話……
要不，我把雷科技的角色卡給整出來？
2024年5月20日-6月30日，618年中大促來襲，淘寶天貓、京東、拼多多、抖音、快手、小紅書六大電商平臺集體“聽勸”，取消預(yù)售、瘋狂殺價！
手機數(shù)碼、AI PC、智能家電、電視、小家電、空冰洗等熱門AI硬科技品類摩拳擦掌，戰(zhàn)況激烈。
雷科技618報道團將全程關(guān)注電商平臺最新戰(zhàn)況，AI硬科技品牌最新動態(tài)，電商行業(yè)全新趨勢，敬請關(guān)注，一起期待。
州園林甲天下，咫尺之內(nèi)造乾坤！《夢幻西游》電腦版X蘇州市園林局系列聯(lián)動活動“瑤池仙境·蘇州園林”將于2024年7月16日12:00在全服開放。
圖紙下載鏈接：https://xyq.163.com/ty/szyl/
水墨仙境，國風園林
蘇州園林，始于春秋，盛于明清，自古至今都是詩意江南的代表。今夏，少俠們可前往寶象國（66,12）瑤池仙子處購買“瑤池仙境·蘇州園林”系列禮盒，享寫意仙境，品江南盛景！
T之家 8 月 15 日消息，樹莓派玩家再次展現(xiàn)出驚人的創(chuàng)造力，繼有人成功復(fù)刻初代 PlayStation 之后，一位名為 Salim Benbouziyane 的愛好者又打造了一臺“迷你戴爾”電腦，并運行采用 Windows XP 主題的操作系統(tǒng)。
IT之家注意到，這個迷你 PC 的制作過程并不簡單。Salim 首先使用 3D 打印技術(shù)制作了電腦的外殼，并進行了細致的打磨和噴漆。隨后，他將樹莓派 4、4 英寸屏幕等組件組裝起來，并巧妙地加入了縮小版的“Intel Inside”貼紙，完美還原了老式電腦的經(jīng)典元素。
操作系統(tǒng)方面，雖然界面酷似 Windows XP，但實際上運行的是采用 XP 主題的 Twister OS。雖然并非完全復(fù)刻，但已經(jīng)能夠很好地呈現(xiàn)出 2000 年代的視覺風格。最終成品不僅外觀逼真，而且還能通過鼠標和鍵盤進行操作，令人贊嘆。
Salim 已經(jīng)在 Instructables 上分享了詳細的制作教程，包括所需材料和步驟，感興趣的朋友可以嘗試動手制作。