本地部署語音合成大模型具有以下幾個重要原因:
在本地部署可以更好地控制數據的訪問和使用,確保敏感信息不會被傳輸到外部服務器,降低數據泄露的風險。例如,企業內部的機密文檔需要轉換為語音時,本地部署能保證這些數據的安全性。
能夠根據特定的需求和場景進行定制化調整和優化。比如,某些行業可能對語音的音色、語速、語調有獨特的要求,本地部署可以更精準地滿足這些特殊需求。
避免了網絡延遲帶來的影響,提供更流暢、實時的語音合成服務。特別是在網絡不穩定的環境中,本地部署能夠保證服務的連續性和穩定性。例如,在一些對實時性要求極高的生產環境中,如自動化控制系統。
長期來看,對于大量的語音合成需求,本地部署可能會節省與云端服務提供商的持續交互所產生的費用。
不受外部服務提供商的政策、技術變更或服務中斷的影響,能夠完全自主地管理和維護語音合成系統。
https://github.com/FunAudioLLM/CosyVoice
web界面
生成的音頻
暫時無法在飛書文檔外展示此內容
本案例部署的環境:
宿主機:Windows11企業版
wsl2安裝Ubuntu,默認Ubuntu系統
提前準備:
步驟:
克隆并安裝
git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
創建python環境并激活
conda create -n cosyvoice python=3.8
conda activate cosyvoice
# pynini is required by WeTextProcessing, use conda to install it as it can be executed on all platform.
conda install -y -c conda-forge pynini==2.1.5
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com
Model download 模型下載
# git模型下載,請確保已安裝git lfs
mkdir -p pretrained_models
git clone https://www.modelscope.cn/iic/CosyVoice-300M.git pretrained_models/CosyVoice-300M
git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git pretrained_models/CosyVoice-300M-SFT
git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git pretrained_models/CosyVoice-300M-Instruct
git clone https://www.modelscope.cn/iic/CosyVoice-ttsfrd.git pretrained_models/CosyVoice-ttsfrd
或者,您可以解壓縮 ttsfrd 資源并安裝 ttsfrd 包以獲得更好的文本規范化性能。
請注意,此步驟不是必需的。如果您不安裝 ttsfrd 包,我們將默認使用 WeTextProcessing。
cd pretrained_models/CosyVoice-ttsfrd/
unzip resource.zip -d .
pip install ttsfrd-0.3.6-cp38-cp38-linux_x86_64.whl
基本用法
對于zero_shot/cross_lingual推理,請使用 CosyVoice-300M 模型。對于SFT推理,請使用CosyVoice-300M-SFT模型。對于指示推理,請使用 CosyVoice-300M-Instruct 模型。首先,將 third_party/Matcha-TTS 添加到您的 PYTHONPATH 中。
export PYTHONPATH=third_party/Matcha-TTS
開始 Web 演示
您可以使用我們的網絡演示頁面來快速熟悉 CosyVoice。我們在 Web 演示中支持 sft/zero_shot/cross_lingual/instruct 推理。
# change iic/CosyVoice-300M-SFT for sft inference, or iic/CosyVoice-300M-Instruct for instruct inference
python3 webui.py --port 50000 --model_dir pretrained_models/CosyVoice-300M
打開瀏覽器,輸入網址:http://localhost:50000/
在輸入合成文本欄,輸入文字,如上:
本地部署語音合成大模型具有以下幾個重要原因:
數據隱私和安全性:
在本地部署可以更好地控制數據的訪問和使用,確保敏感信息不會被傳輸到外部服務器,降低數據泄露的風險。例如,企業內部的機密文檔需要轉換為語音時,本地部署能保證這些數據的安全性。
點擊“生成音頻”,幾秒鐘后,即可成功生成。音頻如下:
如果能正常合成,恭喜你,部署成功了!
歡迎關注、點贊、收藏,后續有更多技巧分享,如克隆聲音、多國語言語言生成等。
算機已經成為了我們生活與工作中不可或缺的工具。從最初的龐然大物,到如今的輕薄便攜,計算機在不斷地進化和升級。但無論形態如何變化,計算機的核心功能始終如一:接收指令,處理數據,并給出結果。那么,問題來了,計算機是如何接收和處理這些指令的呢?換句話說,計算機能直接識別的語言是什么呢?
要回答這個問題,我們首先需要了解計算機的基本工作原理。計算機內部是由大量的邏輯電路組成的,這些電路只能識別兩種狀態:開和關,分別對應數字電路中的1和0。因此,計算機能直接識別的語言必須是由0和1組成的二進制代碼。這種語言,我們稱之為機器語言。
一、機器語言的奧秘
機器語言,顧名思義,就是計算機能夠直接識別和執行的語言。它由二進制代碼組成,每一串二進制代碼都代表一個特定的指令或數據。例如,二進制代碼10011001可能代表一個加法指令,而01001000則可能代表數字7。在計算機內部,這些二進制代碼就像是我們與計算機溝通的橋梁,它們直接決定了計算機的行為。
然而,對于人類來說,機器語言無疑是極其晦澀難懂的。它不僅難以閱讀和理解,而且編寫起來也極為不便。因此,在計算機發展的早期,程序員們通常使用匯編語言來進行編程。匯編語言是一種低級語言,它用助記符代替了機器語言中的二進制代碼,使得編程變得更加直觀和容易。但即便如此,匯編語言仍然需要程序員對計算機的硬件結構有深入的了解。
二、編程語言的出現與發展
為了簡化編程過程,提高編程效率,人們發明了高級編程語言。高級編程語言更接近人類自然語言,易于閱讀和理解,同時也具有強大的表達能力。常見的編程語言如Python、Java、C++等,都是高級編程語言的典型代表。這些語言都有自己的語法和規則,程序員需要按照這些規則來編寫程序。
但是,高級編程語言并不是計算機能直接識別的語言。當程序員用高級語言編寫好程序后,還需要通過編譯器或解釋器將程序翻譯成機器語言,計算機才能真正理解和執行。編譯器的工作方式是將整個程序一次性翻譯成機器語言,生成一個可執行文件;而解釋器則是逐行讀取程序并翻譯成機器語言執行。無論是編譯還是解釋,都是為了將人類的語言轉化為計算機能夠執行的指令。
三、機器語言與編程語言的關系
機器語言和編程語言是計算機領域的兩種重要語言。它們之間的關系可以看作是工具和使用者的關系。機器語言是計算機能夠直接識別和執行的語言,是計算機與程序員之間溝通的基礎;而編程語言則是程序員用來編寫程序的工具,它幫助程序員將思想轉化為計算機能夠理解的指令。
雖然機器語言對于計算機來說是至關重要的,但對于程序員來說卻并不友好。因此,編程語言的出現極大地提高了編程的效率和可讀性。通過編程語言,程序員可以更加直觀地表達自己的想法,而無需關心底層的機器語言細節。同時,隨著編程語言的不斷發展,越來越多的功能被封裝成庫和框架,使得程序員能夠更加專注于問題的解決而不是技術的細節。
四、計算機語言的發展趨勢
隨著人工智能和機器學習等技術的快速發展,計算機語言也在不斷地演變和發展。一方面,為了滿足更復雜的計算需求,新的編程語言和工具不斷涌現;另一方面,為了降低編程的難度和提高開發效率,一些高級語言開始向更低級的語言靠攏,試圖在易用性和性能之間找到更好的平衡點。
此外,隨著量子計算機等新型計算設備的出現,未來可能會出現全新的計算機語言。這些語言將能夠更好地適應量子計算機的特性,從而推動計算機科學和技術的發展。
總之,計算機能直接識別的語言是機器語言。這是一種由二進制代碼組成的語言,它直接決定了計算機的行為和功能。然而,對于人類來說,機器語言太過晦澀難懂。因此,我們發明了編程語言來幫助我們編寫程序。編程語言雖然也不是計算機能直接識別的語言,但它卻是我們與計算機溝通的重要橋梁。通過編程語言,我們可以更加方便地編寫程序,讓計算機為我們服務。
在未來,隨著技術的不斷發展和進步,計算機語言將會變得更加豐富和多樣。無論是新的編程語言的出現,還是現有語言的升級和改進,都將為我們提供更多的選擇和可能性。讓我們拭目以待,期待計算機科學的美好未來!
在這個充滿無限可能的時代,計算機科學和技術的發展正以前所未有的速度推進。作為這個時代的見證者和參與者,我們有幸能夠見證計算機語言的演變和發展。讓我們攜手共進,共同探索這個充滿奧秘和魅力的領域吧!
第一個是對個人英雄主義的推崇。美國作為一個移民國家歷來都是推崇個人英雄主義的,在一個陌生的環境里面以一己之力去改變命運。西部片可以算是美國電影的特產,它反映的其實就是個人的英雄主義。我們也可以把超級英雄看作是當代的西部牛仔,他們所強調的都是個人力量對于命運的影響。
·第二個是超級大國身份的象征。美國目前依然是世界上唯一的一個超級大國,超級英雄可以視為是這種身份的具象化。在美國面對恐怖主義的威脅,面對內部的黑暗勢力,面對外星生物的入侵的時候,他們需要用超級英雄來維持自己強大的身份認知。
·第三個是對強國霸權力量的癡迷。我們都知道美國隊長美隊,captain america,他是一個把美國國旗穿在身上的男人。對于美國人而言,美隊意味著什么?他力量強大。