好後悔刷到這款標題黨軟件!

各位盒友好,我是開發者 CerealAxis。多虧了盒友們,Nola Translator 這個項目已經收穫了263顆 Stars ,謝謝大家。很久沒有發更新動態了,今天來和盒友彙報一下我們最近更新的內容。

趨勢圖

給新來的朋友介紹一下這個標題黨軟件:

  • 希望在深夜學習外語的有實時雙語字幕(中日英韓等100+語言/方言)

  • 希望數據本地處理不外泄

  • 希望什麼卡都能跑(N卡/A卡/I卡/核顯)

  • 希望免費開源快速迭代的軟件

那麼,請往下看

此文章全是乾貨,建議點贊收藏加CY,如果能電一下就更好了嘿嘿嘿woo

以下場景均在一臺16G Intel輕薄本上實機錄製

------

軟件頁面速覽

軟件首頁

懸浮字幕(快速同傳頁)

瀏覽器字幕頁

模型網關頁

模型管理頁

下載進度管理

一、VAD+譯文修訂算法重寫

舊版本的算法寫的不好,會導致實際使用的時候斷句斷的不明白,譯文修訂頻繁。例如:

視頻原句:會議裏外國人......

舊版本:議會里。 國工人……

收到用戶反饋後,我們也積極迭代,目前迭代後的效果如下:

字幕效果預覽

二、更多模型+更多加載器支持

之前有朋友反饋說支持的模型太少,本次更新我們給大家納入了大量不同系列的模型,涵蓋Qwen、HY、Index Translate、MiMo 等本地模型和 阿里雲、MiniMax、谷歌翻譯等大量雲端模型API接口。

ASR模型

翻譯模型

語音合成模型

同時,有大量的朋友反饋推理環境不會安裝、Pytorch不會選版本,不會選模型,在後續版本中,我們已經給大家直接內置好 llama.cpp 和 CrispASR 兩個推理器,支持N/A/I卡用戶。

並且,安裝模型的時候,也會有更清楚的介紹,並根據您的顯存容量,對進行推薦顯示。

模型選擇

如果您覺得軟件中內置的不好,您也可以選擇導入本地模型或自定義API接口

本地導入

自定義模型

三、FireFox 瀏覽器拓展支持

之前盒友們關心的瀏覽器拓展,已經給FireFox補上支持了

FireFox 支持

四、本地網關的支持

有朋友問說欸既然已經能內置ASR/MT/TTS模型了,那能不能說軟件開放接口出來,可以導入沉浸式翻譯的自定義模型中呢?

於是在這個版本,我們已經給大傢伙安排上了

五、新手教程優化

有朋友反應說原來的新手教程有點看不明白,於是我們給優化成了交互式版本,帶着朋友們快速上手這款軟件,媽媽再也不用擔心我不會用了

新手教程

六、新玩意

除了以上常規的優化,我們還在軟件中新增了一個功能,叫工作臺,啥玩意呢?各位盒友請看。

工作臺交互頁面

那有的盒友就疑惑了,你這不是實時翻譯軟件嗎?你給我塞一個Codex進來幹啥?

是這樣的。我相信各位盒友一定有說非實時翻譯的需求,例如:

幫我翻譯這句話爲中文:xxxxxx

截個圖,幫我翻一下:xxx

上傳視頻生成字幕文件?

幫我把文字轉化爲音頻文件?

在當今 Codex 等智能體快速發展的情況下,我認爲以上問題不再需要設計單獨的頁面來實現,可以統一在一個對話框中全部搞定,於是基於 AI-SDK + Assistant UI 組件庫,搭建出了這麼個玩意

由於第一次上手 Agent 從 0-1 的開發,還有很多功能不完善,目前我們已經實現的功能有:

  1. 正常的 LLM模型 模式:

    在模型選擇爲 LLM模型後,即可進入類似 Codex 的正常對話窗口,除了能正常對話外,軟件中已有的 ASR模型、MT模型、TTS模型都會註冊爲工具暴露給 LLM模型 ,讓他可以根據需要綜合調用這些模型的能力。

    LLM模式

    1. ASR 模型 

      模型切換爲 語音識別模型後,就會進入到語音識別模式,您可以在對話框中點擊麥克風錄製一段聲音、上傳音頻文件、甚至是視頻,讓模型提取其中的文字。

      音頻提取

      此功能還在早期階段,後續將支持 SRT等格式的 字幕導出 + 講話者區分 等高階功能。

    2. MT 模型

      模型切換爲 翻譯模型後,您可以上傳截圖或者文字來進行翻譯,支持自動檢測,並可以指定輸出語言。

      翻譯演示

      PS:截圖翻譯僅限 Index 系列模型/API 支持

    3. TTS 模型

      模型切換爲 語音合成模型後,您可以上傳文字讓模型合成音頻。

      音頻合成

---

以上就是本次迭代的主要內容了,其他的主要是修復各種各樣的BUG,例如說非雙聲道設備無法捕獲,樣式錯亂、編碼亂碼等問題,這裏就不在敘述了。

如果盒友們覺得還不錯的話,能點點贊收藏甚至是電一下嗎,謝謝

順便徵集下各位盒友的意見,基本功能搭建的差不多了,各位希望下一個新增的功能是:

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com