非常感謝你點進來
接下來我將介紹一款桌面端"同聲傳譯"軟件.
如果你也有以下需求:
玩遊戲時 跟老外無障礙交流
看油管等"生肉"視頻時有 實時雙語字幕
開國際會議或者微信等語音視頻時,想要口語無障礙交流
面試時需要AI輔助
想要個性化定製打造自己的軟件
可以接着往下看.
此文章全是乾貨,建議先收藏再觀看
---
首先,大概進行一下軟件界面介紹
軟件介紹可能會些許枯燥,不想看可以先跳過,先看後面的具體使用場景.
可以看到,當軟件打開時,會呈現一個字幕窗口,十分簡潔,你可以自定義背景/文字的顏色以及透明度.
當鼠標懸浮到字幕窗口時,將會展示功能區.
先來看下第一行,
你可以隨意選擇聲音來源,可以是你電腦上現在打開的任意應用.
選擇目標語言(可以設置爲"自動",將自動識別)以及想要翻譯出的語言
打開"原文"按鈕,將會捕獲目標應用的聲音,轉錄出文字展現在字幕上
打開"譯文"按鈕,將會將轉錄出的文字翻譯爲你設置的語言
打開"朗讀"按鈕,將會朗讀翻譯出的文字
右側幾個功能按鈕分別爲"界面語言切換"/"歷史記錄面板"/"設置面板"
當打開"原文"按鈕後,將會顯示出"雙向通話"按鈕,點擊後纔會出現第二行.
在第二行中,可以選擇你的麥克風設備,你說的語言,以及你想要轉換爲的語言.
你可以選擇輸出設備,來測試自己的聲音是否正常轉換爲你想要翻譯出的語言.
你可以切換對方是聽到你的原聲,還是聽到你想要讓對方聽到的已翻譯語言.
OK,介紹完畢,就這麼簡單
那麼,這些功能有什麼用呢?
------------
一.看視頻實時獲取 雙語字幕 + 朗讀
配合軟件內置的瀏覽器擴展插件,可以實現字幕實時獲取與翻譯.
當然,也可以點擊朗讀,比如我截圖這個視頻,可以實現毫秒級"同聲傳譯",如果將朗讀語音設置爲中文,將實時聽到用中文語音,延遲在200ms內.
這裏無法放置視頻,可以自己嘗試
如果無法獲取到字幕,則可以選擇獲取瀏覽器聲音,進行實時語音轉寫/翻譯.
不過延遲將會達到1~2秒.(人類頂尖同聲傳譯的延遲通常在 3 到 7 秒 之間)
二.使用zoom或騰訊會議等軟件進行 開會/面試
1⃣開會
在首次打開"通話同傳時",將會有設置嚮導,指導你安裝虛擬聲卡.
麥克風的輸出默認將會輸出到虛擬聲卡,只需要將你的會議設備麥克風改爲虛擬聲卡的輸出即可.
這裏以zoom舉例,其他軟件都是相同的操作.
這就實現了延遲大概1~2秒的"同聲傳譯"效果,
對方說話,你聽到的是中文語音
你說話,對方聽到的是英文語音.
當然,你也可以查看字幕上的對話內容.
2⃣面試
本軟件秉承着"一切皆插件"的核心思想.
那麼,開會時既然有了已轉錄出來的對話內容,可以如何利用呢?
於是,我寫了個AI助手"插件".
只需要在面試過程中，按下Alt + Q,即可將你自定義幾輪會話發送給AI，根據你自定義的提示詞，爲你輔助面試。
此面板可以防錄屏，就算是你開着屏幕共享，他也不會被錄製進去。截圖也無法獲取，可以放心使用。
此插件當前可適配市面上大部分AI模型，只需要自己填入API KEY即可。
當然，此插件僅爲“拋磚引玉”，你有任何想法，都可以自己開發適配插件。
可以查看官網文檔進行插件開發，我也上架了一些有用的插件，在steam創意工坊還未開放時，可以自行去官網下載對應插件
transbox.hpptools.top
三.遊戲語音開黑
在遊玩一些需要跟國外友人進行交流互動時,再也不需要擔心語言不通的問題了,只需要選擇音頻源爲對應的遊戲語音,參照第二點會議的配置,即可實現實時同聲傳譯.
並且可以添加個性化遊戲術語庫,可以自己配置,也可以獲取社區其他朋友們的,只要啓用插件,即可配置上.
這樣就不用擔心翻譯不準確的問題啦.
當然,這需要在社區中大家一起共建
四.一切皆插件
此軟件搭建了個夯實的底座,提供豐富且開放的插件開發接口.
有能力的朋友就可以進行插件開發拓展.
不想折騰的朋友也可以加載社區/創意工坊擴展.
在軟件使用過程中,可以隨意進行插件的"熱插拔",隨時替換插件.
再介紹下目前已開放的插件作爲參考借鑑.可二次開發
1.通義千問ASR語音識別雲端服務 + 小米ASR語音識別雲端服務
點擊"去獲取"即可跳轉其官方獲取界面,可自行白嫖其API額度.這兩個基本也夠用了.實測效果都非常好.
2.騰訊混元MT翻譯雲端服務
同理點擊去獲取即可.我內置了本地混元翻譯模型,延遲非常低,顯存大於4G建議優先選擇本地模型.
3.小米TTS雲端服務
實測效果非常好,延遲非常低,並且現在正免費中.
但是如果只是想要將你自己的語音轉錄爲英語,選擇我配置好的本地TTS模型即可.
只需要300多M顯存即可,速度非常快,英文朗讀效果非常好.
4.訊飛實時同傳
去科大訊飛的開放平臺獲取免費的20小時同傳API即可.
開啓此插件後,將會直接走同傳通道,不再加載ASR/MT/TTS三個模型.
後續將會開放字節/阿里雲等同傳插件.
5.劃詞翻譯
開啓後只需鼠標選中文本,按住ALT + T即可捕獲文本,按照你設置的語音調用MT模型進行翻譯.
6.多種UI主題
可隨意切換,也可以自行設計.
OK,大概就是這樣,還有非常多的功能等着你去發現.
感興趣可以在steam點個願望單,非常感謝!
想要獲得測試資格,歡迎加入:
Q羣:1124911433
Q頻道:https://pd.qq.com/s/610jzukz7
羣內/頻道內不定期發放測試資格.
也可以在steam點擊加入測試.
⚠此軟件可實現完全加載本地模型,需要下載三個模型,且顯存大於6G纔可流暢運行
ASR語音轉文字(顯存佔用1.8G)
MT翻譯(顯存佔用3.8G)
TTS文字轉語音(顯存佔用316MB)
如果沒有顯卡,可以使用雲端模型,可按照說明進行獲取API KEY.無顯存佔用.
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
