非常感谢你点进来
接下来我将介绍一款桌面端"同声传译"软件.
如果你也有以下需求:
玩游戏时 跟老外无障碍交流
看油管等"生肉"视频时有 实时双语字幕
开国际会议或者微信等语音视频时,想要口语无障碍交流
面试时需要AI辅助
想要个性化定制打造自己的软件
可以接着往下看.
此文章全是干货,建议先收藏再观看
---
首先,大概进行一下软件界面介绍
软件介绍可能会些许枯燥,不想看可以先跳过,先看后面的具体使用场景.
可以看到,当软件打开时,会呈现一个字幕窗口,十分简洁,你可以自定义背景/文字的颜色以及透明度.
当鼠标悬浮到字幕窗口时,将会展示功能区.
先来看下第一行,
你可以随意选择声音来源,可以是你电脑上现在打开的任意应用.
选择目标语言(可以设置为"自动",将自动识别)以及想要翻译出的语言
打开"原文"按钮,将会捕获目标应用的声音,转录出文字展现在字幕上
打开"译文"按钮,将会将转录出的文字翻译为你设置的语言
打开"朗读"按钮,将会朗读翻译出的文字
右侧几个功能按钮分别为"界面语言切换"/"历史记录面板"/"设置面板"
当打开"原文"按钮后,将会显示出"双向通话"按钮,点击后才会出现第二行.
在第二行中,可以选择你的麦克风设备,你说的语言,以及你想要转换为的语言.
你可以选择输出设备,来测试自己的声音是否正常转换为你想要翻译出的语言.
你可以切换对方是听到你的原声,还是听到你想要让对方听到的已翻译语言.
OK,介绍完毕,就这么简单
那么,这些功能有什么用呢?
------------
一.看视频实时获取 双语字幕 + 朗读
配合软件内置的浏览器扩展插件,可以实现字幕实时获取与翻译.
当然,也可以点击朗读,比如我截图这个视频,可以实现毫秒级"同声传译",如果将朗读语音设置为中文,将实时听到用中文语音,延迟在200ms内.
这里无法放置视频,可以自己尝试
如果无法获取到字幕,则可以选择获取浏览器声音,进行实时语音转写/翻译.
不过延迟将会达到1~2秒.(人类顶尖同声传译的延迟通常在 3 到 7 秒 之间)
二.使用zoom或腾讯会议等软件进行 开会/面试
1⃣开会
在首次打开"通话同传时",将会有设置向导,指导你安装虚拟声卡.
麦克风的输出默认将会输出到虚拟声卡,只需要将你的会议设备麦克风改为虚拟声卡的输出即可.
这里以zoom举例,其他软件都是相同的操作.
这就实现了延迟大概1~2秒的"同声传译"效果,
对方说话,你听到的是中文语音
你说话,对方听到的是英文语音.
当然,你也可以查看字幕上的对话内容.
2⃣面试
本软件秉承着"一切皆插件"的核心思想.
那么,开会时既然有了已转录出来的对话内容,可以如何利用呢?
于是,我写了个AI助手"插件".
只需要在面试过程中，按下Alt + Q,即可将你自定义几轮会话发送给AI，根据你自定义的提示词，为你辅助面试。
此面板可以防录屏，就算是你开着屏幕共享，他也不会被录制进去。截图也无法获取，可以放心使用。
此插件当前可适配市面上大部分AI模型，只需要自己填入API KEY即可。
当然，此插件仅为“抛砖引玉”，你有任何想法，都可以自己开发适配插件。
可以查看官网文档进行插件开发，我也上架了一些有用的插件，在steam创意工坊还未开放时，可以自行去官网下载对应插件
transbox.hpptools.top
三.游戏语音开黑
在游玩一些需要跟国外友人进行交流互动时,再也不需要担心语言不通的问题了,只需要选择音频源为对应的游戏语音,参照第二点会议的配置,即可实现实时同声传译.
并且可以添加个性化游戏术语库,可以自己配置,也可以获取社区其他朋友们的,只要启用插件,即可配置上.
这样就不用担心翻译不准确的问题啦.
当然,这需要在社区中大家一起共建
四.一切皆插件
此软件搭建了个夯实的底座,提供丰富且开放的插件开发接口.
有能力的朋友就可以进行插件开发拓展.
不想折腾的朋友也可以加载社区/创意工坊扩展.
在软件使用过程中,可以随意进行插件的"热插拔",随时替换插件.
再介绍下目前已开放的插件作为参考借鉴.可二次开发
1.通义千问ASR语音识别云端服务 + 小米ASR语音识别云端服务
点击"去获取"即可跳转其官方获取界面,可自行白嫖其API额度.这两个基本也够用了.实测效果都非常好.
2.腾讯混元MT翻译云端服务
同理点击去获取即可.我内置了本地混元翻译模型,延迟非常低,显存大于4G建议优先选择本地模型.
3.小米TTS云端服务
实测效果非常好,延迟非常低,并且现在正免费中.
但是如果只是想要将你自己的语音转录为英语,选择我配置好的本地TTS模型即可.
只需要300多M显存即可,速度非常快,英文朗读效果非常好.
4.讯飞实时同传
去科大讯飞的开放平台获取免费的20小时同传API即可.
开启此插件后,将会直接走同传通道,不再加载ASR/MT/TTS三个模型.
后续将会开放字节/阿里云等同传插件.
5.划词翻译
开启后只需鼠标选中文本,按住ALT + T即可捕获文本,按照你设置的语音调用MT模型进行翻译.
6.多种UI主题
可随意切换,也可以自行设计.
OK,大概就是这样,还有非常多的功能等着你去发现.
感兴趣可以在steam点个愿望单,非常感谢!
想要获得测试资格,欢迎加入:
Q群:1124911433
Q频道:https://pd.qq.com/s/610jzukz7
群内/频道内不定期发放测试资格.
也可以在steam点击加入测试.
⚠此软件可实现完全加载本地模型,需要下载三个模型,且显存大于6G才可流畅运行
ASR语音转文字(显存占用1.8G)
MT翻译(显存占用3.8G)
TTS文字转语音(显存占用316MB)
如果没有显卡,可以使用云端模型,可按照说明进行获取API KEY.无显存占用.
更多游戏资讯请关注：电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com
