Block推出全双工AI语音模型Dessa 支持本地运行
杰克·多尔西旗下 Block 推出全双工语音模型 Dessa,支持本地运行,可模拟笑声、停顿、哽咽等情绪表达,其知识来自训练对话数据;该模型暂不对外开放试用,公司邀请安全研究者重点测试语音智能体欺骗人类的风险场景。
驱动中国10月25日消息,Twitter 联合创始人杰克·多尔西旗下 Block 公司推出全双工语音模型 Dessa,该模型支持本地运行,可模拟笑声、停顿、哽咽等情绪表达,官方称其听感高度拟人。
根据 Block 介绍,Dessa 完全基于人类语音数据训练,训练过程仅使用一组英伟达 GPU 机架。该模型属于全双工语音模型,与 OpenAI 今年早些时候发布的 GPT-Live 类似,能够一边输出语音,一边接收用户语音。
在知识来源方面,主流语音模型通常需要搭配大语言模型调取知识,Block 称 Dessa 的知识来自训练所用对话数据。Block 表示,现有语音 AI 交互体验生硬、违和,主要原因在于生成链路先将语音转为文本,再由文本驱动语音合成,过程中会丢失大量语音承载的信息,即使能力较强的 AI 也难以识别用户情绪。
Block 在博客中进一步指出,这种链路不仅影响体验,还存在潜在风险。与 ElevenLabs v4、Fish Audio Drama 3 等依靠语音标签控制情绪的模型不同,Block 称 Dessa 的情绪表达为模型原生内置,不过目前尚不清楚其底层是否仍依靠某种标签调控情绪。
研究团队展示了多段与 Dessa 的对话样例。该智能体可切换音色、语速与情绪。一段对话中,AI 表达工作疲劳,发声状态同步呈现疲惫感;另一段对话中,AI 谈及对方带来安心感受,语气接近哽咽。另有演示显示 Block 员工与该语音助手进行游戏互动。
官方说明,Dessa 可在消费级电脑本地运行,设备门槛为 M4 Max 及更高配置 MacBook。现阶段该模型暂不对外开放试用,Block 已向安全研究者发出测试邀请,重点测试语音智能体欺骗人类的风险场景。
业务层面,Block 主营业务为金融服务,面向小微企业提供解决方案,旗下 Square 已使用语音 AI 处理下单业务。自研可端侧运行语音模型后,Block 有望以更低成本推出更多面向商户与普通用户的语音产品。