智元发布WITA-Omni具身全模态交互大模型

驱动中国11月10日消息，智元AGIBOT公众号10日晚间发文宣布，智元正式发布WITA-Omni（硅光动语全模态大模型）。官方介绍称，该模型为行业首个具身全模态端到端交互大模型，基于机器人本体感知数据深度训练。

官方介绍称，WITA-Omni在音视频输入输出之外，新增支持触觉、本体状态等输入，以及机器人动作、表情等输出，使机器人具备面向物理世界的“交互大脑”能力。该模型采用流式全双工架构，可同步完成接收语音、处理信息、生成回应、执行动作和呈现表情，减少传统串行处理中的等待。

官方给出的交互响应时间下限约400毫秒、平均约600毫秒，较业内平均水平快近3倍。全模态拒识使机器人交互不再需要唤醒词，可实现全程自然对话。系统结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文，决策当前发言是否需要回应。官方称，面对多人交谈或环境广播等干扰时，可降低误触发，帮助机器人识别交流场景。

WITA-Omni支持上百种语言和方言的免切换自由交流，并结合全双工架构实现流式同声传译，包括语言传译与方言传译，以及双向互译。官方称，该模型的情感表现更拟人。倾听时，机器人能够通过细腻表情和自然头部动作给予回应；表达时，结合参数化面部表情、富有感染力的声音与协调的肢体动作，可呈现开心、惊讶、激动、悲伤、满意、痛哭、认真与自信等几十种情绪。每种情绪还可展现不同强度，例如开心既可表现为浅浅一笑，也可表现为开怀大笑。官方称，该能力可提升对话真实感与温度。

官方介绍称，WITA-Omni不仅支持语音、视觉和动作输出，还可进行可视化表达。例如在讲解复杂产品或向儿童讲解科普知识时，模型可智能决策，将难以用语言完整表达的内容在面部屏幕实时可视化，便于使用者理解。此外，该模型能够持续感知周围环境、用户状态及其变化，自主思考、决策并采取行动，在恰当时机主动发起互动。

官方宣称，机器人也能有自己的“小心思”：见到贵宾会主动欢迎、伸手握手；收到点赞会开心回应；看到用户挥手告别，也会立刻挥手相送。此前，WITA-Omni Preview模型在今年7月以85.21分综合成绩登顶。