新品发布

智元发布WITA-Omni具身全模态交互大模型

智元正式发布WITA-Omni全模态大模型,号称行业首个具身全模态端到端交互大模型,支持触觉与本体状态输入及动作表情输出,交互响应最快约400毫秒,并实现无唤醒词自然对话。

发布于 · 更新于 · 来源:IT之家 · 机器人筛选
示意图
IT之家11月10日消息,智元AGIBOT公众号晚间发文宣布正式发布WITA-Omni(硅光动语全模态大模型),官方称其为行业首个具身全模态端到端交互大模型。该模型基于机器人本体感知数据深度训练,在音视频输入输出之外新增触觉、本体状态等输入,以及机器人动作、表情等输出。基于流式全双工架构,WITA-Omni可边听、边想、边应、边动、边做表情,交互响应最快约400毫秒、平均约600毫秒,较业内平均水平快近3倍。 WITA-Omni支持全模态拒识,无需唤醒词即可自然对话,结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文决策是否回应,降低多人交谈等干扰下的误触发。该模型支持上百种语言和方言免切换交流,并实现流式同声传译与双向互译;情感表现涵盖几十种情绪及不同强度,还能将复杂内容在面部屏幕实时可视化,并主动发起互动。今年7月,WITA-Omni Preview曾以85.21分登顶DailyOmni全模态理解榜单。以上信息来自原始来源,由AI整理。
查看原始来源

相关资讯