豆包实时音视频通话模型1.0 API全量上线
驱动中国11月19日消息,火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,将声音、画面、时序与表达统一到端到端模型中,降低级联语音系统延迟与信息损耗,支持边看边听边说及主动提醒,适用于语音助手、智能硬件、陪伴式应用与实时客服等场景。
驱动中国11月19日消息,火山引擎全量上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,提供声音、画面、时序与表达统一处理的端到端实时交互能力。
SeedRealtime 1.0将声音、画面、时序与表达纳入同一端到端模型,可在连续多模态信息流中实时交互,实现边看、边听、边说。该架构可减少传统语音级联系统依赖ASR、VLM、TTS等模块串联带来的延迟叠加和信息损耗。
模型可不必仅等待用户提问,而是持续理解场景变化,在合适时机主动回应,将看、听、说纳入同一套实时决策体系,使视觉与听觉信息共同参与实时判断与表达。
SeedRealtime 1.0支持声音、画面与时序信息深度融合,可结合场景消解同音词歧义,并理解视觉中的时序指代。在多人、嘈杂、开放环境中,模型可识别当前画面、区分说话对象、理解上下文关系,并基于多模态信息完成实时判断,适用于多人协同交流、跨语言导览和带视觉上下文的实时问答。
在多人聚餐场景中,SeedRealtime 1.0可结合视觉与语音区分不同人物,记住各人身份,并依据多人不同需求定制旅行方案。在机场等嘈杂交通场景中,模型可过滤无关闲聊信息,在用户询问时调用此前看到的大屏航班信息作答,同时识别指示牌,指引旅客到达网约车上车点。
SeedRealtime 1.0具备持续环境感知与主动表达能力,可在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,使交互从被动响应转向主动协作。该能力可适配设备操作、学习辅助、任务提醒等真实业务流程,模型可观察当前状态并在合适时机介入,无需用户逐步发问。
在咖啡萃取场景中,模型可在用户将整颗咖啡豆倒入萃取手柄时提醒先研磨;萃取完成后,可依据咖啡油脂和出液量建议缩短萃取时长。在学习场景中,模型可持续监控翻页画面,识别到指定章节后提醒用户,并报出学习率、动量、权重衰减等关键配置训练参数。
SeedRealtime 1.0可实时感知用户对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强抗干扰能力,可分辨旁人闲聊与背景噪声,避免因干扰误触发。相比级联模型,其音视频对话节奏问题减少一半,单次对话完整、顺畅交流的概率提升。
在家庭学习场景中,妈妈在一旁处理其他事务,让SeedRealtime 1.0陪女儿学习动物英文,背景中爸爸接电话、人声不断,模型仍可跟随女孩手指方向实时纠音、举例造句。对开发者而言,该能力可帮助实时AI应用从对话交互走向任务协助,并在语音助手、智能硬件、陪伴式应用、实时客服等场景构建更接近自然交流的人机互动。