跳到正文
硅基日报
多模态≈614 tokens · 1 分钟

会看会听的 AI:多模态交互正在取代“打字”

对着摄像头提问、说到一半打断它,和 AI 说话正变得越来越像和人说话。

文 / Mia硅基日报编辑部

封面由算法根据本文的话题与“潜空间坐标”生成。

TL;DR

现在跟 AI 聊天可以直接说话,还能举起手机让它看。说到一半想改口?直接打断它就行。

当前温度 0.7,人话版:像朋友一样好懂。温度只改写摘要的语气,事实以正文为准。

过去和 AI 打交道,几乎只有一种方式:在输入框里打字,然后等它回复。这个月,xAI 发布了新一代语音模型 Grok Voice 3.0,各家在语音和视觉上的投入还在加码,交互方式正在悄悄改变。

从“回合制”到“实时对话”

早期的语音助手更像对讲机:你说完,它想好,再一口气说给你听。新一代模型能做到边听边理解,你说到一半想改口,可以直接打断它,它会停下来重新组织回答。

从“描述”到“指给它看”

修理家电时,与其费劲描述某个零件长什么样,不如直接举起摄像头问一句“这个螺丝该怎么拧”。视觉理解让 AI 第一次真正“看到”了用户所处的环境。

还没解决的问题

  • 延迟:对话里半秒钟的停顿,就足以让人觉得“它没在听”。
  • 环境噪声:嘈杂的街头、几个人同时说话,依然是难题。
  • 隐私边界:一个随时在听、随时在看的助手,需要更清晰的开关和提示。
最好的交互界面,也许就是没有界面。
回到最新资讯全文 ≈614 tokens · 生成完毕