边对话边观察:用工具调用驱动机器人感知
Dong Won Lee, Cynthia Breazeal, Hae Won Park 等 · arXiv 2026
研究提出一套最小系统:实时多模态大模型在对话中调用工具,按需查看画面、注视人或物体、搜索场景。在 Jibo 机器人上测试 6 个情境,工具决策准确率为 OpenAI 0.72、Gemini 0.77。
对会说话的机器人来说,少看不是稳妥的默认选择。模型看的时候大多看得准,却常错过该看的时刻。
THEME 02Humanoid
在机器人走进房间之前,先设计它怎么说话
在家里和工作场所,人们每天都在和机器人对话。何时主动开口、如何回答、怎样拒绝——这就是机器人的性格,也决定了人们是否信任它。
屏幕可以关掉,机器人却和你共处一室。一句话能建立信任,一句话也能让人不安。
ddai 把机器人的性格写成规格,为每个市场用母语重写,并在每次模型或硬件更新后验证性格是否保持一致。
把语气、主动开口的时机、拒绝方式和情绪表达范围,写成团队可以直接开发的规格。
由母语作者按各语言和文化,把同一性格从头重写。
与语音、表情和动作协同工作的对话训练数据。
用评估数据确认模型或设备更换前后性格保持一致。
切换语言,三条原则依然不变。
今天只想休息,运动就不做了。
好的。您昨天走了很多路,休息一下没关系。晚上做10分钟拉伸可以吗?
那个也不想做。
好的,今天不再提建议了。明天早上我再问问您的状态。
从容,不催促
鼓励,但不强迫
拒绝时给出理由和替代方案
Dong Won Lee, Cynthia Breazeal, Hae Won Park 等 · arXiv 2026
研究提出一套最小系统:实时多模态大模型在对话中调用工具,按需查看画面、注视人或物体、搜索场景。在 Jibo 机器人上测试 6 个情境,工具决策准确率为 OpenAI 0.72、Gemini 0.77。
对会说话的机器人来说,少看不是稳妥的默认选择。模型看的时候大多看得准,却常错过该看的时刻。
Cornell University · Toyota Research Institute · Andrew Violette, Guy Hoffman, Hadas Kress-Gazit 等 · 2026
326 名参与者的线上实验显示,拿错物品对机器人可靠性评价的损害小于失手和卡住。无论哪类失败,只要随后成功,评价都会回到未失败时的水平。
机器人是否显得可靠,取决于任务怎样收尾,而不是失败的那一刻。对话中的 AI 同理:出错后纠正并完成任务,可能与从不出错一样赢得信任。
MIT Media Lab · Jocelyn Shen, Cynthia Breazeal, Hae Won Park 等 · HRI 2025
研究团队在 40 个家庭中放置讲故事的社交机器人 2 周,比较两种讲法。与说成自身经历相比,标明出自他人时,社会联结感和对人类慈悲之爱的变化显著更大。
AI 把同一段故事说成自己的经历,或说明出自他人,听者的感受并不相同。对转述故事的 AI 来说,交代故事来源和语气一样,都是性格的一部分。
Social Robots as Social Proxies for Fostering Connection and Empathy Towards Humanity
阅读论文原文