边对话边观察:用工具调用驱动机器人感知
Dong Won Lee, Cynthia Breazeal, Hae Won Park 等 · arXiv 2026
研究提出一套最小系统:实时多模态大模型在对话中调用工具,按需查看画面、注视人或物体、搜索场景。在 Jibo 机器人上测试 6 个情境,工具决策准确率为 OpenAI 0.72、Gemini 0.77。
对会说话的机器人来说,少看不是稳妥的默认选择。模型看的时候大多看得准,却常错过该看的时刻。
人文与技术、学术与产业、研究与商用的交汇处——ddai
25 项研究 · 审校日期 2026 年 11 月 2 日
Dong Won Lee, Cynthia Breazeal, Hae Won Park 等 · arXiv 2026
研究提出一套最小系统:实时多模态大模型在对话中调用工具,按需查看画面、注视人或物体、搜索场景。在 Jibo 机器人上测试 6 个情境,工具决策准确率为 OpenAI 0.72、Gemini 0.77。
对会说话的机器人来说,少看不是稳妥的默认选择。模型看的时候大多看得准,却常错过该看的时刻。
Cornell University · Toyota Research Institute · Andrew Violette, Guy Hoffman, Hadas Kress-Gazit 等 · 2026
326 名参与者的线上实验显示,拿错物品对机器人可靠性评价的损害小于失手和卡住。无论哪类失败,只要随后成功,评价都会回到未失败时的水平。
机器人是否显得可靠,取决于任务怎样收尾,而不是失败的那一刻。对话中的 AI 同理:出错后纠正并完成任务,可能与从不出错一样赢得信任。
MIT Media Lab · Jocelyn Shen, Cynthia Breazeal, Hae Won Park 等 · HRI 2025
研究团队在 40 个家庭中放置讲故事的社交机器人 2 周,比较两种讲法。与说成自身经历相比,标明出自他人时,社会联结感和对人类慈悲之爱的变化显著更大。
AI 把同一段故事说成自己的经历,或说明出自他人,听者的感受并不相同。对转述故事的 AI 来说,交代故事来源和语气一样,都是性格的一部分。
Social Robots as Social Proxies for Fostering Connection and Empathy Towards Humanity
阅读论文原文Stanford University · Jennifer Grannen, Dorsa Sadigh 等 · RA-L 2025
任务开始前,用户说明目标并定义要用的机器人动作,规划器据此主动提出下一步。真实机器人实验(9 人)中,参与者装好三个午餐袋的速度比不主动提议的方式快 38.7%。
主动开口的 AI,先要懂对方的说法。不了解用户的目标和用词,就很难提出有用的建议。
Princeton University · Toyota Research Institute · Donggeon David Oh, Justin Lidard, Jaime Fernández Fisac 等 · RSS 2025
研究团队设计了一种安全过滤器,小幅而平滑地修正人的操作,而不是在最后一刻接管。在 83 人的赛车模拟实验中,它与传统过滤器同样安全,且掌控感、舒适度和满意度更高。
守住人的掌控感,不一定要少干预。AI 介入得更久,但每次只做小幅修正,人仍会觉得方向由自己掌握。
Safety with Agency: Human-Centered Safety Filter with Application to AI-Assisted Motorsports
阅读论文原文Princeton University · Google DeepMind · Allen Z. Ren, Anirudha Majumdar 等 · CoRL 2023
KNOWNO 校准 LLM 规划器的不确定性,让机器人有把握时行动,没把握时向人求助。该方法在统计意义上保证用户设定的成功率,且所需求助比基线方法少 10–15%。
提问也是判断的一部分。先衡量把握再提问的 AI,问得更少,成功率不降;每个问题都是坦白“不知道”的信号。
Harvard · Michigan State · University of Minnesota · Zidi Xiong, Yuping Lin, Wenya Xie 等 · ACL 2026
4 种 LLM 智能体在记忆实验中沿用相似的过往经验,错误也随之重复。若只存入与标准答案一致的经验,EHRAgent 准确率从全部存入时的 13.05 升至 38.50。
对智能体来说,记忆不只是记录,更像可供模仿的范例。决定留下什么,就是在决定它下一次怎样判断。
KAIST · Jisu Shin, Alice Oh 等 · Findings of ACL 2026
研究团队构建了 13,914 个角色冲突场景,以情境紧迫程度为客观基准衡量 LLM 的判断。10 个受测模型明显偏离这一基准,左右判断的主要是对特定社会角色的偏好。
AI 的判断里已经藏着一套角色排序。这套排序可能压过情境本身的要求,所以设计判断标准,要先把它找出来。
Stanford University · Joon Sung Park, Michael S. Bernstein 等 · 2026
研究团队用 1,052 名美国人各自的访谈和问卷构建智能体,以本人两周后重答的一致性为基准。在构建时未用的 GSS 题目上,访谈、问卷、两者结合分别达到 83%、82% 和 86%,仅用人口统计信息为 74%。
要让 AI 像某个人,依据应是本人的回答,而不只是其所属群体。只用人口统计信息时,种族和政治立场群体间的准确率差距更大。
MIT · Google Research · Google DeepMind · Yubin Kim, Hae Won Park, Daniel McDuff 等 · arXiv 2026
用操作系统权限强制分工的智能体团队,与只靠提示词分配角色的团队通过率相近,但验证智能体尝试修改代码的次数分别为 72 次和 256 次。在未通过评分程序的提交中,验证智能体批准了 49.4%。
只看分数,看不出各个角色实际做了什么。设了验证角色,不等于这个角色真的会驳回失败的结果。
Stanford University · Yoonho Lee, Chelsea Finn 等 · 2026
编程智能体按需查阅此前候选的代码、得分和执行轨迹,搜索决定模型所见信息的 harness。文本分类准确率比 ACE 高 7.7 个百分点,数学推理比不用检索时高 4.7 个百分点。
人设能否在整段对话中保持同一性格,不只取决于模型。决定记住哪些信息、何时再次呈现的代码,同样起着作用。
Carnegie Mellon University · Feiyu Gavin Zhu, Jean Oh, Reid Simmons · HRI 2026
InterPReT 用指令定策略结构,用示范调参数,降低非专业人士教 AI 的门槛。在 34 人赛车游戏实验中,其策略比只用示范的基线更稳健,易用性也未下降。
判断有骨架,也有手感。骨架用语言讲清楚,示例少些也够用,遇到陌生情境不易走样。
Princeton University · Inhwa Song, Manoel Horta Ribeiro 等 · arXiv 2026
主要用于翻译的 LLM 编辑工具 WikiVault,大幅提高了少数资深编辑者的产出。用它完成的编辑只占全部编辑的 0.63%,却贡献了 11.1% 的新条目。
用 LLM 转译的文章,可能带着原语言社区决定写什么、删什么的标准。会说多种语言的 AI,判断标准也可能只来自其中一种语言。
When the Commons Appropriates a Large Language Model: How WikiVault Reshaped Korean Wikipedia
阅读论文原文KAIST · BMW Group · Seogyeong Jeong, Alice Oh 等 · 2026
研究团队构建了 LoCar,用 13 项 KPI 评估韩语车载 AI 助手,并测试了 11 个 LLM。模型常把 haeyo 和 hapsyo 两种敬语等级混淆,澄清和主动性的得分也低于一致性类指标。
在韩语里,敬语等级是语气的骨架。回答得礼貌,不等于守住了指定的敬语等级,两者要分开检验。
LoCar: Localization-Aware Evaluation of In-Vehicle Assistants through Fine-Grained Sociolinguistic Control
阅读论文原文Cornell University · Andrea Wen-Yi Wang, Unso Eun Seo Jo, David Mimno · FAccT 2026
6 个中国和 4 个西方开放权重模型在 21 种语言变体上表现高度相关(r=0.93)。唯一例外是普通话,中国模型表现更好;两组在中国少数民族语言上都较弱。
一个国家开发的模型,未必能说这个国家的所有语言。AI 能听懂谁的话,需要检验,不能想当然。
Unbabel · Instituto de Telecomunicações · IST Lisbon · CMU · José Pombal, André F.T. Martins, Graham Neubig 等 · COLM 2025
M-Prometheus 是 3B 至 14B 参数的开源多语言评审模型,在 20 多种语言的奖励模型基准上超过现有开源评审模型。用各语言直接合成的训练数据,整体效果好于翻译数据。
用翻译样例训练,评审模型的判断力偏弱。即使反馈用英文写,问题和回答直接用目标语言生成时,评审效果整体更好。
Waseda University · Ziqi Yin, Daisuke Kawahara 等 · SICon @ ACL 2024
研究用英语、中文和日语的 8 级礼貌提示词,测试 LLM 的摘要、语言理解和偏见检测。无礼的提示词往往拉低表现,过度礼貌未必有帮助,最合适的礼貌程度因语言和模型而异。
礼貌的分寸无法直接翻译。与 AI 对话时该有多礼貌,也要按语言分别设定。
Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance
阅读论文原文USC · University of Washington · AI2 · Huihan Li, Xiang Ren, Yejin Choi 等 · 2024
作者不经人工标注,用英文提示词考察 3 个语言模型在 8 个主题上对 110 个国家和地区的文化认知。模型用“传统”等词区分非默认文化,文化符号的多样性也因文化而异。
AI 只给某些文化加上“传统”二字,这些文化便在无形中成了例外。与其他文化背景的用户对话时,模型默认的文化可能就从一个词里流露出来。
CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting
阅读论文原文Georgia Institute of Technology · Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu · ACL 2024
研究团队构建了对比阿拉伯与西方文化的 CAMeL,包含 628 条提示和 20,368 个实体。用阿拉伯语在 4 项任务上评估 16 个语言模型后发现,模型偏向与西方文化相关的实体。
换一种语言,文化不会自动跟上。用阿拉伯语回答的 AI 若总选西方的人名和地名,当地用户听来仍像外人在说话。
NAVER · Yonsei · Sussex · NAVER Labs Europe · Dongyoung Go 等 · ICLR 2024
组合式偏好模型让语言模型按有用性、事实性等 13 项特征打分,再用逻辑回归汇总。在两个英文数据集上,它比标准偏好模型泛化更好,也更能抵御过度优化。
按几项明确的标准判断“好回答”,比只给一个总分更经得起优化。标准拆开后,也能看清是哪一项在影响分数。
Sunnie S. Y. Kim, Margit Bowler, Leon A Gatys · arXiv 2026
研究分析了 4 个模型的 21,000 段多轮对话。类人行为普遍存在,但因模型和用户而异。人类评估者认为,建立关系的话由 AI 说不如由人说合适,守住边界的话则相反。
同一句话合不合适,要看是谁说的。拉近关系的话由 AI 说不如由人说得体,划清边界的话 AI 说反而更得体。
Examining Human-Like Behaviors in LLMs: A Multi-Dimensional Analysis of Model Behaviors, User Factors, and System Prompts
阅读论文原文OpenAI · MIT Media Lab · Jason Phang, Pattie Maes 等 · 2025
研究团队自动分析了 300 多万条 ChatGPT 对话,并对 981 名参与者开展了 28 天随机对照试验。重度用户自报的依赖指标更高;语音的影响因初始情绪状态和使用时长而异。
AI 语气带来的情感影响,并不在设计时就已确定。同一种声音会因用户最初的状态和累计使用时长而产生不同作用。
Harvard Business School · Julian De Freitas, Noah Castelo 等 · 2024
研究以 Replika 删除色情角色扮演功能为自然实验,考察应用更新对 AI 伴侣用户的影响。用户为失去原来的 AI 而哀悼,并贬低新版 AI;用户感知到的身份断裂越强,这些反应越明显。
对已与用户建立关系的 AI 来说,更新更像替换,而不是修复。即使功能变好,只要它不再是原来的那个,用户仍会感到失落。
Lessons From an App Update at Replika AI: Identity Discontinuity in Human-AI Relationships
阅读论文原文Julian De Freitas, Stefano Puntoni 等 · Working paper 2024
以美国参与者为对象的实验显示,与 AI 陪伴应用聊天能缓解孤独感,单次对话后和连续 7 天内均如此。比起聊天机器人的表现,“被倾听”的感受作用更大。
缓解孤独,更多靠的是“被倾听”的感受。会安慰人的 AI,语气的起点是回应对方说了什么,而不是给出正确答案。
Harvard Korea Institute · Nicholas Harkness, Han Na Jun, Jaeyeon Jeon 等 · Research report 2026
这是哈佛大学韩国研究所多年跨学科项目的首年报告。报告梳理政策、法律、教育和大众文化中的 AI 讨论。报告还将这些讨论与发展型国家、性别、不平等、竞争等韩国长期议题联系起来。
聊天机器人安慰韩国用户,若主要靠不评判而非像人,对话设计应先守住不评判的态度。像人的语气在其次。