5 月 25 日消息,在本月下旬最新一期的《自然-人类行为》期刊上,刊登了一篇关于 AI 的研究论文,其中提到,在测试追踪他人心理状态能力的任务中,两类 AI 大语言模型在特定情况下,具备与人类相似甚至超越人类的表现。
作为人类沟通交流、产生共鸣的关键,心理状态能力(也称心智理论)对人类的社交互动来说非常重要。该论文的第一作者 —— 德国汉堡-埃彭多夫大学医学中心的 James W. A. Strachan 与同事及合作者一起,选择能测试心理理论不同方面的任务,包括发现错误想法、理解间接言语以及识别失礼等。
注:该团队选用了 GPT 和 LLaMA2 模型进行试验,并与 1907 人进行对比。
结果显示,GPT 模型在识别间接要求、错误想法和误导的表现能达到有时甚至超越人类平均水平,而 LLaMA2 的表现逊于人类水平;在识别失礼方面,LLaMA2 强于人类,但 GPT 表现不佳。
据中新社报道,该作者表示,LLaMA2 的成功被证明是因为回答“偏见程度”较低,并非真的对失礼敏感,GPT“表现不佳”则是因为对坚持结论具有“超保守”的态度,而非推理错误。
附论文地址:《Testing theory of mind in large language models and humans》
最新评论