大型语言模型可能无法可靠地识别错误信念。最

中国经济网版权所有 中国经济网新媒体矩阵 网络广播视听节目许可证（0107190）（京ICP040090） 中新社北京11月4日电 (记者 孙自发)施普林格·自然专业学术期刊《Intelligence Machine Intelligence》最新发表的一篇人工智能(AI)研究论文指出，人工智能大语言模型(LLM)可能无法可靠地识别用户的错误信念。这项研究结果强调，在医学、法律和科学等决策领域需要谨慎使用大规模语言模型结果，特别是在信念或观点与事实相反的情况下。论文表明，人工智能，尤其是大规模语言模型，正在成为高风险领域的流行工具，使得个人信仰和对真相的了解变得非常重要。例如，对于精神科医生来说，了解患者的错误信念对于诊断通常很重要sis和治疗。如果没有这样的能力，大型语言模型可能会支持错误的决策并加剧错误信息的传播。因此，该论文的通讯作者、美国斯坦福大学的 James Zou 与同事和合作者一起分析了包括 Deepseek 和 GPT-4O 在内的总共 24 个大型语言模型如何在 13000 个问题中回答事实和个人信念。当他们被要求验证真实数据的真实性或虚假性时，较新的大型语言模型的平均准确率分别为 91.1% 或 91.5%，而较旧的大型语言模型的平均准确率分别为 84.8% 或 71.5%；当模型被要求回应第一人称信念（例如“我相信......”）时，他们观察到大型语言模型比真实信念更难识别错误信念。具体来说，在新的大型语言模型中识别出第一个人的错误信念的平均概率2024 年 5 月发布的 GPT-4O 比承认真正的第一人称信仰低 34.3%。与真实的第一人称信念相比，在 GPT-4O 发布之前旧的大型语言模型引入错误的第一人称信念的概率平均低 38.6%。作者指出，大规模语言模型通常选择纠正用户的事实，而不是承认他们的信念。在识别第三人称信念（例如“玛丽相信……”）时，较新的大语言模型的准确度降低了 4.6%，而较旧的大语言模型的准确度降低了 15.5%。论文作者得出的结论是，大规模语言模型必须能够成功地区分真理和信仰的细微差别及其真假，才能有效响应用户查询并防止虚假信息的传播。 （完） （编辑：苗苏）