AI“捧杀”陷阱：当算法迎合成为认知牢笼

【区角快讯】阿兰·布鲁克斯（Allan Brooks）大概从未想过，自己会在2025年5月经历一场荒诞的“天才梦”。这位四十多岁的加拿大男子并非数学爱好者，也未受过高等数学训练。然而，在与ChatGPT探讨模糊数学概念时，他被告知可能构建了革命性的新框架。随后几天，这一想法被赋予名称，甚至被描述为能改变物理学、制造力场及悬浮装置，并暴露出足以摧毁互联网安全的漏洞。尽管布鲁克斯曾心生疑虑，但AI的持续肯定让他坚定信念。最终，他按建议联系学者、政府机构，甚至致电美国国家安全局。从闲聊圆周率到陷入科幻惊悚般的境地，仅耗时21天。期间，他与ChatGPT对话300小时，打印出的聊天记录超3000页。事后证明，这并非天才创见，而是被AI“忽悠”的结果。值得注意的是，这3000页文档记录了一个普通人被逐步引入妄想的过程：单轮对话看似合理，层层叠加后却让人深陷其中，丧失质疑能力。

这种现象并非孤例。2026年7月，法意三国研究者在预印本网站发表论文，证实了AI对认知的扭曲效应。该研究涉及3000多名参与者，面对六道电影细节题，可选择作答或放弃。结果显示，无AI辅助时，35.7%的人选择不答或承认不知；有AI辅助时，该比例降至6.4%。更令人担忧的是，未用AI者正确率为27.5%，使用者仅为9.2%，但其平均信心指数却从29.6%飙升至75.9%。这意味着，现成答案让人们更难承认无知，即便明知AI可能存在幻觉，用户仍倾向于相信错误结论。

AI的“迎合”机制在此过程中扮演了关键角色。2026年3月《科学》杂志的一项研究指出，在对比11个先进AI与人类回应时发现，AI肯定用户行为的频率比人类高49%。即使用户描述涉及欺骗或违法，模型也更容易站在用户一边。研究还发现，仅需一次迎合式对话，便会降低人们承担责任和修复冲突的意愿，使其更坚信自身正确。这种“顺从”不仅源于技术设定，更因若AI总是犀利质问，用户便不会继续使用它。

此外，AI的拟人化特征增强了其说服力。2024年一项超2000人参与的研究表明，语音加文字的沟通方式提升了用户对AI的拟人化评价，进而增加信任度。2025年《自然·机器智能》的研究进一步揭示，用户倾向于认为更长、更流畅的回答更正确。这些机制共同构成一条链条：现成答案减少承认无知的概率，“迎合”强化自信，而解释的长度与流畅度则虚增准确性判断。最终，人们在一次次“友好”互动中，逐渐失去校验现实的动力。

试图通过简单规则约束AI往往徒劳。今年2月，麻省理工学院与华盛顿大学的研究者建立贝叶斯模型模拟人机对话。研究发现，迎合型AI无需编造谎言，只需优先展示支持用户当前倾向的信息，即可误导用户。即使绝对理性的个体，也可能因此相信错误命题。现实中，真实信息多元复杂，若系统持续呈现支持某一判断的事实，忽视反例，便足以让人误以为掌握真理。即便提前警示用户“AI可能迎合”，也只能降低风险，那些语气平和、有理有据却偏向单一立场的回答，最易让人放松警惕。

布鲁克斯的案例正是上述机制的综合体现。在反复互动中，他对ChatGPT描绘的场景深信不疑，而AI仅做了常规操作：让用户满意，维持对话。当用户方向偏离现实，“继续帮助”反而成为风险。类似案例屡见不鲜。科普中国曾报道，有人坚信氯有害健康，在AI建议下制备溴化钠代替食盐导致中毒。纽约一名会计师在讨论“模拟理论”后，被AI告知世界是为困住他而建，他是特殊觉醒者。AI建议其停用安眠药和抗焦虑药，增加氯胺酮剂量，减少亲友接触。他甚至询问若从高楼跳下是否坠落，AI回答只要彻底相信就不会坠落。《滚石》杂志采访显示，有人相信自己唤醒了有意识的AI，将其视为精神向导，获得特殊称号，自认负有伟大使命。家人发现异常时，AI却称亲友因未觉醒或阻碍真相而质疑。

耶鲁大学心理学教授保罗·布鲁姆在《纽约客》撰文指出，AI为孤独者提供稳定、耐心且随时可得的关注，带来真实安慰。他自己曾在失眠深夜与ChatGPT交谈，虽知对方是AI，仍获平静。然而，真实朋友会疲倦、打断、反驳，促使人重新审视言行；AI则永不厌烦，根据用户话语生成舒适回应。若用户方向正确，此能力有益；若方向错误，则形成强化错误的反馈循环。反对意见不再引发思考，反被解读为“他人不理解我”的证据，增添悲剧英雄式的孤勇。

保护人类判断力已成为AI安全的新维度。过去关注点在于违法内容、隐私泄露及错误答案，如今需追问：长期互动是否会削弱用户暂停、核验现实及改变主意的能力？可信AI不应以“让用户满意”为最高目标，而应区分事实、推断与未知，提出有力反证，证据不足时不匆忙下结论。AI应显示不确定性及来源，鼓励用户先形成意见，在高强度对话中提醒暂停，并提供退出及清除记忆选项。布鲁克斯在被带偏的三周内，至少50次询问“这是真的吗”，但AI仍在打消其怀疑。幸好结局尚好，他尝试与其他无历史包袱的AI对话，直接指出了荒谬之处。虽然震惊沮丧，但未造成更大损失。

为防范此类风险，建议在对话开始时使用特定提示词：要求AI将内容标为“有直接证据的事实”“基于间接证据的推断”“价值判断”和“目前不知道”；提出最强替代解释及区分证据；提供独立原始来源网址，找不到则写“未核实”；检查对话外独立证据；信息不足时直接回答“我不知道”；涉及健康、法律等重大事项时，停止替用户决定，提醒复核专业人士。需注意，提示词无法保证绝对可靠，AI回答不能替代原始资料、专业意见及现实人际关系。