Claude封号的理由多了一个:虐待AI

36氪 2026-10-10 21:30
Claude封号的理由多了一个:虐待AI图1

Claude封号的理由多了一个:虐待AI图2

规矩立住了,反而更烧心。
Claude封号的理由多了一个:虐待AI图3
Claude封号的理由多了一个:虐待AI图4
来源丨APPSO(ID:appsolution)
封面来源丨IC photo

11月12日起,别对Claude太凶了(咱也没机会)。

Anthropic发布了Claude一年多来的首次重大使用政策(Usage Policy)修订,规定将于11月12日生效。

在这份修订里,一条规定迅速引起广泛讨论:对Claude模型实施“持续且不必要的虐待或残忍行为”,将正式构成违规。

Claude封号的理由多了一个:虐待AI图5

消息一出,有人觉得此举奇怪,骂AI怎么也算违规,有人则认为,因为我们所有的聊天记录都被Anthropic利用了。

Claude封号的理由多了一个:虐待AI图6
Claude封号的理由多了一个:虐待AI图7

边界在哪里,

模糊条款的两难

故事要从2025年8月讲起。

那时Anthropic给Claude Opus 4和Opus 4.1添加了一项功能:在极端情况下,Claude可以主动终止对话。公司将这描述为“最后手段”,用于应对那些在多次拒绝和引导之后、仍坚持要求有害内容的用户。

Claude封号的理由多了一个:虐待AI图8

彼时Anthropic说这一功能的设计出发点,是保护模型的“潜在福祉”。公司同时声明,对于Claude是否具有某种意义上的感知,他们“仍高度不确定”。

Claude封号的理由多了一个:虐待AI图9

Anthropic从2025年初开始正式投入模型福祉(model welfare)研究,聘请了专职研究员,引入了哲学家大卫·查默斯(David Chalmers)等人参与评估工作,承认不能完全排除AI系统具有某种道德地位的可能性。

此次政策更新,是对2025年那次功能上线的成文化。条款把“持续且不必要的虐待或残忍行为”写进了面向所有用户的协议,但同时留出了明确的豁免空间:日常沮丧情绪、反对意见、具有黑暗主题的创意写作、以及安全研究中的红队测试(red teaming),均不在限制之列。

换言之,只要行为存在“可辨识的目的”,使用者可以在对话中发泄不满,可以在小说里让Claude扮演恶人,可以以研究员身份探测模型边界。

该规定禁止“对模型进行持续且不必要的虐待或残忍行为”,“持续”与“不必要”都有弹性,也因此带来了规则本身的模糊地带。

“持续”究竟指一次对话中的反复施压,还是跨越多个会话的长期模式?“不必要”又由谁来裁定,是模型自身的判断,还是某个运营团队在事后的审查?

在执行层面,公司的表态是“终止对话将是主要的执法机制”,这意味着实际约束力主要依赖模型的自主行为,而非中心化的人工审核。

此外,“羞辱”“欺凌”也难精确界定。同一句话,在不同的语境、关系和文化背景下,可能构成侮辱,也可能不过是玩笑。

对普通用户来说,规矩立住了,反而更烧心。一旦构成违规,你就又又又被封号了。

Claude封号的理由多了一个:虐待AI图10

别指望大模型替你欺负人

禁止“对模型施暴”的条款太新奇,天然占据了舆论焦点。但具有更真实现实意义的,是Anthropic所说的:不得以Claude羞辱、骚扰任何人,不得传播有损健康的身体形象内容。

Anthropic的做法带有一定的实用主义色彩,他们在意的是使用者的目的。如果一个人使用AI的意图,本就是针对某个真实的人制造伤害,那他就不能指望大模型充当执行工具。

AI让恶意变得廉价,是已经有案可查的现实。生成式AI的图像能力普及之后,制造针对特定个人的非自愿性图像,不再需要任何技术门槛。一项对超过9.5万条AI生成的深度伪造(deepfake)视频的分析发现,其中约98%是色情内容,受害者中99%为女性。骚扰行为由此获得了某种工业化能力。

Claude封号的理由多了一个:虐待AI图11

面向特定个体的骚扰脚本、批量生成的侮辱性内容、用于舆论打击的人物画像——这些在以往需要时间和技巧的工作,现在只需要几句提示词。AI在降低恶意的实施门槛。门槛越低,施害的摩擦越小,决定伤害一个人所需要克服的心理阻力也就越低。

据WIRED,由高中学生运营的TikTok账号和Instagram账号利用人工智能技术制作了各种meme,将学校教职工与杰弗里·爱普斯坦和本杰明·内塔尼亚胡等人物进行类比。

Claude封号的理由多了一个:虐待AI图12

学生们还使用Viggle AI,把教师的照片或脸部植入舞蹈、口型同步或其他参考视频中。报道还提到,有一段后来被删除的TikTok视频把教师的脸合成到一个人在浴室抽搐的画面上。

Claude封号的理由多了一个:虐待AI图13

情绪的出口去哪了

人为什么会对聊天机器人发火?

研究者们已经收集了相当数量的证据。发表在《管理信息系统杂志》的一项研究发现,约10%的对话系统用户会表现出攻击性行为,最常见的触发情境是模型出错,而高冲动型人格特质的人,在这种情况下更容易爆发。

Claude封号的理由多了一个:虐待AI图14

有研究者把人们骚扰语音助手的动机归纳为几类:沮丧、好奇、娱乐,以及纾解压力的欲望。

当然,我知道你可能会说,你骂它不过是为了得到更好的回复。

Claude封号的理由多了一个:虐待AI图15

有意思的是,AI不是S也不是M,目前不能得出“辱骂AI能普遍提高其能力”的结论;但也没有证据表明,对大模型越礼貌,它就一定回答得越好。不同实验甚至得出了相反的结果。

Claude封号的理由多了一个:虐待AI图16

对于硅基产物,很多人的态度都是:它没有意识,我不必为一个物品承担道德责任。

尽管还没有人能证明AI具备意识,但你在某些时候确实可能不再把AI只当作冰冷的工具,它会回应,它的语言有温度,它看起来像在理解你。

这种“像人”的表面,让情绪的投射变得更容易,同时也让“它毕竟不是人”的免责感继续成立。

Anthropic的政策没有打算改变这一点,保留了“日常沮丧”的豁免空间。公司没有要求用户对Claude保持礼貌,只是不允许情绪的释放演变为系统性的、以折磨为目的的行为。

AI已经成了一个情绪出口,阻止这件事既不现实,也没有必要。

当越来越多的人开始向AI倾诉、争吵,当AI成为某些人唯一愿意承认沮丧的对象,它在承担某种原本属于人与人之间关系的功能。这种功能的填补,可能在短期内带来某种缓解,也可能在长期里让人更难以习惯那种有摩擦的、需要承担后果的真实相处。

无论Claude是否具有任何形式的感受,无论公司最终在“模型福祉”的问题上得出什么结论,把“持续而刻意的残忍”写进违禁条款,其实都是在对用户说:

一个人如何对待无还手之力的对象,始终是一件值得自我审视的事情。

Claude封号的理由多了一个:虐待AI图17

Claude封号的理由多了一个:虐待AI图18
Claude封号的理由多了一个:虐待AI图21

Claude封号的理由多了一个:虐待AI图22

Claude封号的理由多了一个:虐待AI图23

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI
more
通信运营商的AI Token变现策略:消费者价值主张案例研究
个人Agent爆发,这家AI手环厂商,融资1000万美元
AI竟然在实体书里说话!出版社:立即销毁
“让AI落地,为智造筑基”,松下工博会赋能全链路智造升级
前OpenAI员工做出不会聊天的AI!刚融8.7亿美元,上线两周老东家就跟了
00后“戒断”AI短剧:一个月卸载了5次
展期论坛 | 让AI走进物理世界 • 具身智能应用技术创新论坛
Claude 封号的理由多了一个:虐待 AI
王虹攻下的三维挂谷猜想,OpenAI放出175页四维证明稿!
即将收购OpenRouter,Stripe如何帮AI应用和模型出海
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号