Anthropic 首位技术 PM:AI 时代,Evals 是新的 PRD

硅星人Pro 2026-07-29 17:21
Anthropic 首位技术 PM:AI 时代,Evals 是新的 PRD图1

Lenny's Podcast 对 Anthropic AI 研究与 Labs 团队产品负责人 Diane Penn 的深度访谈。Diane 作为 Anthropic 首位技术产品经理,亲历了从 Claude 2 到 Fable 的每一次模型迭代,并主导孵化了 Claude Code、MCP、Skills 等创新产品。在长达一个半小时的对话中,她回顾了 Anthropic 早期只有五名工程师时的创业文化,剖析了 Opus 3 和 Opus 4.5 如何成为公司关键转折点,解释了 “Evals 是新的 PRD”这一产品哲学,分享了 Labs 团队的孵化模式,探讨了 AI 时代产品经理的核心能力、前沿模型的安全与治理、以及如何在技术指数级爆发中保持团队活力与个人判断力。

本文编译 Lenny's Podcast 最新一期博客内容:https://www.youtube.com/watch?v=tivaWTTVRhY,以下是完整编译。

1

早期 Anthropic:在 OpenAI 阴影下寻找身份

Lenny:今天我的嘉宾是 Diane Penn,Anthropic AI 研究与 Labs 团队的产品负责人。三年多前,她以首位技术产品经理的身份加入 Anthropic,在 AI 行业里,三年就像一辈子那么久,当时产品团队只有五名工程师。她参与了从 Claude 2 到 Fable 的每一次模型发布,也参与孵化和推出了 Claude Code、MCP、Skills、Claude Design,以及计算机使用(computer use)、工具使用(tool use)和推理(reasoning)等核心能力。

我想聊聊 Dianne 团队的产品角色正在发生怎样的变化。驱动用户价值的方式,是找到正确的用户反馈。我们团队有句话:“Evals 就是新的 PRD。” 这也是 YC 的 Gary Tan 一直在聊的话题。每年花 10 万美元买 token 在今天看来是奢侈,但在 2028 年这就是日常开销。你现在这么干,就等于提前活进了未来。你要像打磨产品界面一样,去死磕每一个 token 的用法和效果。你必须亲自上手跟模型打交道,好的想法,都是用出来的,没有捷径。人们对 AI 工具应该更大胆一些,因为它们的能力真的远超想象。

我经常问团队:假设 Claude 8 来了,用户的行为会有什么变化?这对我们今天的产品构建方式意味着什么?

我想回到 Anthropic 的起点。我记得 Anthropic 刚发布第一款模型时,大概三年前吧,我当时的感觉是:这些人没戏了,OpenAI 领先太多了,他们怎么想的?OpenAI 已经赢了,太晚了。但现在情况完全不同了。目前我看到的数字是,Anthropic 的年经常性收入(ARR)达到了约 50 亿美元,这相当于过去非常成功的公司上市时的估值。你作为最早的 PM 之一加入时,团队大概只有五名工程师,模型甚至还没发布。那时的早期日子是什么样的?有什么可能会让外界感到惊讶的事?

Diane:我 2023 年加入,当时确实只有 5 个产品工程师。你可能不信,我们整个 API 业务只有一个工程师在撑。但我觉得,Anthropic 能走到今天,很多核心特质在早期就已经存在了。

Anthropic 首位技术 PM:AI 时代,Evals 是新的 PRD图2

最重要的就是文化。这是我向所有关注这家公司的人反复强调的,这里的人真正在践行使命和价值观。整个氛围就是一家创业公司。你说得对,我们当时确实在拼命找自己的定位。技术是一回事,但这项技术怎么给用户创造价值、给社会创造价值?它能成为什么?

早期我们做了很多探索。从 Claude.ai 聊天助手起步,逐步加入工具调用等功能。但我觉得真正找到手感的一个时刻,是做了“金门大桥 Claude(Golden Gate Claude)”,不知道你还记不记得?

Lenny:不记得,讲讲。

Diane:这个功能大概只上线了 24 小时。2024 年初我们发布了一项可解释性研究成果,模型的不同层里有所谓的“特征”,每个特征代表某种主题。研究人员识别出了“要点式写作”、“人物”、“地点”等特征,还有一个特别突出的就是“金门大桥”。当我们把那个特征的权重调高,Claude 就会在每一个回答里都强行扯到金门大桥。比如你问“给我个意大利面食谱”,它会说“给你食谱,另外这个面的橙色就跟金门大桥的国际橘红一模一样”,非常无厘头。

但我们觉得特别有意思,就想把这个东西带给真正的用户。整个功能从想法到上线只用了 24 小时,工程、产品、设计、研究全团队联动。最后可能只有 2000 人用到了,但它给了我们一个信号:我们可以用创业公司的速度,用我们自己的方式,做出跟竞争对手不一样的东西。 那是我们找到身份认同的隐形转折点之一。后来 Labs、Claude Code 等一系列产品,都是沿着这条路走下来的。整个过程非常自下而上,工程师、设计师都是自愿贡献时间来做。文化和价值观从早期到现在,其实一直没变。

1

关键里程碑:Opus 3 与 Opus 4.5 的转折

Lenny:从当时那个试图与 OpenAI 这个巨无霸竞争的小实验室,到今天这个位置,还有哪些大的转折时刻让你印象深刻?

Diane:绝对是我们训练和测试 Opus 3 的时候。那时公司还不到 200 人,非常清楚我们需要、也想要创造一个前沿模型,这对我们触达用户、消费者以及展示研究能力非常重要。我们也在寻找答案:为什么有人要选择 Claude?这是早期我们被问到的核心问题。

Opus 3 在 2024 年 3 月初发布,但此前许多个月,推理、研究、微调、预训练等各个团队在不同时间点团结起来,朝着一个共同目标努力。当时是 12 月,所有人都窝在父母家里过寒假,视频会议里能看到每个人的童年卧室背景,大家都在拼命想:我们要用这个模型解决什么问题?它的呈现方式对不对?

那段经历建立了非常深厚的信任基础。当时很多研究负责人,现在已经是强化学习、角色塑造、对齐工作的带头人。那种早期在战壕里一起摸爬滚打出来的信任,让我们今天在产品和研究之间的协作也非常顺畅。

还有一个关键决策是押注编程。2023 年我刚加入时,没人会把 Anthropic 和“写代码”联系在一起。竞品模型(比如 GPT-4)当时确实有人拿来写代码,但这只是众多使用场景之一。我看到的是,人们不仅用模型做代码补全,还在让它写大段的代码。于是我们想:能不能专门把 Opus 3 往这个方向优化?从训练角度来说这其实只是一个相对小的调整,但它在早期帮我们实现了差异化,吸引了大批最早期的 Claude 开发者和爱好者,因为我们提供了他们认为当时还不存在的东西。

Lenny:你提到 Opus 3 很有意思,现在回头看觉得那是很久以前的事了,但在当时内部确实是重大里程碑。那更像是一种信心上的突破,我们真的能发布一个前沿模型,虽然跟今天的模型比起来已经不算什么了。Opus 4.5 是又一个飞跃吧?也是一年后,也是寒假。

Dianne:对,Opus 4.5 绝对是另一个大时刻。它的魔力在于,我们不仅有了更好的模型,还有了一个伟大的产品载体,Claude Code。我们团队常说一句话:你需要前沿产品,才能承载前沿模型,才能让用户感受到前沿模型的魔力。Claude Code 在发布前好几个月我们就已经在内部感受到了它的潜力。但模型智能水平跨过了一个门槛,用户能在非常广泛的层面上体验到前沿智能,能以代理的方式端到端地完成任务,那才是真正的转折点。这两件事是互相成就的:没有 Claude Code,Opus 4.5 不会有那样的高光时刻;没有 Opus 4.5,Claude Code 的普及速度也不会那么快。

Lenny:Dario(Anthropic CEO)很有意思,回头看他所有的预测,他一直说“编程将在一年内 100% 被解决”、“AI 会写所有代码”。当时所有人都说“不可能,这事太复杂了,AI 怎么可能做好人类做的这么复杂的事”,结果他完全说对了。

他还经常说我们现在正处在“指数曲线”上。不久之前新模型发布时,所有人都在说“到头了,平台期了,没增长空间了”。现在完全反过来了,我们就在指数曲线的内部,也就是说每一次进步都是巨大的飞跃。身处这个历史性时刻内部是什么感觉?人们应该怎么为接下来更快的加速做准备?

Dianne:我在团队里常说:我们大多数人并没有亲历互联网从“新奇玩意”变成“人人可用”的那个转型期,现在这种感觉正在重演。类比一下,有几点很重要:

第一,适应性变得至关重要。我们有评估集,有安全测试、红队测试,有各种原型和产品,Claude Code、Tag 等等,但几乎不可能准确预测某个模型会在哪个时间点带来什么变化。面对新信息时,你能快速调整还是死守原计划,这种敏捷性是关键。

第二,在这种节奏下,你必须用第一性原理去思考:下一步是什么?那又怎样?我们应该投资什么新产品?怎么向用户解释这些差异?当你发现“原本计划几个月后才可能实现的事,现在模型已经能做了”,你就要立刻行动,把东西带给用户。协同工作、Skills、Tag……这些都是这种正反馈循环的产物。

还有一点是对彼此的信任。不同团队感受到指数曲线的速度不一样,你得用包容的方式带着整个组织和公司一起往前走。

Lenny:所以核心就是:每次模型发布前你都不知道新的可能性是什么,所以最重要的能力就是保持适应性。产品本身要能跟上可能性。模型能力很强,但人们可能不知道能拿它做什么、不知道怎么用,所以产品要降低这个门槛,甚至直接告诉用户“你可以这样做”。

Dianne:没错。规模律论文里有一些很有意思的图,大家都很熟悉那个“损失随算力和数据增加而下降”的平滑曲线。但论文里其实还有另一组图,展示的是“新兴能力”,这些能力的出现是不连续的跳跃。模型突然就从“算不出 1+1”变成了“能稳定计算 1+1”。这种跳跃在发生之前几乎是不可预测的。这就是为什么安全更难做,除非你有评估集、有测试系统,否则这些跳跃可能已经发生了你都不知道。

Lenny:这太有意思了,你可能开发出了一个能做某件事的 AI 大脑,但你甚至不知道它能做这件事。所以工作的一部分就是不断发现:“哇,我们突然变得特别擅长这个了,那能用它做什么?”

Dianne:用产品经理的语言来说,就是“产品过剩”和“用户过剩”。即使在今天的模型上,我们还有很多东西可以探索,更不用说 Fable 了。这种“发现”本身就是 Anthropic 早期 DNA 的一部分,也会继续是我们产品、实验室、研究运作方式的核心。

1

Token 最大化:花 10 万美元提前活进 2028 年

Lenny:Gary Tan(YC 总裁)有个观点:如果你现在每年愿意在 token 上花 10 万美元,你过的就是 2028 年普通人的生活,到那时这成本根本不值一提。现在有一个“阿尔法”机会去提前体验未来,疯狂花 token。你怎么看这种“token 最大化”?

Dianne:我更多从产品角度看,token 消费只是输入,真正的输出是你说的“实验”。如果我们的目标是用实验驱动发现,那么可能有多种方式达成那个结果。

但我可以告诉你:内部最有创造力的思考者、最好的原型制作者,都会花大量时间跟每一个新版本的研究模型打交道。你必须亲自用模型,才能产生好想法、更好的想法、惊艳的想法,这事谁也替不了你。在技术变化这么快的时代,不动手光想策略,几乎不可能想明白。

同时,我们内部还在做另一件事:公开工作。早期产品界面比较少的时候,我们有一个 Slack 频道,几乎全公司的人都在里面测试早期版本的 Claude,尝试各种用法,有的人用它改文章,有的人用它润色邮件,没人管这叫“用例”,但大家都在做。神奇的是,有人想到一个点子,其他人试了不同的变体,大概 10 次左右的尝试之后,就会出现一些真正神奇的东西,或者一个新的用例被发现了。

实验不一定是个人运动,我们可以在实验时做更多的“共同发现”。

Lenny:这太有意思了,我们不确定它能做什么,所以要靠大家不断试、不断分享,才能把可能性摸清楚。宏观上我们都知道模型能写好文章,但“具体能解决你的什么痛点、怎么把它变成一个普通用户能用的东西”,那才是需要探索和实验的地方。

你负责 Labs 团队的产品。Labs 是什么?怎么运作的?为什么能在核心产品团队之外做出这么多创新的东西?

Dianne:Labs 的核心理念是识别和探索那些不在核心路线图上的“不连续的大赌注”,搞清楚这里面到底有没有东西,以及这个“东西”的 10 倍、100 倍、1000 倍在哪里。

比如 Claude Code、Skills,还有最近的 Claude Design 和 MCP。我们在团队内部强调的是:现在能做的事情太多了,关键是怎么判断一个“不连续的赌注”是否值得押。今年我们采取的一个方法是,对主题和方向保持坚定,对具体的原型保持灵活。所以本质上是一种实验文化。工程师非常自主,自己驱动去尝试不同的想法。有时我们的假设在当下还不成立,那就等一两个模型代际之后重新审视。即使原型最终没有发布,只要帮我们学到了东西,那就是有价值的。

Lenny:在一个本来就如此创新、如此高速的 Anthropic 内部还要再建一个 Labs,这本身就挺有意思的。Labs 能运作得这么好,核心原因是什么?

Dianne:还是团队文化。Ben(Mann)设定了很高的愿景,推动大家去想 10 倍、100 倍。Labs 内部的小组都很小,有时候一个想法就始于一个工程师。如果让一个很大的团队去追一个很模糊的大想法,反而会因为人多而慢下来。

另外,我们也筛选人,要的是真正想做 0 到 1 实验的人。这不容易,有很多赌注你最终会关掉、会放弃,也许以后会再捡起来。但你投入了全部心血,像一个创始人一样为一个想法奋斗,然后它没成,这很难。所以你要找的是那种真正热爱 0 到 1、为此充满激情的人。

Lenny:你还领导产品和研究团队的协作。很多人不太理解 AI 实验室里的研究人员到底每天都在干嘛。我的想象是:他们有一个改进模型的假设,找数据、调算法、检查训练方式、测试、看结果、不断迭代,大体对吗?

Dianne:那是很大一部分日常工作。但研究组织和研究人员还有一个层面,对未来的宏大愿景。比如 Anthropic 创立之初,研究人员就在讨论“怎么让 Claude 用电脑”、“怎么让 AI 导航屏幕”,研究人员身上其实有很强的创始人能量,非常大胆、非常有野心。

所以一方面是对这项技术能走到哪里的长期愿景,另一方面是“既然 Claude 已经在用户手里了,怎么让它今天变得更好”,两者兼顾。

我团队和研究人员合作的方式是深度嵌入到这些循环中,特别是在对用户影响大的领域,视觉、计算机使用、编程、代理编程、工具调用、测试时计算等。我们要做的是把用户反馈带到研究人员面前,并且让它可理解、可操作。

比如用户在 Claude.ai 上反馈“Claude 产生了幻觉”,这种反馈太模糊了。你跟研究人员说“请修复幻觉问题”,他没法动手。所以我们的工作是拆解:用户是在什么场景下给的反馈?Claude 当时应该调用什么工具?是不是看了正确的文档但提取了错误的事实?第一种情况是工具调用失败,第二种是搜索和知识合成的问题,也可能跟对齐有关。把这些细节带到研究人员面前,判断这是不是足够大的问题,然后建立评估集来衡量改进效果,这才是研究人员日常能用的语言。

Lenny:我最近跟人聊天,感觉 AI 研究现在是最热门的职业方向。从你观察来看,成为顶尖研究员需要什么?

Dianne:在 Anthropic,最成功的研究人员和研究领导者有几个共同点:

第一,极强的第一性原理思维,对问题的推理非常深入。

第二,对自己研究领域的热情,以及对未来有非常大胆的设想。

第三,真正贴近细节。我们的首席科学家、微调和强化学习负责人,真的会去看训练运行的评估结果、看底层数据。愿意贴近细节、对细节感到兴奋,是优秀研究人员的标志。

还有一点是思考的格局要大,像 Dario 那样说“我们要改变软件工程”。朝着那个方向走,你会学到很多东西。你必须敢于瞄准星辰大海。

Lenny:“更有野心”这个说法现在经常出现,说起来容易做起来难,真正的问题是“你到底能做多大”。这恰恰是 AI 解锁的东西。

Dianne:对。在方向上保持执着,在具体方法上保持灵活。技术变化这么快,你怎么保证你正在做的东西是“向前兼容”的?所以思考未来也是产品开发循环的一部分。我经常问团队:假设 Claude 8 出来了,用户的行为会有什么变化?你今天做的产品跟那个未来兼容吗?所以“有野心”不是漫无目的地大,而是保证所有方向是连贯的、有意义的。

Lenny:说到野心和 Claude 8,Fable 模型感觉触碰了一个全新的临界点。以前是“我们有个好模型,发布了,大家用吧”。但 Mythos 走了完全不同的路,被暂缓了,有很多审查,担心它能力太强。所有公司都得确保它不会黑进别人的系统。感觉以后每个模型都会面临越来越多的审查和使用限制。你怎么看这个变化?

Dianne:政策和出口管制方面我留给负责的同事。从产品和内部运作的角度来说,随着前沿模型越来越强大,安全保障、红队测试、预发布流程也必须快速演进。比如在 Fable 模型之前,我们没有那么强的“后备用户体验”系统,因为我们的目标是最大化技术的正面收益、最小化严重风险。现在我们会构建后备系统,让用户在遇到限制时仍然能从 Opus 4 获得很好的体验。

所以问题变成了:我们在提升安全系统的同时,怎么继续交付优秀的用户体验?两边都有很多工作要做。接下来几周和几个月,你们会看到我们在“模型安全保障包”上持续创新和改进。

Lenny:这带来一个很有意思的次级效应,Anthropic 内部能接触到最新的、最强的模型,而外部不行。这创造了一种不公平的优势。当然你们希望所有人都能用上,但事实就是如此。

Dianne:我们的目标是把这些系统和模型做得尽可能包容。我们不希望通用技术被过度限制,让它们更容易获取是我们目前的最高优先事项之一。

1

AI 时代的产品招聘:三年没变的标准

Lenny:AI 成为生活核心之后,产品角色在怎么变?你招聘 PM 时最看重什么?

Dianne:我团队的产品招聘流程三年没改过,我们看重的特质和评估方式一直是一样的。排在第一位的是第一性原理思维,不是照搬你在消费产品或者 B2B SaaS 里的老经验,而是在当下这个时刻、对这群用户、用这项技术,真正想清楚“用户价值是什么”。

Lenny:很多人听到“第一性原理思维”就说“我当然擅长”。有什么具体的例子吗?

Dianne:传统上,产品经理通过写 PRD 来体现自己的价值。但对我的团队,研究产品经理来说,驱动用户价值的方式是找到正确的用户反馈,也就是评估集,那是用户需求的具象化。我们也写 PRD,但我们内部有句话叫“评估集就是新的 PRD”。

所以第一性原理思维就是:搞清楚“为了达成目标,我现在应该做什么”,而不是“我以前做过这些事,所以继续做”。

过去的工作方式是:有一个想法→写 PRD→对齐→设计→开发→发布→看效果→迭代。现在变成了:收到用户反馈→把反馈拆解成可衡量的评估集→用评估集驱动改进。这是一套全新的工作方式。

Lenny:那评估集到底长什么样?能举个例子吗?

Dianne:早期 Claude 模型在遵循特定输出格式上表现不好,比如输出 JSON。而 JSON 是 Claude 成为好代理的基础,输不出正确格式就没法调用 API、没法用工具。

我们当时收到反馈说“Claude 不太擅长遵循指令”。我们追问用户:“你说的‘不太擅长’具体指什么?什么情况下发生的?你问了什么?Claude 回了什么?”挖到那个细节层面之后,我们发现大概 80% 的所谓“不擅长遵循指令”其实是指“Claude 没输出正确的 JSON”。

然后我们就做了 30 到 40 个“Claude 没做对”的例子,这就是评估集的雏形。每个例子包含一个提示词和一个响应,如果响应不符合预期,就说明这个评估集有效地识别了一个真实痛点。我们把它加入评估仓库,每次新版本 Claude 出来都跑一遍。现在这个评估集已经是 100% 或 99.9% 通过了,它不再是痛点了。但早期那个“从模糊反馈到可执行评估集”的流程,就是我们现在做事的模板。

Lenny:所以这就是 PM 的“测试驱动开发”,先写测试。评估集现在是 Anthropic PM 工作的核心了吗?

Dianne:是的。我也跟其他公司交流过,这个能力正在越来越广泛地成为产品经理的必备技能,因为我们做的很多产品本质上是“模型 + 上下文 + 用户”的组合。你无法改进你无法衡量的东西。而且模型的输出是非确定性的,每次答案都不一样,所以你不能靠“精确匹配”来判断好坏,必须更宽泛地描述问题。评估集就是这样一种工具。

Lenny:那你们现在完全不写 PRD 了吗?

Dianne:没有,也写。当问题定义明确时,评估集本身就是最好的表达。但在其他场景下 PRD 仍然很有价值,特别是当你需要让一大群人对齐目标时。我们其实为每个模型都写 PRD,不一定是给研究人员看的,而是给不断增长的产品界面、工程团队、法律、安全等利益相关者看的,确保大家在同一个方向上用力。

PRD 还有价值的另一个场景是:模糊的问题和机会。比如我们还没发布“计算机使用”功能时,没有现成的用户痛点数据,PRD 中的产品愿景部分可以帮助我们探索“如果技术还没准备好让所有人用,怎么让它先对某一小群人有用”。

所以 PRD 没死,只是应用方式不同了。

Lenny:还有什么新的特质是你现在更看重的?

Dianne:对中高层产品管理者特别要说的一点是:要想管好做 AI 产品的团队,你自己必须非常亲力亲为,不是仅仅花时间“玩玩”,而是真正用它来发货、贴近细节、跟你的 PM 和工程师一起“打磨 token”。

即使我招的是资深 PM,入职计划和刚入行的 PM 完全一样,理解用户、阅读用户反馈、跟客户聊天。你没有亲手做过,就很难真正理解“好的 AI 产品应该长什么样”。所以我一直要求自己,在模型发布周期里留出时间亲自负责一两个工作流,保持手感,保持对模型进步速度的感知,这样才能帮团队做更好的决策。

Lenny:所以不管你在公司的什么位置,如果你自己不构建、不跟 Claude 对话、不亲手做东西,你就做不好。

你还提到要“享受这件事”。但对很多人来说,他们是被迫用 AI 的,或者不知道怎么用,觉得很烦、变化太快、很累。有什么建议能帮他们找到乐趣?

Dianne:我想再强调一遍:实验不是个人运动。很多最快乐的时刻来自于看到别人也发现了新的用例。所以建议是:找一个对这项技术充满热情的人搭档,在一个你关心的用例上一起工作,而不是自己一个人闷头找“完美用例”,那会像工作,和别人一起更像是乐趣。

内部经常有这种情况:某个好奇的人分享了一个新原型的想法,立刻吸引了很多人,“哦,我不知道 Claude 现在还能做这个”。这就是良性循环。

Lenny:对,Twitter(现在叫 X)在这方面特别有用,你看到别人分享的东西,就会被启发去尝试自己的东西,分享自己的成果也很好玩。还有一个建议我经常听到:找一个你想解决的生活或工作中的问题,打开 Claude Code 直接告诉它你想做什么,从一个模糊的问题出发,你能走很远。

Dianne:对。难的地方在于可做的事太多了,所以要聚焦,要么找一个有热情的人搭档,要么找一个你能立刻发现价值的具体问题。这两条路都能让你走得更深,而不是浮在表面什么都碰一下。我自己也跟不上外面所有的新原型和产品,所以我的策略就是在 1-2 个东西上深度投入。

Lenny:我们刚做了一个读者调查,最有趣的发现之一就是:幸福感来自于在几件事上深入,而不是蜻蜓点水地做一堆事。当 AI 真正改善了你的生活,而不是给你一堆半成品,那种感觉才是真正的快乐。

Dianne:对。这是从“打卡交差”到真正有意义的转变。对产品人来说,这是对时间和精力的优先级排序。Anthropic 的秘诀之一就是文化,自下而上、公开实验、带着别人一起走。这最终会带来巨大的价值。

1

Dianne 自己怎么用 Claude?

Lenny:你自己在工作生活中有没有一些有趣的 Claude 用法?

Dianne:Fable 和 Tag 有很多新东西可以探索。Tag 让你在一个完全不同的范式里工作,让一个代理自己去干活,然后把成果带回给你。

还有一个用法我经常跟团队分享,用 Claude 成为更好的管理者。我用了很多 Claude 来准备“关键对话”,我特别喜欢《关键对话》(Crucial Conversations)这本书,所以我做了一个“技能”(Skill),让 Claude 根据书里的框架帮我判断:在某个情境下我的细节程度是否恰当?帮我成为一个更好的教练、更好的支持者。因为有时候你很难在当下找到最完美的措辞,而模型很擅长找到“正确的词”。

Lenny:所以你建了一个技能,让 Claude 基于《关键对话》的知识(它自己就知道,你都不用输入内容)来帮你准备棘手的对话。

Dianne:对。几乎像是一对一的个性化教练。我们每天做大量的上下文切换,有 Claude 帮忙思考、帮忙预演,虽然有时我最后不会采用它的建议,但头脑风暴的过程本身就很有价值:我对反应方式的思考对吗?怎么更快地深入?怎么更快地建立信任?

Anthropic 首位技术 PM:AI 时代,Evals 是新的 PRD图3

Lenny:有人担心,跟 AI 说话太多,人会变得像 AI 一样说话,变成那种“Dianne,不是这个,是那个”的风格。你担心这种“脑萎缩”、过度依赖、停止独立思考的问题吗?

Dianne:对我个人来说,思考和写作是紧密联系在一起的。我会用 Claude 来增强思考,但必须确保一件事:Claude 不能接管我的思考。所以取决于情况,取决于我想在某个情境中保留多少个人判断,我会先形成自己的观点,然后再跟 Claude 推敲。确保我的感觉和语气始终是自己的。

有些场景就不一样,比如月度业务回顾,我希望它更标准化,更“清晰提炼”。我有这方面的技能,正在改进它,但我希望最终能到这样一个程度:月度业务回顾的“写作”部分价值不大,真正有价值的是“思考”,所以我把写作完全委托给 Claude,自己只做审阅和验证。

所以关键在于:你拿 Claude 来做什么、你想传达什么,以及在这个场景里委托给 Claude 有没有“不对称的价值”。

Lenny:所以核心建议是:先有自己的观点,再把 Claude 当作“陪练伙伴”来反驳和发展你的想法。

Dianne:对。这就是对齐研究和安全研究的价值所在,你不想要一个只会附和的 AI,你想要的是一个能让你变得更好的技术。有时 Claude 的反驳让我变得更好,就像同事一样,你希望他们在你想法还不成熟的时候反驳你。

Lenny:Ben Mann 在播客里提到过 Claude 内置的“宪法”,对安全和对齐的关注。你可能会觉得这会限制 Claude,让它变得无趣,但事实恰恰相反:Claude 是最有人格魅力的模型。为什么?

Dianne:要让 Claude 尽可能智能和有能力,一个核心能力就是知道什么时候该反驳你,帮助你得出更好的结论。我甚至用 Claude 来帮助定价决策,有点“元”,但用研究版本的 Opus 问它“我们应该怎么定价”,能得到更好的结果。AI 不仅仅是助手、不仅仅是执行者、不仅仅是“被分配任务”,它能判断“自己是不是在做正确的事”,这跟“知道何时反驳”是同一个能力。主动性不一定是按计划做某件事,而是知道什么时候该产生一个新想法。所以 Claude 更“有用”的前提是:它知道什么时候该反驳。这是模型特质的核心。

Lenny:所以“不那么顺从”反而让它更好用,因为我遇到过太多人说“AI 说我是对的”,但事实上我们需要的恰恰是有人反驳。

Dianne:对。这就回到“如何保护你的思考”这个问题。如果 AI 能成为你的思考伙伴,思考伙伴不是只会同意你,它应该为你增值,让你在一天结束时因为跟 Claude 合作而有了更好的想法,那才是真正的目标,不只是“让你想法好 10%”。

Lenny:我喜欢这个。以前大家说的是“10 倍思考”,现在听到更多的是“怎么从这件事出发做 1000 倍?”,最雄心勃勃的版本是什么?

有意思的是,大语言模型按理说应该特别擅长写作,但 AI 写的东西总是一眼就能看出来。你觉得会有一天我们分不清是不是 AI 写的吗?

Dianne:这取决于你“想知道”的目的是什么。我其实认为我们在让 Claude 写得更好这方面还可以做很多,我的团队和研究端都有非常积极的努力在推进这个方向。

关键在于写作的目标是什么。比如月度业务回顾,我其实很乐意让它从头到尾由 Claude 写,而且不要让它感觉像人写的。

Lenny:所以有时候知道它是 AI 写的反而是好事?

Dianne:对。但角度可能更多是“可验证性”或者“谁在验证输出”,谁在签字。这比“谁在写”更重要。

Lenny:那你觉得为什么 AI 不擅长写作?我的猜测是它学遍了人类最好的写作,总结出了“最好的写法”,但写法就那么多,所以我们已经识别出了 AI 的套路。

Dianne:部分原因是我们还需要在训练改进上投入更多,让 AI 在写作领域持续变强。另外,技术是“锯齿状”的,之前模型写作好但不擅长做代理,我们的重点是“让模型更代理化”。现在代理能力提升了,写作就变成了更明显的短板。所以我们现在正处在一个需要重点训练写作能力的时刻,这是我们的一个非常活跃的领域。

Lenny:在通往 AGI/超级智能的路上,你觉得人类大脑在哪些方面还会持续有价值?

Dianne:我们最近一两年开始重点让 Claude 和模型在“判断力”上变得更好。判断力是大量细微差别和经验的积累,这些系统没有像人类那样经历过那么多。所以这种来之不易的判断力,对产品领导者也好、对所有人也好,会继续非常关键。

AI 能做的事情太多了,但哪些是 Anthropic 这样的实验室应该去做的?这需要人类的判断、坚持、主动性,这些不仅仅是“通用能力”,而是行为层面的特质。怎么找到最佳解决方案、怎么创造最好的体验,这些特质会持续重要。

另外还有专业领域知识,软件工程已经被 AI 改变了,但生物学、生命科学等领域我们可能还处在指数曲线的脚下。所以你会看到我们发布了 Claude Science,在这些领域投资,那是把技术带给社会、创造正面价值的方向。

Lenny:作为妈妈,你怎么看待孩子在这个新世界里应该学什么?

Dianne:其实还是那些老生常谈的,好奇心、坚持、相信自己内心的声音。我有一个 4 岁的孩子和一个 8 岁的孩子,我的责任是帮他们发展“内心的声音”,有主见、敢于表达立场、敢于坚持。这些技能在未来仍然很重要,拥有他们自己的、独特的个人声音。

Lenny:这和你之前关于“避免脑萎缩”的回答完全一致,在过度 AI 之前,先有自己的观点和视角。在孩子身上培养这个真的太重要了。

Dianne:对,对孩子和成人都适用。

Lenny:我最近在一个活动上,一群父母在聊怎么让孩子接触 AI。有个人说了一个有趣的方法,让孩子用早期模型,这样他们还得“挣扎”一下,而不是立刻得到所有答案。

Dianne:嗯。好奇心,Ben Mann 对这个问题的回答我一直记得,就是好奇心和蒙特梭利教育法。我们也在往这个方向鼓励孩子。

Lenny:Fiona Fun 建议我问你:作为一个妈妈,身处 AI 风暴中心、身处 Anthropic 的研究工作,你怎么保持充电、防止 burnout?

Dianne:2024 年我们全年发布了 4 个模型系列,今年仅仅 Q2 就超过了那个量。我感到非常幸运的是我们建立的团队,研究端的合作伙伴和研究产品管理团队都非常出色。

接近这一切的“神奇之处”在于:这不是个人运动。有一种彻底的“主人翁意识”和团队协作,有时确实感觉像在打高强度的竞技体育,因为你面对的是非常关键的决策、不断涌入的关于用户和训练的新信息,你必须快速提出建议、做出判断。没有人能靠自己持续做到这一点。

所以真正有帮助的是拥有一个互相照看的优秀团队,发布前一晚,即使不是那个模型的 DRI,也会熬夜帮忙审阅博客、做编辑、想更好的 demo,做彼此的“额外一只手”。如果你把所有变化都扛在自己肩上,很容易觉得孤单、觉得必须什么都自己做。但 Anthropic 的一个神奇之处就是:我们能找到机会互相帮助,然后“多走一英里”,我们管这个叫“进入蜂巢思维”(有一篇文章写过)。这让团队能够恢复,不只是你休假回来面对三倍的工作,而是你休假时知道团队能搞定正确的事,每个人都能互相照看。

个人层面,我的伴侣也非常支持,这是我在 AI 领域的第六年(亚马逊然后 Anthropic),他看到了我对这项技术的热爱,这从个人角度也很有帮助。

Lenny:这个回答和你之前关于“找到乐趣”的回答完全一致,有其他人、跟其他人一起工作、在事情变得疯狂时互相帮助。

Dianne:对。Fiona 最近上播客时我问她软件工程世界有什么变化,她说现在更孤独了,因为现在你在跟代理合作,而不是跟其他人。团队更小,人们每天跟一堆“舰队”说话。所以这件事提醒了我们:身边有真实人类的力量是无可替代的。

1

PM 不仅没死,反而更需要

Lenny:最后还有什么想说的吗?

Dianne:这次对话真的很有趣,你的问题帮我理清了思路。我想传达的核心是:

第一,这是巨大的成长和变化,在使用这项技术中找到乐趣。如果你现在感觉不到那种最初的快乐,去找那些有快乐的人。

第二,发展技能组合,用第一性原理去思考你解决的是什么问题。

你没问但我主动想说的一点是:社区里经常有人问“模型这么强、工程师这么能打,我们还需要 PM 吗?”我认为那些以用户为中心、深入理解用户要完成什么、以可操作的方式提炼出来、做那种不懈工作的人,那才是一个产品人员的核心。我反而觉得我们需要更多这样的人。我们在变得越来越技术驱动,但要让技术产生真正的影响力,你必须深入、必须好奇、必须超级亲力亲为,这些特质正是 Anthropic 在产品和模型开发中走到今天的部分原因,也是我们文化的一部分。希望对大家也有启发。

Lenny:太棒了。我也一直在说:现在“构建”变得容易了,困难的部分变成了“我们应该构建什么”以及“我们构建的东西对不对、好不好、值不值得投入”,那正是 PM 的职责所在。

Dianne:对,深入用户的细节。共情。

Lenny:好的,PM 们会活下去的。PRD 没死。两本你常推荐的书?

Dianne:个人方面是《How to Raise an Adult》(如何培养成年人),它说的是我们不是在“养孩子”,而是在“养未来的成年人”,这个框架很有帮助。另一本是 Eric Ries 的《Incorruptible》,我对“如何让伟大团队和公司持续前进”特别感兴趣。

Lenny:最近喜欢的剧?

Dianne:亚马逊的《Fallout》(辐射),机智、幽默、动作戏拉满,强烈推荐。

Lenny:最近发现的好产品?

Dianne:Claude Tag,内部不同版本用下来,感觉真的是一个非常强大的工具。

Lenny:最喜欢的人生格言?

Dianne:我是祖父母养大的,父母是留学生,在美国读本科和硕士。祖父常说:“无论你走多远,总还有下一层。”这是一种挺强硬的人生哲学,但每当我面对新的、前所未有的事情时,都会想起这句话。永远有下一座山、下一个机会,还不够好,得更好、得更大。

Lenny:Ben Mann 那句话很配这个,“这是未来最正常的一天了,以后只会更奇怪、更疯狂。”

Dianne:对,我们没事的。

Lenny:最后一个问题,你早期在 JP Morgan 做高收益债券交易员,管过上亿美元的交易组合。那段经历教会了你什么?

Dianne:那段经历教会的很多东西我现在还在用。交易大厅,跟《华尔街之狼》里那种不一样,大部分交易员都在终端前做分析,但还是非常男性主导。我是交易台上唯一的女性、唯一有那种背景的人。我学到的是:那是一个非常好的环境来建立真实的自我,以及即使你是最资浅的人、即使你跟别人不一样,最好的想法、对最好想法的信念,是最重要的,其他因素都不重要。

所以我现在在工作中的风格是,对团队非常坦诚、真实。无论级别或资历如何,如果有好的想法,就帮他们去实现;对自己也一样,把想法说出来,真正有信念,跟进,做那些琐碎的工作让它发生。这些都是我从交易中学到的,适用于任何工作。

Lenny:大家怎么找到你?

Dianne:我在社交媒体上没有很大存在感。最好的方式是关注 Anthropic 博客,我们发布新模型和新产品体验的地方。

对我最有用的:你的反馈。如果你在我们产品界面上点赞或点踩,或者跟销售人员反馈模型的任何问题,都会到我这里。每发布一个研究模型,我都会非常贴近地去理解用户满意度和反馈。所以给我们反馈、推动 Claude、告诉我们哪里不行,都能帮我们把 Claude 做得更好。

另外,我正在招聘,如果你认识那种热爱这项技术、有深度好奇心、第一性原理思维、无畏质疑假设、有捣鼓精神的人,欢迎推荐。

Lenny:所以是 Anthropic 研究团队的 PM 岗位开放?

Dianne:对。

Lenny:官网上申请?

Dianne:对。

Anthropic 首位技术 PM:AI 时代,Evals 是新的 PRD图4
点个爱心,再走

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI IC
more
深耕AI科技与体育赛事  驱动国内外纵深布局
Cyera拟斥资10亿美元收购Oasis Security,AI代理安全赛道再掀并购潮
关于 AI 手机的一些思考
一个资深从业者看到的WAIC:成熟、瓶颈、同质化
英伟达发布自主AI工程师,芯片设计全流程自动化加速落地
86.3%,突围CyberGym!超越OpenAI、Anthropic的竟是一家中国AI公司
AI智能体时代来了,哪种存储器机会最大?
给产线装上“AI眼睛”“AI大脑”,成都科技企业把中国标准卖到全球|在成都创未来
三星电机与Soulbrain合作开发玻璃基板材料
首个鸿蒙PC开源AI统一工作台JiuwenSwarm,办公编程一站式搞定
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号