TPU和GPU究竟有何区别？

起初，我们有了 CPU 和 GPU。接着，AMD 推出了加速处理器（APU，如果你想叫得花哨点的话）。随着 AI PC 和智能手机的降临，我们又迎来了 NPU（神经网络处理器）。而现在，多亏了谷歌，我们又认识了一款新芯片：TPU。TPU（张量处理器）最初由谷歌于 2015 年在内部部署，是该公司专为处理人工智能和机器学习（ML）工作负载所需的所有复杂数学计算而设计的专用 AI 加速器。TPU 专为云端应用而设计，主要用于数据中心。然而，这个词最近也出现在了搭载谷歌 Tensor G6 芯片的新款 Pixel 11 智能手机中，谷歌官方称该芯片集成了“计算能力提升 50% 的 TPU”。

那么它到底是什么？令人困惑的是，答案两者皆是。在 Pixel 11 系列智能手机中，TPU 基本上就是谷歌对 NPU 的高级炫技称呼。手机端版本的 TPU 主要负责处理相机、图像渲染以及本地 AI 任务。然而，尽管有些许相似之处，数据中心级别的 TPU 与手机端版本、传统 NPU 以及 GPU 之间却有着截然不同的区别。为了帮你梳理清楚这些芯片术语，我们将在此为你正式介绍真正的 TPU，并澄清一些常见的误区。

问得好。TPU 是谷歌专门为了在其数据中心处理云端 AI 和机器学习任务而研制的芯片。作为一种 AI 加速器，TPU 经过专门优化，能够在 AI 模型中实时进行数以百万计的数学计算——这一点 NPU 和 GPU 也能做到。

我们一直在大谈 AI 和 ML，这会让许多人联想到 NPU。也难怪大家会这么想，毕竟在苹果、各大 PC 及手机厂商以及芯片巨头的铺天盖地宣传下，我们耳朵都快起茧子了。如果你还不了解，NPU 就是你现在所有现代智能手机、Mac 和 PC 中都能找到的那种芯片。无论是从照片中消除前任，还是用 ChatGPT 规划三天的旅行行程，它们承担了生成式 AI 和 Agent 智能体任务的所有繁重计算。而在 Pixel 11 手机上，TPU 取代了 NPU，谷歌声称其“AI 处理速度提升高达 3.5 倍，同时能耗降低高达 3.5 倍”。

GPU 对我们大多数人来说就很熟悉了，尤其如果你是游戏玩家或从事 3D 建模工作。在 AI 爆发之前，我们需要一块强大的 GPU，以便在最高画质下以极高的帧率和丝滑的渲染效果运行像《孤岛危机 3》这样极吃性能的显卡杀手级游戏。在 AI 时代之后，GPU 依然能胜任这些工作，同时还要承担 AI 训练和加密货币挖矿——这就是为什么如今顶尖的显卡价格昂贵得令人咋舌。作为一名全能型选手，GPU 可以根据其性能的高低，把许多事情都做得很好。

划分这些芯片组的主要依据是应用场景和算力规模。TPU 用于在谷歌数据中心运行的云端 AI，而 NPU、端侧 TPU 以及 GPU 则广泛存在于你的智能手机和笔记本电脑中。

TPU 的算力规模无疑是最大的。得益于其专用的架构设计，TPU 被广泛应用于加速大语言模型（LLM）和海量深度学习（DL）任务中的庞大计算。TPU 采用了一种名为“脉动阵列”（Systolic Array）的硬件布局，允许数据在二维乘法器网格中从一个单元直接流动到下一个单元，从而有助于消除潜在的性能瓶颈。这意味着上一单元的计算输出直接成为下一个单元的输入，而无需写回内存——这与 GPU 不同，GPU 总是在计算单元和高带宽内存之间频繁搬运数据。

在为 Anthropic 和 Midjourney 这样每天处理数十亿次 AI 请求的大型 AI 公司提供服务时，依赖基于 GPU 的解决方案可能会在瓶颈、延迟和能效方面付出高昂代价。由于 TPU 不需要来回循环读取和写入内存，因此它更适合训练大规模神经网络和其他海量工作负载。

至于存在于智能手机、物联网（IoT）设备和笔记本电脑中的 NPU 以及谷歌端侧 TPU，则仅限于处理 AI/ML 领域的轻量级任务。它们针对低功耗任务进行了优化，这也就是为什么它们非常适合处理相机特效和实时翻译等应用。端侧 TPU 确实可以运行大语言模型（LLM），但必须是体积小巧且专门针对本地定制的模型。

“更好”是相对而言的，每种 AI 加速器都有其最擅长的特定应用场景：

NPU 与端侧 TPU：更适合处理日常轻量级的 AI 任务。它们的低功耗特性意味着不会给你的智能手机、笔记本电脑或智能手表带来太大的续航负担。不过，它的性能依然足够强劲，可以实现实时翻译、在视频通话中虚化背景，或者帮你检索你发誓在 90 年代看过的那部冷门剧集。

数据中心 TPU：是帮助全球运行 AI/ML/DL 大模型的具备高性价比与高能效的解决方案。在极大规模下训练 ML 和 DL 模型并处理数以百万计的数学计算，意味着数据中心 TPU 纯粹是为大型数据中心而生的。

GPU：凭借其与生俱来的灵活性，GPU 既能胜任小规模也能承担大规模的 AI 工作负载，同时还能运行游戏、剪辑视频和进行科学模拟。如果你想在本地运行大语言模型（LLM），配置一块性能强劲的 GPU 依然是最佳选择。