Tenstorrent 正在打造基于开源架构的RISC-V CPU。
本届SEMICON TAIWAN 的大师论坛焦点，无疑落在Tenstorrent 执行长Jim Keller 身上。这位曾在英特尔、AMD、特斯拉等公司硬件部门任职高端主管，成功领导多个成功芯片开发计划，称之为“芯片大神”的传奇人物，演讲一开场就表示，Tenstorrent 将在台北成立办公室，开始招募人才，还将借开放原始码RISC-V 架构提出全新AI 处理器，用普通DRAM 和以太网构建高性能AI，让任何人都能建造和扩展，AI 应用普及更快速。
Jim Keller 不同于其他人，穿着T-Shirt 上台，说这次演讲部分是受邀，更重要的是Tenstorrent 将在台北设立办事处，已开始招募人才。因台北人才济济，不仅招聘营运人员协助与本地制造商合作，更找到许多优秀工程师，将投入小芯片（chiplet）工程、CPU 设计验证和AI 模型等关键领域。尤其中国台湾以主机板、封装、系统、晶圆等各工厂卓越制造闻名，他希望成为优秀制造团队的一分子。
一次恼人的逆向工程事件，解开Tenstorrent 思维禁锢
Jim Keller 表示，Tenstorrent 正在建造一座特殊的电脑工厂，目标是生产所有现代高端AI 电脑和高性能处理器所需的零组件。一直以来，Tenstorrent 一直致力于打造高端AI 电脑和具备大量IP 与技术的高速CPU，如今产品已经开始出货，包括可扩展的Galaxy box 服务器，以及为了回应客户抱怨噪声而设计的水冷quiet box 等。此外，还推出了PCI Express卡，并刚开始向客户提供Eson TPU 作为IP。令人兴奋的是，还已经将AI 处理器出货给多家客户，其中包含LG，他们将AI 处理器整合到电视芯片中。
对于这些Tenstorrent 的成果，Jim Keller 强调自己是个任务导向的人，虽然长远来看也希望公司能够赚钱，但更重要的是要有一个使命，就是当今AI 世界正在彻底改变一切，随处都可见对“千兆瓦”“兆位元组”产品的需求。但这一切都变得越来越大、越来越昂贵，而且很多技术是专有的。尽管有些模型是开源的，但大部分仍然是封闭的。因此，我的使命是创造更便宜、更快、更开放的新型架构。
为此，Tenstorrent 制定了一项宏伟计划，就是正在打造基于开源架构的RISC-V CPU。而这款正在开发的开放式AI 处理器，其来自于一个无意的开源软件，就是一位网络上的年轻人通过逆向工程公布了Tenstorrent处理器的所有细节，并发布了规格。这个看似恼人的事件，却反而促使Tenstorrent认为这是一个好主意。因为，如果有人想从头开始构建自己的AI 电脑，网络上很快就会有完整的规格和参考模型。
基于此，Tenstorrent还承诺将建立一个完全开放原始码的软件堆叠，从模型、编译器、快速操作器、运行时环境的底层指令集等，都将全部都是开放的。这代表着，如果用户购买硬件，可以清楚地看到所有内部运作。目标就是利用普通的DRAM 和以太网来构建高性能AI，让任何人都能建造和扩展它。
台积电6 纳米打造Black Hole 芯片，建构强大可扩展Galaxy box 服务器
Jim Keller 强调，在硬件方面，Black Hole 采用台积电6 纳米制程的芯片，它包含140 个张量处理器和RISC-V 处理器，并且支持GDDR6 DRAM 和片上SRAM。
Tenstorrent选择不使用HBM，因为它过于昂贵且封装复杂。Tenstorrent的策略是制造更多、更小、更便宜的芯片。例如，一块板上有八个Black Hole 芯片，四块板组成一个盒子，总共有32 个芯片，提供1TB 的DRAM 和16TB 的频宽。每个芯片都有以太网接口，所有连接都具备冗余，确保系统的可靠性。
就目前的情况来说，AI 训练的挑战在于尽管可以编写模型，但要使其快速运行却是一个复杂的HPC 问题。因此，Tenstorrent 的训练电脑拥有2,000 个Black Hole 芯片，相当于超过一百万个RISC-V 处理器协同运作，这需要巨大的协作和优化。
至于，实现低成本的AI 训练方面，目前许多大型AI 模型（如OpenAI 和XAI 的模型）可能是开源的，但对于Tenstorrent这些需要自己训练模型的人来说，能够以低成本进行训练至关重要。Tenstorrent的训练电脑由九个Galaxy box 组成一个单元，所有连接都具备冗余，即使有线缆故障也能正常运行。多个这样的单元可以进一步组成更大的训练集群，提供从上到下的一致视角，这让管理数百个Galaxy box 成为可能。
Jim Keller 强调指出，建造一个芯片成本高昂，Tenstorrent的Black Hole 芯片耗资约8,000 万美元。每次升级AI，Tenstorrent都需要再花费数千万美元来打造新芯片。因此，Tenstorrent的下一代解决方案是采用小芯片（chiplets）。Tenstorrent将CPU、存储器控制器和AI 等组件设计成模组化的积木。尽管现有多个小芯片互连标准，目标是确保Tenstorrent的芯片家族能协同工作，并与UCIe 标准兼容。
小芯片架构堆叠＋自行IP 整合，轻松拥抱AI 市场
Tenstorrent 正在努力实现芯片的独立迭代和组合成完整解决方案，将提供采用这些小芯片的解决方案，同时也将这些小芯片开放给希望自行开发解决方案的客户。为此，Tenstorrent发起了开放小芯片架构（Open Chiplet Architecture）计划，这不仅仅是芯片间的互连标准，还包括测试、重置、系统加密等所有组件。Tenstorrent将贡献所有相关IP 给这个联盟，甚至计划推出一种空芯片（empty chip）一个包含所有必要IP 系统的芯片裸晶，让客户可以轻松地将自己的IP 整合进去并快速推向市场。
最后，Jim Keller 表示，过去许多人会问Tenstorrent到底卖什么？答案是Tenstorrent销售Tenstorrent所做的一切。无论是IP、芯片还是系统，Tenstorrent都会销售。
Tenstorrent甚至还提供云端服务，让新创公司可以在Tenstorrent的机器上托管他们的应用。最终，我希望让下一代电脑设计变得更有趣。这使得人们觉得电脑设计越来越昂贵、越来越困难的情况消失。通过小芯片技术、更好的IP、更优化的验证以及开源的AI 驱动方法，电脑设计将会变得更好、更易于实现。希望能凝聚大家的力量，共同创造一个充满无限可能的未来。
