不用买专用芯片,二手 FPGA 也能跑 Qwen3?

FPGA技术江湖 2026-11-01 08:03

首先判断一个开源加速器值不值得去研究,看三件事

看完这个项目,可以沉淀出一套对同类开源硬件通用的判断标准:

  • 第一,可复现性:模拟器、编译器、指令集、RTL 是否齐备,能不能在无硬件时先跑通?

  • 第二,数据透明:有没有真实板卡的吞吐、量化和开销口径,而不是只给"理论峰值"?

  • 第三,门槛设计:是不是把"看的人"和"买板的人"分开,让学习者不用先花钱?

如果这三条同时成立,这个开源项目大概率值得你花几天去读源码(或者花Token去研究)。

本次的项目基本符合上面的几条--OpenTPU。

本项目Open RTL、ISA、模拟器和编译器,在浪潮 YPCB-00338 Kintex-7 PCIe 卡(Kintex-7 xc7k480t FPGA,两个 2 GiB DDR3 通道,PCIe Gen2 x8。)上运行 LFM2.5 和 Qwen3。

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图1
不用买专用芯片,二手 FPGA 也能跑 Qwen3?图2
图片来源互联网,仅供参考

绪论

本项目构建了 openTPU,目的是使 AI 加速器能够从 Python 内核一直到硬件层面都易于理解。它现在运行在 Inspur YPCB-00338 卡上,该卡配备了 Xilinx Kintex-7 xc7k480t 和 4 GiB DDR3 内存,用于执行语言模型。

该代码库包含 SystemVerilog RTL、指令集、位精确仿真器、内核语言/编译器、性能分析器和 Linux 主机工具。该项目也是一项利用人工智能代理进行硬件开发的实验。

看看它运行起来的样子

动画演示了 LFM2.5-230M 通过 otpu-chat 进行聊天,同时 otpu-smi 显示利用率和 DRAM 带宽。

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图3
不用买专用芯片,二手 FPGA 也能跑 Qwen3?图4

硬件和数据路径

主板通过 PCIe Gen2 x8 连接,并提供两个 2 GiB DDR3 内存通道。目前的设计方案结合了一个四列脉动矩阵单元、八条向量通道、LiteDRAM 内存控制器以及一个用于显式调度数据传输和计算的序列器。矩阵单元处理 int8 类型的操作数;向量单元处理 fp32 类型的操作;量化机制则将两者连接起来。

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图5

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图6


实体卡结果

使用 4 位权重和 int8 LM 头,README 文件中报告,LFM2.5-230M 的令牌处理速度为 82.1 个tokens/s,Qwen3-0.6B 的令牌处理速度为 30.7 个tokens/s(包含主机开销)。该协议在 512 个令牌的提示后生成 64 个贪婪令牌。代码库中记录了量化精度权衡和测试流程。

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图7
不用买专用芯片,二手 FPGA 也能跑 Qwen3?图8

不买主板也能试试

模拟器和软件运行在笔记本电脑上。克隆代码库,安装 Python 包及其依赖项,然后下载 LiquidAI/LFM2.5-230M:

git clone https://github.com/FeSens/openTPU.git
cd openTPU
pip install -e .
pip install pytest torch transformers
hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M
otpu-chat --model lfm2 --backend isa

重现电路板构建过程

本开发板指南涵盖 Vivado、比特流生成、JTAG 编程、PCIe 设置、DDR3 校准和诊断。构建此 Kintex-7 需要包含 xc7k480t 的 Vivado 许可证。RTL 测试需要 Verilator 5。

开发板指南:

https://github.com/FeSens/openTPU/blob/main/docs/board.md

指令集架构 (ISA):

https://github.com/FeSens/openTPU/blob/main/docs/isa.md

性能分析器:

https://github.com/FeSens/openTPU/blob/main/docs/lens.md

项目代码采用 Apache-2.0 许可。大家可以贡献板级移植代码、提供构建反馈,以及提出让加速器更容易学习和复现的建议。

代码

https://github.com/FeSens/openTPU


- -THE END- -


往期精选 

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图9 
不用买专用芯片,二手 FPGA 也能跑 Qwen3?图10 

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图11
不用买专用芯片,二手 FPGA 也能跑 Qwen3?图12

FPGA技术江湖广发江湖帖

无广告纯净模式,给技术交流一片净土,从初学小白到行业精英业界大佬等,从军工领域到民用企业等,从通信、图像处理到人工智能等各个方向应有尽有,QQ微信双选,FPGA技术江湖打造最纯净最专业的技术交流学习平台。


FPGA技术江湖微信交流群

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图13

加群主微信,备注姓名+学校/公司+专业/岗位进群


FPGA技术江湖QQ交流群

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图14

备注姓名+学校/公司+专业/岗位进群

不用买专用芯片,二手 FPGA 也能跑 Qwen3?图15

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
FPGA 芯片
more
国产FPGA|紫光同创 + 思博德图像异构解决方案实战解析
FPGA校招 | 诺瓦FPGA大神觉醒计划
国外大学生都用FPGA做什么项目(二十三)
FPGA可靠性设计与动态重构技术
基于 Gowin FPGA 的 SDR 开源方案:从硬件到射频全栈打通
FPGA在人工智能领域的应用前景分析
IC Coder 正式开放 MCP 接入!连接 FPGA 知识库与 EDA 工具链,加速 FPGA 产品落地
Xilinx FPGA的BANK标号命令规则
FPGA全行业落地全景:工业自动化领域真实应用案例解析
FPGA Horizons Issue 4:从芯片供应到云端安全,9篇文章看 FPGA 技术的新变化
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号