更多精彩,请点击上方蓝字关注RVEI

随着 RVV 等向量扩展特性日趋成熟,如何让大数据核心软件栈充分释放 RISC-V 硬件算力,已成为推动 RISC-V在数据中心领域规模化商用的关键课题。
作为 Hadoop 生态列式存储的事实标准,Apache ORC 此前存在构建系统不识别 RISC-V、社区 CI 未覆盖、RVV 算力无法释放三大短板。
中兴微电子围绕 ORC 开展 RISC-V 适配与 RVV 向量优化,覆盖编译体系重构、自动化 CI 搭建、RVV 向量内核开发的全链路成果已全部合入 Apache ORC 上游社区,为大数据项目适配 RISC-V 提供了可复用的工程范式。
事实标准的算力困局
Apache ORC 依托极致列式存储,从根本上缓解大数据场景 IO 开销大、查询效率低、存储成本高的痛点:
精准列裁剪大幅压降查询 IO;文件/分片/行组三级统计元数据实现谓词下推与数据预裁剪,提升 Spark、Hive、Trino 查询速度;类型专属编码降低海量数据存储成本,支撑各行业 PB 级存储分析业务。
然而,ORC 对 RISC-V 生态的支持此前长期缺位,具体表现为三大短板:
1.无原生适配:官方构建系统不识别 RISC-V,缺少专属编译配置与硬件检测逻辑,仅能依赖私有补丁勉强运行;
2.无 CI 保障:社区原生 CI 未覆盖 RISC-V,适配依赖人工补丁,维护成本高、版本兼容性差;
3.算力浪费:不识别 RVV 向量扩展指令,仅能运行标量代码,硬件算力无法发挥,解码性能孱弱。
简言之,"硬件强、软件弱、算力闲置"制约了 RISC-V 在企业核心大数据场景的落地。
三步落地
构建、CI 与内核加速
ORC 解码链路中,位解压缩(bit unpacking)是性能热点。
RLEv2 编码将数据打包进位流,解码需逐位提取、移位、掩码,每个值执行一次位运算。
传统标量实现一次仅解一个值,串行计算、吞吐有限,在宽整型列读取场景成为查询效率卡点。其中中间位宽 5~30 bit 计算密度最高,RVV 向量指令可一次处理多值,天然适合向量化,为优化指明了方向。
1.构建系统与 CPU 检测:提供可开关的 BUILD_ENABLE_RVV 编译选项;ConfigSimdLevel.cmake 自动识别 rv64gcv 架构;运行时检测 RVV 能力,支持则走向量路径、否则自动回退标量,实现同一二进制跨硬件运行,已适配所有合规 RVV 1.0 平台并在主流 RISC-V 平台完成全量验证。
2.Docker + CI 流水线:基于 QEMU user-static 仿真搭建 riscv64 Ubuntu 26.04 专属镜像(GCC/Clang 双编译器),在 build_and_test.yml 新增 riscv64 job,实现提交、合并、发布全流程自动校验,将 RISC-V 正式纳入 ORC 社区官方质量保障体系。
3.RVV 位解压缩内核:开发 BpackingRvv 向量化实现,覆盖 3~32、40、48、56 bit 位宽,采用两条向量路径——以 vrgather.vv 处理任意非对齐位宽 3~30 bit,以 vlse64 处理字节对齐位宽 40/48/56 bit;内核通过 KernelTraits 模板元编程实现 constexpr 编译期分派,零运行时开销。1/2/64 bit 等低收益特殊位宽及边界场景自动降级标量,兼顾性能与稳定。
实测成效
中间位宽收益最大
基于主流 RISC-V 平台,本次优化的全量单元测试 100% 通过。以下是实测数据情况:

1.大幅收益:5~30 bit 高频整型普遍提升 1.7~4.2 倍,30 bit 峰值 4.21 倍,命中宽整型查询、统计、聚合业务;
2.稳增无负优化:3~4/8/16/32/40~48 bit 等通用场景均正向增益,对齐位宽 1.04~1.29 倍;
3.小众边界可忽略:仅 1/2/56 bit 小幅回落 0.92~0.97 倍,不影响主流业务;
4.双路径灵活可控:向量/标量双路径自由切换,兼顾适配性与稳定性。
本次优化经过三重验证:硬件实测 rv64gcv、单元测试 100% 通过、二进制兼容且运行时自动选路,切实激活了 RISC-V 向量算力,使 RISC-V 服务器具备承载高性能、高吞吐企业级大数据分析的能力。
生态共建
从单点优化到规模化落地
本次适配并非 Demo 级演示,而是面向生产级的完整工程落地:
平台底座上,ORC 官方原生支持 RISC-V,Spark/Hive/Trino 免补丁、免二次开发直接运行,显著降低搭建与运维成本;
算力释放上,深度适配 RVV 1.0 使解码峰值达 4.21 倍,有效缩小与 x86/ARM 的差距;
生态构建上,自动化 CI 保障后续迭代原生兼容,移植方案与 RVV 算子经验可为更多大数据项目复用。
对中兴微电子而言,这不仅是 ORC 单项目的技术突破,更夯实了公司在 RISC-V 大数据生态中的技术话语权与生态影响力,为算力芯片产品在大数据、数据湖、实时计算等高价值场景的规模化商用奠定了坚实基础。
展望未来,随着社区持续迭代更多编解码模块的向量加速,RISC-V 必将迎来更广阔的产业空间。
END
来源:中兴微
