中兴微全面适配Apache ORC,释放RISC-V大数据算力

RVEI工委会 2026-11-15 20:45

中兴微全面适配Apache ORC,释放RISC-V大数据算力图1 更多精彩,请点击上方蓝字关注RVEI

中兴微全面适配Apache ORC,释放RISC-V大数据算力图2


随着 RVV 等向量扩展特性日趋成熟,如何让大数据核心软件栈充分释放 RISC-V 硬件算力,已成为推动 RISC-V在数据中心领域规模化商用的关键课题。


作为 Hadoop 生态列式存储的事实标准,Apache ORC 此前存在构建系统不识别 RISC-V、社区 CI 未覆盖、RVV 算力无法释放三大短板。


中兴微电子围绕 ORC 开展 RISC-V 适配与 RVV 向量优化,覆盖编译体系重构、自动化 CI 搭建、RVV 向量内核开发的全链路成果已全部合入 Apache ORC 上游社区,为大数据项目适配 RISC-V 提供了可复用的工程范式。


事实标准的算力困局

Apache ORC 依托极致列式存储,从根本上缓解大数据场景 IO 开销大、查询效率低、存储成本高的痛点:


精准列裁剪大幅压降查询 IO;文件/分片/行组三级统计元数据实现谓词下推与数据预裁剪,提升 Spark、Hive、Trino 查询速度;类型专属编码降低海量数据存储成本,支撑各行业 PB 级存储分析业务。


然而,ORC 对 RISC-V 生态的支持此前长期缺位,具体表现为三大短板:


1.无原生适配:官方构建系统不识别 RISC-V,缺少专属编译配置与硬件检测逻辑,仅能依赖私有补丁勉强运行;


2.无 CI 保障:社区原生 CI 未覆盖 RISC-V,适配依赖人工补丁,维护成本高、版本兼容性差;


3.算力浪费:不识别 RVV 向量扩展指令,仅能运行标量代码,硬件算力无法发挥,解码性能孱弱。


简言之,"硬件强、软件弱、算力闲置"制约了 RISC-V 在企业核心大数据场景的落地。



三步落地

构建、CI 与内核加速

ORC 解码链路中,位解压缩(bit unpacking)是性能热点。


RLEv2 编码将数据打包进位流,解码需逐位提取、移位、掩码,每个值执行一次位运算。


传统标量实现一次仅解一个值,串行计算、吞吐有限,在宽整型列读取场景成为查询效率卡点。其中中间位宽 5~30 bit 计算密度最高,RVV 向量指令可一次处理多值,天然适合向量化,为优化指明了方向。


1.构建系统与 CPU 检测:提供可开关的 BUILD_ENABLE_RVV 编译选项;ConfigSimdLevel.cmake 自动识别 rv64gcv 架构;运行时检测 RVV 能力,支持则走向量路径、否则自动回退标量,实现同一二进制跨硬件运行,已适配所有合规 RVV 1.0 平台并在主流 RISC-V 平台完成全量验证。


2.Docker + CI 流水线:基于 QEMU user-static 仿真搭建 riscv64 Ubuntu 26.04 专属镜像(GCC/Clang 双编译器),在 build_and_test.yml 新增 riscv64 job,实现提交、合并、发布全流程自动校验,将 RISC-V 正式纳入 ORC 社区官方质量保障体系。


3.RVV 位解压缩内核:开发 BpackingRvv 向量化实现,覆盖 3~32、40、48、56 bit 位宽,采用两条向量路径——以 vrgather.vv 处理任意非对齐位宽 3~30 bit,以 vlse64 处理字节对齐位宽 40/48/56 bit;内核通过 KernelTraits 模板元编程实现 constexpr 编译期分派,零运行时开销。1/2/64 bit 等低收益特殊位宽及边界场景自动降级标量,兼顾性能与稳定。



实测成效

中间位宽收益最大

基于主流 RISC-V 平台,本次优化的全量单元测试 100% 通过。以下是实测数据情况:

中兴微全面适配Apache ORC,释放RISC-V大数据算力图3


1.大幅收益:5~30 bit 高频整型普遍提升 1.7~4.2 倍,30 bit 峰值 4.21 倍,命中宽整型查询、统计、聚合业务;


2.稳增无负优化:3~4/8/16/32/40~48 bit 等通用场景均正向增益,对齐位宽 1.04~1.29 倍;


3.小众边界可忽略:仅 1/2/56 bit 小幅回落 0.92~0.97 倍,不影响主流业务;


4.双路径灵活可控:向量/标量双路径自由切换,兼顾适配性与稳定性。


本次优化经过三重验证:硬件实测 rv64gcv、单元测试 100% 通过、二进制兼容且运行时自动选路,切实激活了 RISC-V 向量算力,使 RISC-V 服务器具备承载高性能、高吞吐企业级大数据分析的能力。



生态共建

从单点优化到规模化落地

本次适配并非 Demo 级演示,而是面向生产级的完整工程落地:


平台底座上,ORC 官方原生支持 RISC-V,Spark/Hive/Trino 免补丁、免二次开发直接运行,显著降低搭建与运维成本;


算力释放上,深度适配 RVV 1.0 使解码峰值达 4.21 倍,有效缩小与 x86/ARM 的差距;


生态构建上,自动化 CI 保障后续迭代原生兼容,移植方案与 RVV 算子经验可为更多大数据项目复用。


对中兴微电子而言,这不仅是 ORC 单项目的技术突破,更夯实了公司在 RISC-V 大数据生态中的技术话语权与生态影响力,为算力芯片产品在大数据、数据湖、实时计算等高价值场景的规模化商用奠定了坚实基础。


展望未来,随着社区持续迭代更多编解码模块的向量加速,RISC-V 必将迎来更广阔的产业空间。



END



来源:中兴微


中兴微全面适配Apache ORC,释放RISC-V大数据算力图4


关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
RISC-V 中兴微
more
灵睿智芯完成数亿元Pre-A+轮融资,产业资本集体押注RISC-V智能体CPU
官宣 | TileLang for RISC-V社区正式上线,欢迎全球开发者加入!
邀请函 | RISC-V 开源芯片产业科普讲座(第四期)
[通知]第138次东亚时区RISC-V双周会(11月12日3PM,Zoom 线上)
RISC-V杀进泛视觉战场,这家SoC芯企把端侧视觉芯片卷向“4K普惠”
为旌科技,发布首颗RISC-V芯片
拆天猫精灵闹钟音箱,发现一颗平头哥RISC-V双核芯片:支持Wi-Fi和蓝牙,合封了PSRAM和Flash。
RISC-V新贵,完成数亿元融资
RISC-V算力芯片,不该都从零开始:吴雄昂与CoreLab的开放计算平台之路
RISC-V 做 AI 芯片是革命,还是踩坑?
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号