CPU就能跑：Mistral发布M级数值序列预测基础模型，拿下三榜第一

Mistral AI 这家欧洲 AI 的“独苗”不知道大家还记得吗？10 月 15 日，它发布了能在 CPU 运行 的数值序列预测基础模型 — Timestral^[1]。

时序预测处理的是按时间排列的数据：根据历史销量预测需求，根据用电记录预测负荷，根据设备传感器读数预测运行状态。这类任务已有 ARIMA、统计回归和深度学习等成熟方法。这次的 Timestral 时序基础模型进一步引入跨数据集预训练，让同一套权重能够迁移到不同领域的序列。

Timestral 这次发布了 5M、28M、123M、209M 四种规格，参数量从 500 万到 2.09 亿，支持零样本预测和 CPU 运行推理。推理代码与模型权重^[2]也已公开。

这里的“通用”指跨时序数据领域使用；“零样本”指接入新序列时，可以直接使用预训练模型，不必先为该任务单独训练。当然模型仍然需要历史观测作为输入。

它的能力覆盖了实际预测中几类常见需求：

以门店备货为例，历史每天卖了多少件商品，是目标序列；历史价格、客流等可以成为辅助输入；已排定的节假日与营业安排，则属于预测时已知的未来信息。系统拿到需求预测，再结合库存、采购周期和资金约束计算补货量。

而在设备管理中，振动、温度和压力可以作为相关的目标序列共同预测；运行、待机、检修等状态可以作为类别信息；生产排期和计划停机则提供未来已知条件。业务团队可以结合预测范围设置告警阈值，辅助安排维护。

二、先看实验结果

官方测试结果，Timestral-209M 在三项主要公开预测评测中均排名第一，比较范围为预训练与零样本模型：

• GIFT-Eval：第一。覆盖跨领域、不同采样频率与预测长度的 97 组配置，重点看模型的通用预测能力。
• TIME：98 个任务的汇总排名第一。评测采用较新的数据，并让任务设置贴近实际预测需求。
• fev-bench：100 个任务的汇总排名第一。其中包含带协变量的任务，考察模型利用辅助信息进行预测的能力。

三者都在固定的数据切分与预测设置下比较模型。

以下是 209M 模型的测试数据，↓表示分数越低越好，↑表示分数越高越好）：

MASE衡量点预测误差，CRPS衡量概率预测质量，两者越低越好。fev-bench 的 skill score表示相对基线的误差改善，越高越好；其中 SQL 是缩放分位数损失（Scaled Quantile Loss）。

209M 在这些指标上表现均优于现有模型。

四种规格都位于规模与精度的 Pareto 前沿

测试结果显示，5M、28M、123M、209M 四个版本都处于预测精度与参数规模的 Pareto 前沿。在该次公开模型比较中，没有其他模型能同时用更少或相同参数、取得更好或相同成绩，并在其中至少一项占优。

四种规格的主要结果如下：

这组结果展示了规格之间的取舍：123M 的表现已接近 209M；28M 的 GIFT-Eval MASE 为 0.678，TIME MASE 为 0.638，也优于同表中 Chronos-2 的 0.698 和 0.662。小规格为资源受限的应用提供了选择，最大规格则取得更低的预测误差。

CPU 推理表现

测试中，使用 8 个线程的服务器 CPU，输入三周、每 15 分钟一个点的历史，预测未来一天：5M 模型约需 10 毫秒，209M 模型约需 140 毫秒。这表明 Timestral 可以在不配备 GPU 的环境中流畅运行预测。

三、技术解读

基础架构：沿时间和变量两个方向建模

Timestral 采用基于 patch 的因果 Transformer。以 209M 版本为例，模型包含 24 层、768 维隐藏表示和 12 个注意力头，每 32 个时间步编码成一个 patch。

它的注意力沿两个方向计算：时间注意力处理同一变量在不同时间片段之间的关系，变量注意力处理同一时间片段内不同变量之间的关系。因此，多变量输入可以共同建模，而不必把每个传感器或指标完全分开预测。

在发布的 209M 配置中，每层都有时间注意力，每隔四层加入一次变量注意力，共六次。时间注意力使用 RoPE 表达位置，网络采用 RMSNorm、残差连接和 SwiGLU 前馈层。

整体计算路径是：数值与缺失标记 → 归一化与分块编码 → 时间/变量注意力 → 分位数预测头 → 还原数值尺度。

输入编码：数值分块与缺失标记

每个 patch 同时包含数值与缺失标记。在 model.py 的 PatchRepresentation 中，这两个通道被拼接后共同映射成表示，缺失记录因此可以与真实零值区分开。

历史片段之后，模型放入专门的预测 token，让它们读取允许访问的历史信息，再通过预测头输出结果。这是 DHF（Decoupled Horizon Forecasting，解耦预测区间）的实现线索：保留历史观测，用单独的表示承载预测位置，并通过掩码限定它们能读取的信息。

这类设计值得关注，因为业务数据经常不整齐：传感器会断线，门店会停业，历史记录也会缺项。输入接口能否准确表达这些状态，会直接影响后面的判断。

协变量处理：按变量角色控制信息流

时间序列还要管住一个特别容易出错的地方：预测时究竟能知道什么。

比如，提前排好的促销日期可以使用；活动结束后才统计出的真实到店人数，就不能回填成当时已经知道的条件。

Timestral 为目标、历史协变量、未来已知协变量设置了不同角色。masks.py 中的时间与变量掩码控制它们之间的信息流，避免未来已知变量通过读取目标数据，间接把目标的未来信息传回来。

星期几、班次、设备状态等类别协变量也可以输入。推理封装会将其转换为数值表示；单变量目标路径中使用基于历史上下文的平滑目标编码。类别处理由封装完成，使用者仍需明确字段在预测时是否可得。

模型内部的限制解决了一部分问题，数据准备仍然需要遵守相同的时间边界。做需求预测时，应该保存预测当天真实可得的计划和数据版本，而不能拿事后整理好的完整表格直接回测。

概率预测：输出 21 个分位数

在 QuantileHead 中，每个未来时间步输出 21 个分位数，包括 0.01、0.05、0.1，以及中位数 0.5，直至 0.95、0.99。它既给出中位预测，也给出不同水平的上下界。代码通过围绕中位数累加非负间隔，保证分位数有序。

模型最多读取 32,768 个历史时间步，对应 1,024 个 patch；一次前向计算最多预测 1,024 个未来时间步。需要更长的预测时，forecaster.py 按块继续推理，并把前一块的中位数预测追加到上下文中。历史长度与预测长度是两个不同限制。

这让预测有机会进入更细的业务计算。比如补货时，缺货损失很高的商品与保质期很短的商品，可能需要采用不同策略。相同的预测分布，结合不同成本，可以得到不同的订货量。

不过，分位数有序只保证了输出结构合理。预测区间是否可靠，还得检查：标称覆盖 80% 的区间，在新数据上是否真的覆盖了接近 80% 的观测。

训练：先合成预训练，再混合数据后训练

按照官方披露，四种规格使用相同的架构路线和训练配方，主要包括：

1. 合成数据优先。先生成包含趋势、季节性和不同噪声的单变量序列，再通过多变量合成器加入非线性依赖，构造相关的多变量数据。
2. 两阶段训练。先在纯合成数据上预训练，上下文为 8,192 步；再混合真实与合成数据进行后训练，上下文扩展至 32,768 步。
3. 分位数损失。对 21 个分位数使用 pinball loss，按各分位的要求分别惩罚高估与低估，近似优化概率预测质量，而不只拟合一个点预测。

DHF 将观测序列与预测表示分开，也让预测长度和缺失数据增强可以分别调整。目前完整技术报告仍待发布，训练集细目和各项设计的独立贡献还需要后续实验说明。

四、通用零样本小模型的企业落地趋势

TypeSafe 将 Jev 定位为面向软件的结构化判断模型，接收状态与问题，返回程序可以使用的判断结果，适用于分类、评分和路由。

Timestral 则提供跨领域的零样本时序预测，承担企业工作里的数值环节。

两者体现了一种值得关注的产品方向：围绕一类可复用任务提供通用能力，让模型以明确的输入输出接入业务系统。通用性体现在任务族内部的迁移，例如不同业务的分类判断、不同领域的序列预测。

从企业采纳的角度，这类模型有三项吸引力。

第一，降低首次试用与迁移成本。零样本能力让团队可以先在已有数据上检查效果，再决定是否投入标注、微调或重新设计流程。一个预测模型可以先从一类商品或一组设备试起，逐步扩展使用范围。

第二，部署更容易贴合现有系统。以 Timestral 为例，CPU 推理和可下载权重使预测服务可以部署在企业自己的环境中。对已有本地数据管道的团队，这有助于控制运行成本，减少数据传输和额外 GPU 资源的依赖。

第三，业务价值更容易验收。分类模型可以统计错分率与人工复核量，预测模型可以比较误差、缺货率和积压成本。任务边界与输出格式明确，团队更容易并行试用、记录异常，并决定哪些环节交给模型。

未来，面向特定任务族的通用零样本小模型，会成为企业 AI 的一条发展路线。它们覆盖的是企业中数量多、重复发生、可以量化验收的环节。能否在这些环节持续改善成本与业务结果，将决定企业愿意把多大范围的工作交给模型。