具身模型 Benchmark

在统一的具身语义标准下,度量 VLA / 具身基础模型的能力上限与可信边界——能提出行动,更要能证明结果、划定安全边界。

评测榜单

本榜评测模型本身——把视觉语言模型、VLA、世界模型、推理模型作为独立组件隔离评测,不经行动准入、不经闭环。系统级的闭环质量归具身 Benchmark,两者指标空间不重叠。

榜单加载中……

评测协议

四个维度

维度评测对象业界对标
M · 感知视觉语言模型的空间推理SpatialBench / 3DSRBench
V · 动作VLA 的动作预测与任务完成LIBERO / CALVIN / SimplerEnv
W · 世界模型预测的视觉保真与动作条件一致性FVD / WorldModelBench
R · 推理语言模型的知识与推理MMLU-Pro / GPQA / GSM8K

三层报告,不是一个总分

结果分三层呈现,每层的可比性不同,混在一起加权就会制造虚假精度:

  • 门槛层——硬性下限。模型必须吐出有效输出,达不到就没有讨论后续指标的意义
  • 可比层——对标业界套件的指标,带 95% 置信区间。样本量有限时,区间比点估计诚实得多
  • 审计层——评测污染检查、模型档案合规、跨模型公平性。业界少有横向对标,是我们自己加的
我们不合成综合分。把不同维度加权成一个数字,需要预设"感知比推理重要多少"这类无法客观确定的系数,结果是给一个主观权重披上客观外衣。本榜按维度展示,你按自己关心的维度比较。这条不靠自觉——生成榜单的工具里有测试断言任何层级都不得出现总分字段。

三层 Tier

Tier怎么评
Tier 0离线,复用既有产物,成本最低
Tier 1在线隔离,实调模型服务,不经闭环
Tier 2仿真闭环,跑标准任务套件

诚实边界

对标套件的规模远小于业界原生(例如任务演示数量),因此各维分数只在本套件口径内可比,不等同业界原生分数。我们也不跨机器人形态横评 VLA——动作空间维度不同的模型放在一张表里比较,比较的是适配工作而非模型能力。

提交入口

榜单接受外部提交,分两档:

档位你提交什么我们做什么标记
端点档
快速榜
一个可调用的模型服务地址 直接调用你的 API 评测 未复现
镜像档
认证榜
模型权重或容器镜像 在我们的机器上跑,可进仿真闭环 可复现
两档同榜展示,但必须可区分。端点档的模型跑在你自己的机器上,我们只是调用方——那些数字我们无法独立复现。把不可复现的结果和可复现的混作一谈,榜单就是在骗人。所以每一行都带"可复现 / 未复现"标记,且这是一等字段不是脚注。

所有外部提交强制过评测污染审计。提交流程目前走人工受理,请联系我们获取提交材料清单。

COMING SOON

自助提交与复现包

自助提交表单、镜像档的沙箱规格说明、以及可让第三方独立复现榜单结果的完整复现包正在准备。

状态:准备中 · 榜单与评测协议已可用