MODEL BENCHMARK
具身模型 Benchmark
在统一的具身语义标准下,度量 VLA / 具身基础模型的能力上限与可信边界——能提出行动,更要能证明结果、划定安全边界。
评测榜单
本榜评测模型本身——把视觉语言模型、VLA、世界模型、推理模型作为独立组件隔离评测,不经行动准入、不经闭环。系统级的闭环质量归具身 Benchmark,两者指标空间不重叠。
榜单加载中……
评测协议
四个维度
| 维度 | 评测对象 | 业界对标 |
|---|---|---|
| M · 感知 | 视觉语言模型的空间推理 | SpatialBench / 3DSRBench |
| V · 动作 | VLA 的动作预测与任务完成 | LIBERO / CALVIN / SimplerEnv |
| W · 世界模型 | 预测的视觉保真与动作条件一致性 | FVD / WorldModelBench |
| R · 推理 | 语言模型的知识与推理 | MMLU-Pro / GPQA / GSM8K |
三层报告,不是一个总分
结果分三层呈现,每层的可比性不同,混在一起加权就会制造虚假精度:
- 门槛层——硬性下限。模型必须吐出有效输出,达不到就没有讨论后续指标的意义
- 可比层——对标业界套件的指标,带 95% 置信区间。样本量有限时,区间比点估计诚实得多
- 审计层——评测污染检查、模型档案合规、跨模型公平性。业界少有横向对标,是我们自己加的
我们不合成综合分。把不同维度加权成一个数字,需要预设"感知比推理重要多少"这类无法客观确定的系数,结果是给一个主观权重披上客观外衣。本榜按维度展示,你按自己关心的维度比较。这条不靠自觉——生成榜单的工具里有测试断言任何层级都不得出现总分字段。
三层 Tier
| Tier | 怎么评 |
|---|---|
| Tier 0 | 离线,复用既有产物,成本最低 |
| Tier 1 | 在线隔离,实调模型服务,不经闭环 |
| Tier 2 | 仿真闭环,跑标准任务套件 |
诚实边界
对标套件的规模远小于业界原生(例如任务演示数量),因此各维分数只在本套件口径内可比,不等同业界原生分数。我们也不跨机器人形态横评 VLA——动作空间维度不同的模型放在一张表里比较,比较的是适配工作而非模型能力。
提交入口
榜单接受外部提交,分两档:
| 档位 | 你提交什么 | 我们做什么 | 标记 |
|---|---|---|---|
| 端点档 快速榜 |
一个可调用的模型服务地址 | 直接调用你的 API 评测 | 未复现 |
| 镜像档 认证榜 |
模型权重或容器镜像 | 在我们的机器上跑,可进仿真闭环 | 可复现 |
两档同榜展示,但必须可区分。端点档的模型跑在你自己的机器上,我们只是调用方——那些数字我们无法独立复现。把不可复现的结果和可复现的混作一谈,榜单就是在骗人。所以每一行都带"可复现 / 未复现"标记,且这是一等字段不是脚注。
所有外部提交强制过评测污染审计。提交流程目前走人工受理,请联系我们获取提交材料清单。
COMING SOON
自助提交与复现包
自助提交表单、镜像档的沙箱规格说明、以及可让第三方独立复现榜单结果的完整复现包正在准备。
状态:准备中 · 榜单与评测协议已可用