EMBODIED BENCHMARK
具身 Benchmark
度量系统级的真实行动能力——从感知、认知、决策到行动、反馈的完整闭环,而非孤立的单点指标。跨身体可比、可复现。
系统级能力榜单
本榜评测端到端闭环——感知、世界判断、行动准入、执行、结果验证、记忆,整条链路的综合质量。评测对象是接入 EWOS 的完整系统,不是某个模型。单个模型的隔离能力归模型 Benchmark。
榜单加载中……
评测什么
| 维度 | 回答什么问题 |
|---|---|
| A · 内核合规 | 世界类型标注是否 100% 准确?候选世界有没有污染真实世界?这一维是硬门槛 |
| B · 动作质量 | 轨迹质量与任务完成度。这一维对标业界 VLA 套件 |
| C · 世界一致性 | 预测的世界与实际发生的世界差多远 |
| D · 闭环完整性 | 行动是否都有护照?失败是否都被复盘?这一维业界少有对标,是 EWOS 独有的自洽性审计 |
A 与 D 为什么必须存在。一个系统可以在轨迹指标上很漂亮,同时把预测帧当作真实观察去验证结果、把失败悄悄吞进日志。那样的分数是假的,而单看动作质量指标完全看不出来。A/D 两维就是用来把这类"看起来很好"的系统筛出去的。
任务集
评测按三层推进,越往上越接近真实:
| Tier | 数据来源 | 能测什么 |
|---|---|---|
| Tier 0 | 真实运行产生的行动护照账本与观察工件 | 合规性与闭环完整性的全量审计,现在即可跑 |
| Tier 1 | 仿真环境 rollout,用仿真器真值判定任务后置条件 | 任务级成功率,可与业界套件对比 |
| Tier 2 | 真机运行 + 仿真到真实的迁移度量 | 真任务成功率与 sim2real 差距 |
当前榜单以 Tier 0 为主。它的数据来自真实累积的行动记录而非精心构造的测试集——这意味着覆盖面受实际使用场景限制,我们在每条指标的说明里标注了各自的局限,不做笼统承诺。
提交入口
提交具身系统需要先通过 EWOS SDK 接入成一具身体,跑出经行动准入的真实记录。提交物是行动护照与运行数据包,不是分数——分数由我们的评测工具从你的记录里算出来,这样才谈得上可追溯。
为什么不接受"自报成绩"。系统级评测最容易失真的地方就是自评:同样一个任务,判定标准松一点成功率就能高十几个百分点。所以我们要的是原始记录,判定逻辑在我们这边统一执行且开源可查。
结果同样带"可复现"标记,规则与模型 Benchmark 一致。提交流程目前走人工受理,请联系我们。
COMING SOON
标准任务集与 sim2real 评测
跨场景跨身体的标准化任务定义,以及仿真到真实的迁移评测方案,随真机试点推进后发布。
状态:随真机试点推进 · Tier 0 榜单已可用