生产保留 ViPE 当前候选尚未在全部条件下稳定胜出。
优先研究 Pi3X 尺度恢复 轨迹形状较好，原始尺度不能直接使用。
DA3 / VGGT DA3 短片段优势未稳定延续到 30 秒；VGGT 暂不优先。
GT motion 选片 相机运动与 CMH 更有参考价值，高 WMS 不等于相机更难。
已计算 101 段 / 34 条录制 → 42 段满足完整长度与 GT 条件 → 排除开发录制后冻结 36 段。当前优先展示 3 段按 GT 运动条件选取的 demo。
逐手统计：Median / P90 / 覆盖率 / 有效秒数
| 指标 | 相机 / 左手 | 右手 |
|---|
GT 指标与选片总体 · 原始 36 段 / 已计算 101 段
手指标仅对覆盖率 ≥90%、有效时间 ≥2 秒的手取较大 P90；未知不记为 0。排序只读取 GT 指标，不使用模型误差。总体包含不足 10 秒的尾段及未达覆盖门限的片段。
第一轮相机评测 · s05 · ATE ↓ · cm
| 输入条件 | 片段 / 录制 | SE3 · clip mean | Sim3 · clip mean | SE3 · recording mean [95% CI] | Sim3 · recording mean [95% CI] |
|---|
扩展验证 · 跨被试、连续片段与尺度控制
684 次新增实验/点图重跑全部成功，并通过独立 evo 的 ATE/RPE 核验。新增八位被试属于 ARCTIC 官方 train；这是 camera 扩展验证，不是手模型的未见被试评测。本页既有 demo 展示第一轮条件；新增尺度方案的轨迹见本节诊断图与数据包。
| 模型 / 输入 / 尺度 | 成功 / 总数 | SE3 ATE ↓ cm | Sim3 ATE ↓ cm | Sim3 RPE₁ₛ ↓ cm | RPE₁ₛ ↓ ° |
|---|
ViPE 深度来源：Depth(pred) 为 DA3METRIC-LARGE 从同批 RGB 预测的深度，参与 ViPE 位姿求解与尺度约束；不是传感器深度或 GT 深度。GeoCalib 组从 RGB 估计内参，K 组使用标定内参。
尺度规则：“开发集固定尺度”仅用原四条开发录制确定一个常数；“仅深度尺度”用与 ViPE 相同的 RGB 预测深度换算整段尺度，不改变原 RGB+K 轨迹形状；“深度条件及尺度”还将深度输入网络，本次效果较差。两种深度方案均为事后诊断，无 GT 深度或测试 GT 尺度拟合。Sim3 列单独使用每片段 GT 尺度对齐。
当前判断：Pi3X 固定开发集尺度在 ARCTIC 内有效，但 30 秒与 ViPE 的均值差距很小；预测深度尺度方案在新增短片段改善，却未在原始 36 段和 30 秒片段中超过 ViPE。保留生产 ViPE，优先研究 Pi3X 的可靠尺度恢复。八被试及事后条件仍不足以宣布全面替换。
关键数值 · SE3 ATE：随机 32 段：Pi3X 仅预测深度尺度 1.21 cm，ViPE K / 30 Hz 2.00 cm；原始 36 段：2.44 对 2.07 cm；30 秒：1.92 对 1.79 cm。Pi3X 固定开发集尺度在 30 秒为 1.72 cm，仅比 ViPE 低 0.07 cm，尚未确认稳定优势。随机组的尺度收益也未通过八项事后比较的 Holm 校正（p = 0.0625）。
均值与不确定性 · 相机 ATE
尺度校准效果
GT 选片的轨迹诊断图
GT motion 与 camera error 的关系
相机平移/转动和 CMH 的联系较一致；RHCM、RHAM、WMS 不宜单独作为 camera 难度排序。相关性是本次选片分布上的探索结果。
DA3 同 RGB 输入下，SE3 / Sim3 均优于 ViPE RGB。
Pi3X RGB 组 Sim3 均值最低，原生尺度误差大。
VGGT SE3 优于 ViPE RGB；Sim3 优势未显著。
ViPE · K / 30 Hz 尚无候选整体超越或替换它的证据。
使用说明与结果解读
最新结果：请看上方“扩展验证”表，可切换随机 32 段、GT 运动筛选 32 段、全部新增 64 段、30 秒连续片段及原始 36 段回测。新短片段和长片段按被试等权统计；原始 36 段显示片段均值。扩展 GT 总体已计算 607 个完整 10 秒窗口，其中 387 个满足筛选门限；此总体与第一轮 101 段的统计范围不同。既有双栏视频、视频卡片和其下的 GT 选片表仍对应第一轮，未展示新增尺度方案。
本页的主流程是用 ARCTIC GT 计算 WORLD_MOTION_HARDCASE 指标，按运动条件选片，再比较同片段的 camera trajectory。相机来自官方标定/mocap 派生的 ego 位姿，手来自官方拟合 MANO；在原始 30 Hz 有效相邻帧上计算，无 GT 插值或平滑。指标采用 9 月 14 日修订的 world_motion_v2.0。
第一轮视频选片范围：s05 的 34 条录制共计算 101 个不重叠片段（包含尾段）；42 段满足 10 秒长度及相机/至少一只手的 GT 门限。按 seed 20260914 划出开发录制后，剩余 36 段全部进入冻结实验集，按运动分层交错排列，因此不应称为均衡抽样。当前 3 段 GT 选片分别覆盖相机转动最大、手/相对位移最大、低运动对照；不依据模型误差选取。旧手机样例和电脑、笔记本事后诊断例在菜单中单列。
第一轮视频覆盖边界：36 段中相机高/手高/相对高为 29 段，相机高/手低/相对高为 4 段，相机高/手低/相对低为 2 段，三者均低仅 1 段；没有达到静止阈值的对照，低运动不能叫静止。CMH、RHAM、WMS 已计算并可排序，但当前视频没有为其极值另做专门样例。不能据此声称覆盖了所有运动类型。
第一轮补充精度评测：ATE/RPE 用 ARCTIC 相机 GT 衡量预测误差；它们不参与上述 GT 运动选片。原始 36 段加事后补充 27 段，共 63 个 10 秒片段、30 条录制、10.5 分钟；补充集没有沿用相同手部 GT 门限，不能当作 63 段 motion 筛选集。
如何使用页面
- 选视频、选对照组：视频菜单优先列出 GT 运动选片；其下显示当前片段的指标、GT 覆盖率和选片依据。“GT 指标与选片总体”可切换 36/101 段并按任一运动指标排序。“RGB · 3 Hz”比较相同 30 张 RGB 输入下的候选与 ViPE RGB / GeoCalib；默认组比较 RGB 候选与 ViPE K / 30 Hz；“标定 K”展示带内参的对照。K 指相机内参，GeoCalib 指从图像估计相机标定。
- 选对齐与帧率：SE3 保留输出尺度，Sim3 额外用 GT 拟合尺度。30 FPS 版完整显示 300 帧；3 Hz 模型的相机位姿经过插值，ViPE / 30 Hz 使用原来的逐帧位姿。3 FPS 版显示共同采样点。播放帧率不等于模型推理帧率，切换播放帧率不会改变分数。
- 同步检查：点击“同步播放”，或拖动时间轴、减慢速度；各卡片可以全屏。左栏是同帧 RGB＋MANO，右栏是固定场景点云＋同帧 MANO、相机视锥及手/相机轨迹。同段所有模型共用相机系手预测，右栏手由对应相机位姿变换得到。
- 读取分数与曲线：卡片下方是当前片段的 ATE、1 秒 RPE 和尺度因子；两张图分别显示 GT/预测相机中心轨迹，以及可切换的位置误差或相机诱导手腕差异。轨迹图投影到 GT 主平面，位置误差仍按完整三维距离计算。总表则汇总所选评测集，可切换原始 36 段、补充 27 段和全部 63 段。
- 下载与追溯：卡片提供单条 MP4；页面链接提供全部视频 ZIP、当前片段的 ViPE 三维点云、逐片段 CSV、选片记录、实验报告及重建问题记录。
第一轮 s05 实验结果
同 RGB / 3 Hz 条件：全部 63 段的 SE3 / Sim3 ATE 片段均值中，DA3 为 2.62 / 1.45 cm，ViPE RGB 为 4.14 / 2.85 cm；跨录制配对分析也支持 DA3 在这批数据上的优势。Pi3X 的 RGB 组 Sim3 均值最低（1.22 cm），但 SE3 为 7.24 cm，说明尺度校正后的轨迹表现不能直接当作原生米制定位能力。VGGT 的 SE3 优于 ViPE RGB，Sim3 优势未达到本次统计检验的显著性要求。
与主要 ViPE baseline 比较：ViPE K / 30 Hz 为 2.00 / 1.25 cm。Pi3X 的 Sim3 均值虽略低，但跨录制配对差异没有可靠优势；DA3、VGGT 也没有证明整体超越它。现阶段结果支持继续研究候选模型，尚不足以支持替换现有 ViPE。
注意输入预算：标定 ViPE 使用 K＋预测深度，30 Hz 条件每段还有 300 张 RGB；RGB 候选每段只有 30 张图。这组对照用于比较方案，不能解释为严格同输入的模型能力排名，也不等同于完整生产传感器管线的评测。相机分数统一在共同的 3 Hz、每段 30 个原始采样时刻计算，插值帧不计分。
证据范围：补充 27 段是放宽手部 GT 筛选后的事后敏感性实验；441 条轨迹已用独立 evo 实现核验。数据仍只有一个人和短片段，尚不能证明跨被试、长序列漂移及跟踪恢复表现。GT 来自 ARCTIC 发布的标定/mocap 派生轨迹，未获得其噪声上界。点云清晰度、固定场景与运动物体的接触关系，以及共享手模型自身的误差，都不能替代相机精度指标。
GT 运动指标：用于描述与选片
| 指标 | 定义与读法 |
|---|---|
| 相机平移 / 转动 | 世界系相机中心速度（m/s）及相邻朝向变化率（°/s），独立报告。相机 high：平移 P90 ≥0.15 m/s 或转动 P90 ≥25°/s。 |
| WHM · m/s | 手腕相对世界的平移速度；不衡量手指活动。hand high：P90 ≥0.3 m/s。 |
| CMH · m/s | 相机刚体速度场在手腕位置的速度大小 ‖vC + ωC × (pH − c)‖，包含平移和转动，不能替代相机中心速度。 |
| RHCM · m/s | 本页用精确有限步版本：相邻帧相机系手腕坐标 q 的位移大小除以时间差。relative high：P90 ≥0.3 m/s。手随相机刚体一起运动时为零。 |
| RHAM · °/s | 相邻帧“手腕相对相机朝向”的旋转测地距离除以时间差。恒定相对朝向应为零；缺少有效手腕旋转 GT 时为未知。 |
| WMS · 无量纲 | 逐时间间隔计算连续速度估计 ‖vH − uC‖ / (‖vH‖ + ‖uC‖ + 0.001 m/s)，然后取 P90；速度和不足 0.02 m/s 时排除。它不是各项 P90 的比值，也不使用上面的有限步 RHCM 作分子。高值表示运动差异较大，不等于相机难度或因果独立。 |
| Median / P90 / 覆盖率 | 逐间隔量的中位数 / 90 分位数；覆盖率为有效相邻间隔总时长除以片段首末时间跨度。有效秒数是这些有效间隔时长之和，缺口不连接。逐手保留原始统计，顶部/排序只采用覆盖率 ≥90% 且有效时间 ≥2 秒的手的最大 P90；所有手不合格则为未知。因旧报告顶部聚合未排除低覆盖侧，新展示值可能与旧 CSV 不同，逐手原始值未改变。 |
| 静止 / 低 / 高 | 筛选阈值仍是暂定值。相机静止要求平移 P90 ≤0.02 m/s 且转动 ≤3°/s；手世界位置或手相对相机位置静止要求对应 P90 ≤0.02 m/s。完整相对位姿静止还需 RHAM ≤3°/s。低运动是静止与 high 之间的区间，缺 GT 记未知。 |
补充相机精度指标与表头
| 指标 | 定义与读法 |
|---|---|
| ATE ↓ · cm | 绝对轨迹位置误差：整段对齐后，预测相机中心与 GT 中心的三维距离的均方根，即 √mean(‖cpred − cGT‖²)。越小越好；它衡量位置，不单独衡量相机朝向。 |
| SE3 / Sim3 | 每个片段只拟合一次整体对齐。SE3 只允许旋转和平移；Sim3 还允许一个统一尺度。DA3、VGGT 等输出没有原生米制保证时，SE3 应理解为输出名义单位下的误差。Sim3 使用了 GT 尺度信息，低分表示尺度校正后的轨迹误差小。 |
| RPE₁ₛ ↓ · cm / ° | 比较间隔 1 秒的预测相对位姿与 GT 相对位姿，分别取平移残差和旋转角残差的均方根；每个 10 秒片段的共同采样点形成 27 对。两项均越小越好，用于观察局部运动误差；角度单位是度，不是度/秒。结果对应当前选择的 SE3 或 Sim3 对齐。 |
| sSim3 | 用 GT 拟合得到的无量纲尺度因子，作用于预测相机中心轨迹。1 表示无需缩放，0.5 表示需缩小一半，2 表示需放大一倍。它辅助判断尺度偏差，接近 1 本身不保证轨迹准确。 |
| 相机位置误差 · cm | 曲线中每个共同采样时刻的三维相机中心距离，使用所选对齐；这些距离的均方根就是该片段 ATE。曲线可显示平均分掩盖的局部误差峰值。 |
| 相机诱导手腕 Δ · cm | 固定同一份相机系预测手腕，分别用预测相机位姿和 GT 相机位姿变换到世界系，计算两者距离；每帧对有效的左右手取平均，无有效手时留空。它隔离相机位姿造成的差异，不是与真实手 GT 比较的 MPJPE，也不表示手模型本身变准了。 |
| clip mean | 先计算每个片段的 ATE 均方根，再对片段等权取算术平均。它不是把所有帧混在一起重算一个均方根。 |
| recording mean [95% CI] | 先在每条物理录制内平均片段分数，再对录制等权平均；95% 置信区间来自按录制重采样 10,000 次的 bootstrap。因此这里的区间对应 recording mean，不是 clip mean。模型优势由跨录制配对差值及多重比较校正判断，不能只看单行区间是否重叠；详见实验报告。 |
| 片段 / 录制 | 实际纳入统计的片段数与不同物理录制数。同一录制的多个片段有关联，不能把它们或相邻帧当作同样多的独立被试样本。 |
下一步研究 · 建议顺序
目标：验证 Pi3X 能否在可部署的尺度、输入与算力条件下稳定超过 ViPE。以下是待开展的研究计划，不计入上方已完成的 684 次实验。
| 优先级 | 实验 | 要回答的问题 / 判据 |
|---|---|---|
| 1 · 尺度泛化 | 固定 Pi3X RGB+K 的轨迹，比较原始输出、冻结的开发集尺度、预测深度尺度，以及仅用静态高置信区域估计的尺度。分析手 / 物体运动、深度范围与尺度误差的关系。 | 开发与测试按录制、被试隔离，并补充不同相机 / 场景。尺度规则与参数在开发集冻结；测试 GT 只用于评分。判断短片段收益能否覆盖原 36 段的失败类型和新域。 |
| 2 · 长序列与输入控制 | Pi3X 与 ViPE 使用相同 RGB 帧率、分辨率、K 和预测深度来源；保留现有 ViPE 30 Hz 参考。比较 10 / 30 / 60 秒及可获得的更长连续录制，记录耗时、峰值显存、失败和恢复。 | 观察 ATE、固定时间间隔 RPE、尺度随时间的漂移与末端误差。GT 不足的长视频仅作定性验证，不计入定量胜负；跨段拼接方法在开发集确定。 |
| 3 · 世界系重建收益 | 在隔离实验分支固定同一份相机系 MANO 与场景重建设置，仅替换相机轨迹和已经冻结的尺度规则，复用当前双栏展示要求。 | 分别报告相机误差、静态场景重投影 / 几何一致性、世界系手位置与速度误差。用 ARCTIC GT motion 分层，检查搬运、遮挡、快速转头和手交叉；不以 ATE 单独代替点云或手质量结论。 |
| 4 · 冻结确认集 | 保留随机组及按相机平移、转动、CMH 筛选的压力组，补齐 WHM / RHCM / RHAM / WMS 覆盖。候选方案确定后，一次性评测未参与调参的确认集。 | 预先指定 SE3 ATE 为主指标、失败处理、配对统计和多重比较方法；以被试 / 独立录制为统计单位。只有主要场景收益稳定、失败率与资源开销可接受，才讨论生产替换。 |
首选下一项：Pi3X「静态高置信深度尺度」与当前「整段深度尺度」的受控消融。先定位原 36 段为何失效，再在独立数据上确认修正；DA3 保留短片段 RGB 对照，VGGT 暂缓扩大投入。
Depth check · ViPE / Pi3X＋D · 2026-09-21
Pi3X＋D 已补测：D指输入网络的预测深度，复用ViPE同一份DA3Metric；同RGB、标定K、3 Hz。无D和仅尺度恢复保留为消融。“输入预测深度恢复尺度”不使用GT，区别于表中GT尺度oracle。
H2O 补充诊断，非 ARCTIC 排名：4条录制、1个被试、120帧；同RGB＋K / 3 Hz，与实测传感器深度比较。下表为共同27个ViPE关键帧、同一像素射线上的结果。
| 深度来源 | 输出AbsRel ↓ | 输出RMSE ↓ m | 输出δ1 ↑ | GT尺度对齐AbsRel ↓ | GT尺度对齐RMSE ↓ m |
|---|---|---|---|---|---|
| ViPE 优化后关键帧深度 | 0.1194 | 0.1281 | 93.34% | 0.0547 | 0.0928 |
| ViPE 使用的 DA3Metric 先验 | 0.1173 | 0.1250 | 93.56% | 0.0586 | 0.0940 |
| Pi3X RGB＋K 原始深度 | 0.7801 | 0.6044 | 0.55% | 0.0478 | 0.0863 |
| Pi3X＋D 网络直接输出 | 0.1997 | 0.1632 | 81.62% | 0.0543 | 0.0916 |
| Pi3X＋D＋输入预测深度恢复尺度 | 0.1161 | 0.1231 | 94.83% | 0.0543 | 0.0916 |
结论：Pi3X＋D恢复尺度后，深度AbsRel 0.1161，ViPE优化后为0.1194，两者接近；但相机SE3 ATE为0.857 对0.308 cm，Sim3为0.663 对0.254 cm，本批ViPE轨迹更准。深度相近不等于trajectory相近。
Pi3X无D原始SE3 ATE为1.251 cm，仅共享深度恢复尺度为0.339 cm，均不是Pi3X＋D。GT尺度对齐只用于诊断；本批为低运动、4条录制、1人，不能外推全面胜负。
MANO check · P3R2 / P3R3 · 2026-09-21
同一批4段H2O，120帧、3 Hz；手部输入RGB＋K。P3R3实跑版本：surface_fit_restore_20260921。2D单位为392×280输入像素；此表不属于ARCTIC排名。
| 方法 | 2D EPE ↓ px | 绝对3D ↓ mm | PA-MPJPE ↓ mm | PCK ↑ | 覆盖率 ↑ |
|---|---|---|---|---|---|
| FoundationHand 基模 | 8.69 | 31.52 | 8.94 | 65.34% | 100.00% |
| P3R1 拟合对照* | 5.96 | 116.04 | 13.06 | 85.64% | 100.00% |
| P3R2 | 5.93 | 93.36 | 13.14 | 85.96% | 100.00% |
| P3R3 · surface-fit | 5.93 | 93.36 | 13.14 | 85.96% | 100.00% |
结论：P3R2/P3R3在本批逐元素一致。相比基模，2D误差8.69 → 5.93 px，但绝对3D误差31.52 → 93.36 mm，四段均退化；更贴合二维画面不能证明三维更准。
*P3R1为同观测下的拟合配置对照。PCK阈值为图像对角线2%，漏输出计失败。本次不改变depth/cam_traj；4条录制、1人，不能外推全面结论。
P3R3 · 负优化原因验证
主要问题：RGB拟合释放了腕点深度，却缺少可靠深度约束和三维保护。二维/平滑loss降低，GT三维误差反而上升。13组配置×4段消融，并补跑相同4段的原30 Hz、1200帧。
被诊断版本：surface_fit_restore_20260921。工作区后来切换的s9l10_rigid_guard_20260921未纳入本表。
| 原30 Hz设置 | 2D EPE ↓ px | 绝对3D ↓ mm | PA-MPJPE ↓ mm |
|---|---|---|---|
| 未优化基模 | 8.38 | 31.19 | 9.06 |
| P3R3 · surface-fit | 3.92 | 68.95 | 10.64 |
| 锁定基模腕点Z | 3.96 | 24.21 | 11.22 |
| 仅调整整手XY | 5.49 | 26.41 | 9.06 |
锁Z使绝对3D误差68.95 → 24.21 mm，但手型PA仍退化；仅XY保留原手型。PnP初始化与部分手型时序项会加重问题，关闭它们并不能单独解决。被诊断入口没有独立接受/回退检查。
这是同case事后诊断，限制性方案尚未通过独立泛化验证；未切入生产。原因、完整消融与源码证据 · 实验图（SVG） · 逐片及优化过程数据