DIRECT PERCEPTION CONTROL · SYMBIOSIS RESEARCH

直接感知—控制模型

2026 年 8 月·SYMBIOSIS RESEARCH

感知扩展让机器人更懂世界，但理解任务并不自动等于能够可靠行动。我们希望把智能模型的边界，从生成一个需要被追踪的运动学目标，推进到生成一个由当前身体状态决定、能够直接执行的物理动作。

文章目录

01 / PRELIMINARY

重新审视分层感知—控制范式

分层感知—控制的边界沿执行链路表现为三个问题，并与图 01 及下文保持相同顺序。第一，Motion Interface 不充分：System 1 将完整上下文压缩为 Z_t 时，可能丢失与控制相关的任务信息。第二，分别训练、串联推理：System 1 与 System 0 由不同目标独立优化，却必须在部署时组成同一条执行链。第三，低层动作边界：真正可执行的动作仍被 frozen System 0 已学习的 control distribution 限制。³⁴

图 01. 双层架构通过 Latent Policy 与 motion interface，将完整任务上下文传递给 Whole-Body Tracker；其中 Motion Interface 不充分、分别训练、串联推理、低层动作边界，依次对应下文的问题一至问题三。

问题一：Motion Interface 不充分

Motion goal 说明“身体要做什么”，physical action 还必须确定“当前身体应如何完成”。若不同上下文 X_t 被压成相近的 Z_t，却需要不同的 Joint Target，只读取 Z_t 的 tracker 就无法恢复已丢失的控制信息。这一缺口在同时耦合接触、姿态与支撑的 loco-manipulation 中尤其明显。

图 02 将同一批样本从 Latent Space 追踪到 Joint Target Space。在 Compare 模式中，latent-near 样本对通过 sample ID 对齐，distance panel 则量化实际动作的分离程度。Loco-manipulation 中更大的分离说明：相似的粗粒度 motion intent 可能隐藏不同的接触、平衡与上下肢协同要求。若这种邻域关系无法跨表征保持，Z_t 就不是充分的动作接口。

图 02. Pair Explorer 追踪同一真实样本从 Latent Space 到 Joint Target Space 的变化，呈现相近 motion intent 如何对应不同的 physical action。

问题二：分别训练，串联推理

分层架构在推理时表现为一条连续链路，但这种连续性并不存在于训练目标中：System 1 的 Latent Policy 学习生成 motion interface，System 0 则独立学习 tracking、stability 或 control reward。二者只在部署时通过 Z_t 接起来，System 0 的真实执行误差与视觉后果无法穿过 frozen interface 共同优化 System 1。

图 03. Latent Policy 与 Whole-Body Tracker 在训练阶段分别接受 latent-level 与 control-level supervision；推理时二者才通过 motion interface Z_t 串联，因此整条执行链路不存在统一的 end-to-end action objective。

问题三：低层动作边界

最终动作不仅受 decoder 形式约束，也受 System 0 训练数据所覆盖的 motion distribution 约束。若低层先验主要学习 locomotion-centric behavior，高层新增的 loco-manipulation 任务仍必须投影回这一执行分布；超出其覆盖区域的 joint-level action 不会因为更强的 perception 或 reasoning 自动变得可达。

图 04 展示的是分布而非轨迹：水平的 Locomotion 与 Manipulation 两条轴表示运动激活方向，高度表示相对样本密度，曲面重叠区域对应共享的 motion prior。Locomotion-centric distribution 主要集中在 locomotion-heavy 区域，而 loco-manipulation 会进一步延伸到两类激活混合的区域。二者未重叠的部分，正是新任务需要、却尚未进入 System 0 学习支撑范围的动作。

图 04. Locomotion-centric data 只覆盖有限的 whole-body execution region；loco-manipulation 所需动作进一步进入 locomotion 与 manipulation 高度耦合的区域，揭示 frozen low-level prior 的分布边界。

HIERARCHICAL PIPELINE语义意图在接口处被压缩，再交由冻结的执行器完成

01感知与语言场景 · 任务

S1Latent Policy高层表示

↘压缩接口Token / Trajectory

S0Whole-Body Tracker冻结的低层先验

05物理执行Joint Target · PD

信息流三重边界：表征 · 联合训练 · 动作空间

这三类限制分别回答三个不同问题：任务控制信息能否穿过中间表征，哪一种 action representation 能与 future visual dynamics 共同训练，以及最终策略能够表达哪些 PD targets。维度本身不是判断标准；真正关键的是表征语义、监督目标与 frozen decoder 的动作像集。

X_t视觉与任务H_t状态历史Z_t运动 tokenA_t关节目标

KINEMATIC REPRESENTATION & SUPERVISION

运动学表征与监督瓶颈

任务与视觉上下文 X_t、状态历史 H_t 必须先被压入 SONIC motion representation Z_t。但 Z_t 的监督语义是 desired motion / reference pose——它回答“身体应呈现什么运动”，并不直接回答“当前控制步应发出什么 joint target”。任务控制语义一旦在这层 kinematic abstraction 中消失，后续 decoder 无法恢复。

REPRESENTATION + SUPERVISION

01 / SUFFICIENCY GAP

R_Z^* = R_X^* + 𝔼 [ ‖ 𝔼[A^* | X, H] − 𝔼[A^* | Z, H] ‖² ] ≥ R_X^*

02 / LOSS GEOMETRY

L_token = δz^T I₆₄ δz ; L_action ≈ δz^T J_h^T J_h δz ; rank(J_h^TJ_h) ≤ 29 < 64

在 Z = f_SONIC(X, H) 与平方损失下；J_h = ∂D_frozen(z, h) / ∂z

表征瓶颈若两个任务上下文在相同 H 下被压成相同 Z，却需要不同 A^*，任何只读取 (Z, H) 的策略都无法区分。风险差正是被 kinematic representation 丢掉的 task-relevant control information。

监督瓶颈问题不是“64D 太小”。因为 J_h ∈ ℝ^29×64，J_h^TJ_h 的 rank 至多为 29，不可能与满秩的 I₆₄ 全局等价：有些 token 误差几乎不改变动作，另一些方向却会被 decoder 放大。Direct-joint 直接在最终控制空间对齐监督。

DYNAMICS GROUNDING UNDER A FROZEN DECODER

冻结解码器下的动力学落地缺口

两条路径都读取 X_t 与 H_t；关键差异是 future visual branch 所 attend 的 hidden representation 受到什么监督。旧路径中的 E_Z,t 只被明确要求解码 kinematics-level SONIC target；真正 state-conditioned 的 joint action 要等到 frozen decoder 之后才出现。Direct-joint 则让 future visual 直接 attend 一个由真实 joint-control target 监督的 E_A,t。

WHAT FUTURE VISUAL ATTENDS

FROZEN SONIC PATH

Y_future ← E_Z,t → Z_t ; A_t = D_frozen(Z_t, H_t)

DIRECT-JOINT PATH

Y_future ← E_A,t → A_t → S_t+1

SHARED GRADIENT

∂L_total / ∂E_A,t = ∂L_action / ∂E_A,t + λ_visual ∂L_future / ∂E_A,t

联合训练缺口Frozen decoder 可以使用 proprioceptive feedback，但其 state-feedback law 位于 visual-action 模型之外，因此 ∂L_future / ∂θ_D = 0。Future prediction 无法根据视觉结果重塑“运动目标 + 当前状态 → joint control”的映射。

动力学落地Joint action 不是完整 dynamics，却是与 H_t 共同进入短时状态转移的控制变量。Action loss 使 A_t 可从 E_A,t 解码，future loss 又从同一表示学习动作后果，因此它比只受 SONIC target 监督的表示更直接地锚定到物理变化。

FROZEN ACTION-MANIFOLD CONSTRAINT

冻结动作流形约束

固定状态历史 h 后，latent-based policy 无论上游模型多强，最终动作都必须属于 frozen decoder 对合法 SONIC latent 的动作像集 M_h。Direct-joint 移除的是这层 learned decoder constraint：它仍使用相同 29D PD-target 接口，但不再要求任务动作先落在 M_h 中。

EXPRESSIVITY AT THE SAME PD INTERFACE

FROZEN DECODER IMAGE

M_h = { D_frozen(z, h) : z ∈ Z_valid } ⊆ ℝ²⁹

UNREACHABLE-TARGET ERROR

infz ∈ Z_valid ‖D_frozen(z, h) − a^*‖² = dist(a^*, M_h)²

DIRECT-JOINT PD TARGET

A_joint = q_default + C_scale A_raw ; det(C_scale) ≠ 0

固定仿射映射在非零 scale 下可逆；这里比较的是 learned action manifold，而不是取消 joint limits、torque saturation 或 safety clipping。

严格的表达下界若任务所需动作 a^* 位于 M_h 之外，旧路径存在正的不可约 action error；继续增强感知或规划也无法越过 frozen System 0 的表达边界。

自由度与代价64D → 29D 并不自动构成瓶颈，关键是合法 latent 的实际像集。Direct-joint 扩大了同一 PD-target 接口内的 hypothesis class，也同时失去 decoder 提供的平衡、平滑与全身协调先验，这些能力必须通过数据与闭环训练重新学习。

FROM GOAL TO CONTROL

三点沿着旧路径依次发生：任务语义先被运动学表征过滤，state-conditioned action 再被隔离在联合训练之外，最终输出还受 decoder image 约束。Direct-joint 分别以 action-level supervision、dynamics-grounded co-training 和更自由的 joint-space output 放松这三层限制；它带来更大的可达能力，也承担重新学习稳定控制先验的责任。

02 / METHOD

直接感知—控制模型

我们的 Method 与 Preliminary 中的三个问题逐项对应。针对 Motion Interface 不充分，Direct Perception Control Model 彻底移除中间运动表征：模型不再生成需要独立 Whole-Body Tracker 追踪的运动参考，而是把视觉、语言、身体状态、动作历史与执行反馈直接映射为可执行的关节与手部目标。针对 分别训练、串联推理，Symbiotic Attention 让感知表征与控制表征在共享 action objective 下彼此 attention，使任务理解与身体动力学在训练中共同适配，而不是只在部署时接到一起。⁵⁶

图 05. Direct Perception Control Model 不经过中间 Motion Interface，将感知与实时身体上下文直接映射为关节和手部目标；位于模型中央的 Symbiotic Attention 在训练中耦合感知与控制表征，异步视觉更新与连续本体反馈则维持闭环执行。

针对 低层动作边界，DriftDistill 让 Student 的闭环训练分布持续超出离线示范与原控制器留下的固定支撑范围。离线示范只覆盖理想轨迹，闭环误差会把 Student 推向这一支撑范围之外的状态；DriftDistill 将这种 drift 转化为可学习信号：Offline BC 初始化语义—动作先验，Student 在真实闭环中 rollout，Frozen Teacher 只为策略实际访问的状态提供恢复目标。每次纠偏再被蒸馏回 Student，使下一轮 rollout 从更广、更具恢复能力的策略出发。三项设计由此依次完成：移除接口、耦合学习、扩展可执行分布。⁷⁸

01 / GROUND

Offline demonstrations

02 / INITIALIZE

Unified Policy

03 / VISIT

策略实际访问的状态

ON-POLICY RECOVERY LOOP访问 → 纠偏 → 吸收每轮 rollout 扩展训练分布

05 / DISTILL

L_rec(aₜ, aₜ^*)MINIMIZE

Recovery loss

04 / CORRECT

qₜ→π_T→aₜ^*

Frozen Teacher

图 06. DriftDistill 通过“访问—纠偏—吸收”闭环解决 低层动作边界：Student 访问漂移状态，Frozen Teacher 给出恢复目标，纠偏结果再被吸收到最终部署的 Student 策略中。

因此，DriftDistill 不是固定的 two-stage recipe；它让训练分布随 Student 展开：每轮 rollout 暴露新的 drift 与 recovery frontier，Teacher 将其转化为监督，Student 吸收后再进入下一轮。

03 / DATA

增强移动操作数据

直接学习 physical action，监督必须落在机器人实际执行的 Joint Target Space。现有人类与机器人数据具有不同的 embodiment、动作表示和控制接口，无法直接合并。我们因此把每类数据都转换为 G1 可执行、时间对齐的 joint trajectories，再将这种共同监督扩展到 15,010 小时。

统一异构运动信息

转换从每类数据最可靠的运动信号出发：遥操作人形机器人数据统一坐标系、关节定义与控制频率；头显数据根据可恢复的全身运动完成重建与重定向；第一视角视频则从手、腕与末端执行器轨迹恢复人形机器人全身运动。三条路径最终产出一致的关节目标监督。

图 07. 异构数据转换管线依据不同数据源中可靠保留的运动信息，将异构数据转换为统一、G1 可执行且时间对齐的 joint trajectories。

规模化统一数据集

统一后的数据集共 15,010 小时：6,781 小时 Human Ego、4,024 小时 Armed Robot、3,660 小时 Wheeled Humanoid，以及 545 小时 Bipedal Humanoid 数据。这些来源覆盖移动与交互能力不同的人类和机器人 embodiment；转换后，它们共同进入同一个 execution space，使训练不再依赖单一平台。

图 08. 15,010 小时具身训练数据覆盖 Human Ego 与多种机器人形态，为 whole-body loco-manipulation 提供规模化训练基础。

图 09. 代表性转换样本同步展示不同来源的原始数据与转换后的人形机器人 joint motion，呈现异构数据如何被统一到同一个 whole-body execution space。

04 / EXPERIMENTS

实验要回答什么

问题 01

联合优化能否减少级联误差？

任务成功率反映了感知、动作生成与闭环执行误差累积后的整体结果。图 10 在相同的四项评测任务上直接比较这一结果。

Success Rate (%) ↑

图 10. 在四项评测任务上，我们的方法均获得高于 Baseline 的任务成功率，其中 Task A 与 Task B 的提升最为显著。

问题 02

语义与控制是否更好对齐？

这一问题检验：随着接触、姿态和场景状态在执行中持续变化，任务指令能否始终与机器人的全身行为保持一致。

移动抓取与放置

机器人先走到桩前，弯腰下蹲后单手将桩拿起，向右转身并向前走两步，最后放下物体；这一连续动作同时要求精准抓取、负重平衡、转向与移动操作协同。

手—眼—脚协同

任务要求手、眼、脚协同：右脚控制油门，在即将驶出弯道时快速向右打方向盘，需要将视觉时机判断、精准油门控制与驾驶语义结合起来。

图 11. 移动抓取与放置、手—眼—脚协同驾驶，将任务的语义意图与闭环全身执行对应起来。

问题 03

执行是否仍受 System 0 限制？

执行质量需要在物理动作层直接观察，而不能只从任务成功率间接推断。

受限姿态下的全身移动操作

受限姿态与狭小活动空间突破了以移动为中心的动作支撑：躯干与双臂需要协同重构，同时保持稳定支撑和精确物体接触。

图 12. 这一序列提供了一个代表性案例，用于观察任务成功率之外的闭环物理执行过程。

05 / FUTURE WORK

让智能成为可执行的身体动作

感知扩展解决了机器人“看懂世界”和“理解任务”的问题，但真正的 Whole-Body Intelligence 还需要同时理解任务目标、身体状态、动力学约束和动作后果。Direct Perception Control 的目标，正是缩短这段 Embodiment Gap。我们不是在训练一个更强的 Motion Planner，而是在训练一个从理解世界一直学习到如何使用自己身体完成任务的系统。¹³¹⁴

The next frontier of robot intelligence is not only better perception or better planning. It is learning how intelligence becomes physically executable action.

引用

@article{symbiosis2026directperceptioncontrol,
  author = {SYMBIOSIS Research},
  title = {Direct Perception Control Model},
  journal = {SYMBIOSIS Research Blog},
  year = {2026}
}