Visual GRPO 往往先把 visual quality、motion consistency、text alignment 等 reward 压成一个分数，再把同一个 advantage 发给所有 denoising step。这样做省事，却混淆了两个不同的问题：最终结果主要由哪些 step 推动，以及每个 step 此时更该听哪个 objective。 OTCA 用 Trajectory-Level Credit Decomposition 判断不同 step 对最终结果的相对贡献，再用 Multi-Objective Credit Allocation 在 advantage space 中协调多个 reward。得到的训练信号同时回答“该更新多大”和“该朝哪个目标更新”，让 coarse trajectory reward 变成与生成过程对齐的 structured credit。
1. 问题：同一个 reward，不该平均归给每一步
Diffusion 或 flow model 是逐步完成生成的。早期 step 更多决定全局布局，后期 step 往往补充纹理和局部细节；在 video generation 中，不同阶段对 motion、identity 和画面质量的影响也并不相同。 但标准 visual GRPO 通常把 trajectory-level advantage 原样广播到整条 denoising trajectory。只要最终样本得分高，每一步都被同等鼓励，真正关键的 transition 和偶然搭便车的 transition 无法区分，优化方差也随之增加。
2. TCD：沿 trajectory 估计每一步的贡献
Trajectory-Level Credit Decomposition（TCD）比较相邻 latent 与最终 denoised latent 的对齐变化。某一步让中间状态明显靠近最终结果，就获得更高的 temporal weight；贡献较弱的 step 则少分一些 credit。 这个估计直接利用 GRPO 已经采样出的 trajectory，不依赖额外的 value model。重点不是声称得到了严格的因果归因，而是为“一刀切”的 advantage 提供一个稳定、低开销的 step-wise proxy。
3. MOCA：在 advantage space 协调多个 objective
多个 reward 并不总是同向：更强的 motion 可能牺牲局部清晰度，更高的 aesthetic score 也未必带来更好的 text alignment。 Multi-Objective Credit Allocation（MOCA）不为每个 objective 单独计算并保存一套大模型 gradient，而是在 advantage space 求解动态组合权重。这样既保留了 conflict-aware 的多目标优化思路，也避免了 gradient-space 方法在大规模生成模型上的昂贵开销。
4. Key Insight：reward 要在正确的时间表达正确的偏好
更强的 reward model 只能改善“如何评价结果”，不能自动解决“如何把评价传回生成过程”。OTCA 把 temporal credit 和 objective credit 放在同一个框架里：先判断哪一步值得更强更新，再决定这一步该由哪些 reward 共同塑形。 这说明 visual post-training 的一个关键瓶颈并非 reward 数量不足，而是 supervision 的组织方式过于粗糙。把 credit 放对位置，往往比继续叠加分数更有效。
English Summary
OTCA addresses a structural weakness in visual GRPO. Multiple rewards are commonly collapsed into one scalar advantage and broadcast uniformly across the denoising trajectory, even though different steps play different roles and different objectives may conflict.
Core Idea
Trajectory-Level Credit Decomposition estimates a temporal weight from how much each transition moves the latent state toward the final denoised result. Multi-Objective Credit Allocation then combines heterogeneous rewards in advantage space, avoiding the cost of storing separate gradients for large generative models.
Why This Helps
The effective advantage encodes both update strength and objective composition at each timestep. Policy updates therefore follow the structure of the generation process instead of treating every denoising step as equally responsible for the final score.
Practical Takeaway
Better reward models are only part of visual alignment. The route by which reward becomes credit matters just as much: supervision must reach the right step with the right objective mixture.