비전-언어-행동(VLA, Vision-Language-Action) 모델을 파인튜닝(fine-tuning)하기 위해 강화학습(RL)이 점점 더 널리 사용되고 있으나, 로봇 상호작용은 비용이 많이 들며 성공적인 롤아웃(rollout)이 드문 경우 학습의 샘플 효율성이 극도로 저하됩니다. 지시된 작업을 완료했을 때만 보상(reward)이 주어지면, 실패한 롤아웃은 해당 작업과 관련된 유의미한 행동을 성공적으로 수행했더라도 아무런 가치가 없는 것으로 취급됩니다. 예를 들어 올바른 물체를 그릇에 넣지 못한 로봇이라도 해당 물체를 그릇 쪽으로 이동시키거나 다른 물체를 그릇에 넣었을 수 있으며, 이는 목표 작업을 해결하는 데 재사용될 수 있는 물체와 행동을 보여줍니다. 이러한 행동은 정책(policy)이 이미 해결할 수 있는 보조 작업을 정의하며, 더 어려운 목표 작업을 해결하기 전에도 유용한 학습(training) 신호를 제공합니다. 본 논문에서는 이러한 실패를 추가적인 학습 신호로 전환하는 사후 경험 학습(LfH, $\textit{Learning from Hindsight}$)을 제안합니다. 사전학습된 비전-언어 모델(VLM)을 활용하는 LfH는 실패한 롤아웃을 실제로 달성한 행동으로 재라벨링하고, 지시된 작업과 이러한 보조 작업 모두에 대해 정책을 공동으로 학습시킵니다. 분포 외(OOD) LIBERO-PRO 조작 작업에서 LfH는 약 $5\times$ 적은 롤아웃으로 GRPO의 최종 성능과 일치하는 결과를 보였으며, 여러 VLA 백본 전반에서 샘플 효율성을 향상시켰습니다. 실제 Franka 로봇 실험에서 LfH는 160회의 학습 롤아웃 내에 성공률을 $0\%$에서 $56\%$로 끌어올린 반면, GRPO는 $22\%$에 도달하는 데 그쳤습니다.
전이(transition)의 목표를 에이전트가 실제로 달성한 결과로 소급하여 바꾸는 사후 재레이블링(hindsight relabeling)은 강화학습(RL)에서 샘플 효율을 높이는 데 효과적인 도구이다. 선호 조건 다목적 RL(MORL)로의 자연스러운 확장은 요청된 선호 방향 대신 에이전트가 실제로 달성한 선호 방향으로 전이를 재레이블링한다. 우리는 이 확장이 흔히 해롭다는 것을 보인다. 연속 제어 MO-Gymnasium 스위트에서 두 가지 critic 백본과 두 가지 선호 샘플링 방식을 아우르는 네 가지 선호 조건 오프-정책 알고리즘에 걸쳐, 36개 알고리즘-환경 설정 중 19개에서 최대 4 표준편차만큼 성능이 저하되고, 1개만 개선되며, 나머지는 영향을 받지 않는다. 이 피해는 노이즈가 있는 재레이블의 증상이 아니다. 타깃을 디노이징해도 거의 회복되지 않으며, 우선순위 샘플링이나 어떤 버퍼 구조적 선택도 이를 재현하지 못한다. 대신 반복적인 재레이블링은 critic의 커버리지를 에이전트가 우연히 방문한 선호 공간의 좁은 영역으로 붕괴시킨다. 우리는 이 실패 양상을 선호 커버리지 붕괴(Preference Coverage Collapse)라 명명하고, 순수 구조적 커버리지 개수로는 포착되지 않는 피해를 값 인식(value-aware) 통계인 abandoned preference mass(APM)로 정량화한다(ρ = -0.73). 이어서 달성 방향을 요청된 선호 쪽으로 되돌리는 단일 매개변수 볼록 결합 her_mix를 도입한다. 모든 알고리즘과 환경에서 하나의 고정값으로, 피해를 입은 19개 설정 중 16개를 기준선으로 되돌리고, 재레이블링이 도움이 되던 1개 설정은 유지하거나 더 개선하며, abandoned preference mass를 69%에서 6%로 줄인다. 노이즈가 있는 재레이블을 거르는 것이 아니라 선호 심플렉스(simplex) 전반의 커버리지를 보호하는 것이 MORL에서 사후 재레이블링을 안전하게 만드는 요인이다.