다목적 강화학습에서 사후 재레이블링에 따른 선호 커버리지 붕괴
On Preference Coverage Collapse from Hindsight Relabeling in Multi-Objective Reinforcement Learning
전이(transition)의 목표를 에이전트가 실제로 달성한 결과로 소급하여 바꾸는 사후 재레이블링(hindsight relabeling)은 강화학습(RL)에서 샘플 효율을 높이는 데 효과적인 도구이다. 선호 조건 다목적 RL(MORL)로의 자연스러운 확장은 요청된 선호 방향 대신 에이전트가 실제로 달성한 선호 방향으로 전이를 재레이블링한다. 우리는 이 확장이 흔히 해롭다는 것을 보인다. 연속 제어 MO-Gymnasium 스위트에서 두 가지 critic 백본과 두 가지 선호 샘플링 방식을 아우르는 네 가지 선호 조건 오프-정책 알고리즘에 걸쳐, 36개 알고리즘-환경 설정 중 19개에서 최대 4 표준편차만큼 성능이 저하되고, 1개만 개선되며, 나머지는 영향을 받지 않는다. 이 피해는 노이즈가 있는 재레이블의 증상이 아니다. 타깃을 디노이징해도 거의 회복되지 않으며, 우선순위 샘플링이나 어떤 버퍼 구조적 선택도 이를 재현하지 못한다. 대신 반복적인 재레이블링은 critic의 커버리지를 에이전트가 우연히 방문한 선호 공간의 좁은 영역으로 붕괴시킨다. 우리는 이 실패 양상을 선호 커버리지 붕괴(Preference Coverage Collapse)라 명명하고, 순수 구조적 커버리지 개수로는 포착되지 않는 피해를 값 인식(value-aware) 통계인 abandoned preference mass(APM)로 정량화한다(ρ = -0.73). 이어서 달성 방향을 요청된 선호 쪽으로 되돌리는 단일 매개변수 볼록 결합 her_mix를 도입한다. 모든 알고리즘과 환경에서 하나의 고정값으로, 피해를 입은 19개 설정 중 16개를 기준선으로 되돌리고, 재레이블링이 도움이 되던 1개 설정은 유지하거나 더 개선하며, abandoned preference mass를 69%에서 6%로 줄인다. 노이즈가 있는 재레이블을 거르는 것이 아니라 선호 심플렉스(simplex) 전반의 커버리지를 보호하는 것이 MORL에서 사후 재레이블링을 안전하게 만드는 요인이다.