목표-행동 정렬: 다목적 강화학습 정책 선택을 위한 진단
Objective-Behavior Alignment: Diagnostics for MORL Policy Selection
실세계 의사결정에서는 종종 여러 상충하는 목표를 동시에 최적화해야 한다. 강화학습(RL)에서는 일반적으로 스칼라화(scalarization) 함수를 통해 보상 신호를 단일 스칼라 목표로 결합하여 이를 처리하는데, 이는 불안정할 수 있다: 가중치의 작은 변화가 극적으로 다른 정책을 유발할 수 있다. 다목적 강화학습(MORL)은 대신 목표 간 트레이드오프를 명시적으로 나타내는 정책 집합을 생성한다. 하지만 이러한 정책은 일반적으로 의사결정자에게 가치 벡터(value vector)만을 통해 제시되며, 이는 상당한 행동적 변이를 가릴 수 있다: 서로 다른 궤적(trajectory)을 유발하는 정책이 기대 수익(expected return)만으로 평가될 때 구별 불가능해 보일 수 있다. 우리는 목표 값만으로는 드러나지 않는 파레토 프론트(Pareto front) 상의 행동적 변이를 자동으로 강조하는 탐색적 진단 워크플로를 제안하고, 정책 검사를 지원하는 정량적 및 시각적 도구를 함께 제공한다. 우리는 단순한 그리드 예제에서 접근법을 검증하고 연속 제어(continuous control) 벤치마크로 확장하여, 문제 복잡도가 증가할 때에도 효과적임을 보여준다.