PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21321v2cs.LG

목표-행동 정렬: 다목적 강화학습 정책 선택을 위한 진단

Objective-Behavior Alignment: Diagnostics for MORL Policy Selection

실세계 의사결정에서는 종종 여러 상충하는 목표를 동시에 최적화해야 한다. 강화학습(RL)에서는 일반적으로 스칼라화(scalarization) 함수를 통해 보상 신호를 단일 스칼라 목표로 결합하여 이를 처리하는데, 이는 불안정할 수 있다: 가중치의 작은 변화가 극적으로 다른 정책을 유발할 수 있다. 다목적 강화학습(MORL)은 대신 목표 간 트레이드오프를 명시적으로 나타내는 정책 집합을 생성한다. 하지만 이러한 정책은 일반적으로 의사결정자에게 가치 벡터(value vector)만을 통해 제시되며, 이는 상당한 행동적 변이를 가릴 수 있다: 서로 다른 궤적(trajectory)을 유발하는 정책이 기대 수익(expected return)만으로 평가될 때 구별 불가능해 보일 수 있다. 우리는 목표 값만으로는 드러나지 않는 파레토 프론트(Pareto front) 상의 행동적 변이를 자동으로 강조하는 탐색적 진단 워크플로를 제안하고, 정책 검사를 지원하는 정량적 및 시각적 도구를 함께 제공한다. 우리는 단순한 그리드 예제에서 접근법을 검증하고 연속 제어(continuous control) 벤치마크로 확장하여, 문제 복잡도가 증가할 때에도 효과적임을 보여준다.

arXiv:2509.22047v3cs.LG

MO-GRPO: 다목적 문제에서 GRPO의 보상 해킹 완화

MO-GRPO: Mitigating Reward Hacking of Group Relative Policy Optimization on Multi-Objective Problems

그룹 상대 정책 최적화(GRPO)는 정확한 보상 모델이 사용 가능할 때 효과적인 알고리즘으로 알려져 있다. 그러나 이러한 높은 신뢰성의 보상 모델은 많은 실제 과제에서 사용할 수 없다. 본 논문에서는 특히 다목적 설정에 초점을 맞추며, GRPO가 보상 해킹(reward hacking)에 취약하여 다른 목표를 희생하면서 목표 중 하나만 최적화한다는 점을 확인한다. 이 문제를 해결하기 위해, 우리는 GRPO의 확장인 MO-GRPO를 제안한다. MO-GRPO는 보상 함수 값들의 분산에 따라 보상 함수를 자동으로 재가중하는 간단한 정규화 방법을 포함한다. 먼저 MO-GRPO가 선호 순서를 유지하면서 모든 보상 함수가 손실 함수에 균등하게 기여하도록 보장하며, 보상 함수 스케일의 수동 튜닝 필요성을 제거함을 분석적으로 보인다. 그다음 MO-GRPO를 네 가지 영역에서 실험적으로 평가한다: (i) 다중 팔 밴딧(multi-armed bandits) 문제, (ii) 시뮬레이션 제어 과제(Mo-Gymnasium), (iii) WMT 벤치마크(En-Ja, En-Zh)에서의 기계 번역 과제, (iv) 인스트럭션 따르기(instruction following) 과제. MO-GRPO는 보상 구성 요소들 간의 상관관계를 균등하게 분배하여 안정적인 학습을 달성하며 GRPO를 능가하여, MO-GRPO가 다목적 강화학습 문제에 유망한 알고리즘임을 보여준다.

arXiv:2607.11432v1cs.LG

선호 기반 강화학습의 일반화: 비교 불가능성을 위한 합리성 모델

Generalizing Preference-based Reinforcement Learning: a Rationality Model for Incomparability

본 연구에서는 인간 전문가가 제공하는 쌍별 궤적 비교로부터의 강화학습(RL) 문제를 다룬다. 전문가가 궤적 쌍을 비교 불가능(incomparable)하다고, 즉 어떤 궤적도 다른 궤적을 지배하지 않을 때 라벨링할 수 있는 새로운 설정을 형식화함으로써 선호 기반 강화학습을 일반화한다. 학습 문제와 그 해결책이 만족해야 할 요구 조건을 소개한다. 이어서 비교 불가능성을 효과적으로 포착하고 다차원 보상 함수를 추론하는 Bradley-Terry에서 영감을 받은 새로운 합리성 모델을 제안하고 그 특성을 연구한다. 데이터셋이 주어졌을 때 모델 파라미터 학습에 대한 샘플 복잡도 분석을 제공한다. 마지막으로, 시뮬레이션 환경에서 전문가의 비교와 일치하는 보상 함수를 재구성하고 정책의 파레토 프런티어를 복원하는 모델의 능력을 평가하며, 전문가 합리성의 다양한 수준에 걸친 견고성 분석도 함께 수행한다.

arXiv:2606.26397v1cs.LG

다중 목표 강화학습을 위한 결정론적 파레토 최적 정책 합성

Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning

실세계의 의사결정은 흔히 여러 상충하는 목표 사이의 균형을 요구하는데, 표준 강화학습(RL)은 이를 보상을 단일 스칼라 신호로 집계하는 방식으로 자주 다룬다. 이 접근법은 단순한 태스크에는 효과적이지만, 파레토 프론티어(Pareto frontier)라 불리는 최적 트레이드오프의 전체 스펙트럼을 포착하는 데 실패하는 경우가 많다. 본 논문에서는 다중 목표 마르코프 결정 과정(MOMDP)에 대한 결정론적 파레토 최적 정책을 계산하기 위해, 체비쇼프 스칼라화(Chebyshev scalarization)에서 동기를 얻은 새로운 선호 조건부 벨만 연산자(preference-conditioned Bellman operator)를 제안한다. 이 연산자가 포락 속성(enveloping property)을 만족함을 증명하며, 여기서 추정된 가치 함수는 실제 파레토 프론티어의 상한을 이룬다. 또한 이 연산자가 해당 프론티어의 커버리지 집합으로 단조 수렴함을 보인다. 나아가 수렴된 Q-추정값으로부터 결정론적 정책을 추출하는 방법도 제시한다. 이를 통해 에이전트는 임의의 선호에 대한 정책을 복원할 수 있으며, 파레토 최적 프론티어 전체를 포괄하면서 합성된 각 정책이 근사적으로 파레토 최적임을 보장한다. 실험 결과는 제안 알고리즘이 복잡한 트레이드오프를 성공적으로 복원함을 검증하며, 결정론적 파레토 최적 정책 합성을 위한 해법을 제공한다.

arXiv:2606.11891v1cs.RO

크리틱 아키텍처의 중요성: 휴머노이드 로코-매니퓰레이션을 위한 이중 vs. 통합 크리틱

Critic Architecture Matters: Dual vs. Unified Critics for Humanoid Loco-Manipulation

휴머노이드 로봇을 위한 다목적 강화학습은 단일 정책 내에서 이동(locomotion)과 조작(manipulation)을 조율해야 한다. 자연스러운 설계 선택은 모든 목표의 결합 가치를 추정하는 단일(통합) 크리틱을 사용할지, 아니면 분리된 보상 신호를 가진 별도(이중) 크리틱을 사용할지이다. Unitree G1 휴머노이드(23개 활성 자유도)에 대해 NVIDIA Isaac Lab에서 통제된 비교를 제시하며, 정지 상태에서의 도달부터 가변 방향 목표를 향한 보행까지 13단계에 걸친 순차 커리큘럼을 통해 로코-매니퓰레이션 정책을 학습한다. 표준화된 평가에서 이중 크리틱 정책은 통합 크리틱 정책에 비해 목표에 3.5배 더 빠르게(6.5 vs. 22.6 시뮬레이션 스텝) 도달하고, 2배 더 높은 처리량(1,000 스텝당 14.3 vs. 7.0회의 검증된 도달)을 달성하며, 더 높은 검증된 도달률(65.2% vs. 53.8%)을 보인다. 주목할 점은, 아키텍처 변경만으로도 추가적인 게임 방지(anti-gaming) 보상 메커니즘이 더 이상의 개선을 제공하지 않는다는 것이다(60.9% vs. 65.2%). 이 결과는 모방 학습으로 학습된 정책의 RL 미세조정이라는 새로운 패러다임에 직접적인 함의를 갖는다: RL로 사전학습된 조작 정책을 정교화할 때, 통합 크리틱은 경쟁하는 이동 그라디언트를 통해 학습된 행동을 억압할 위험이 있다. 이러한 결과는 크리틱 아키텍처가 다목적 휴머노이드 RL에서 주요하며 종종 간과되는 설계 선택임을 보여주며, 도달 효율성에 있어 보상 엔지니어링보다 더 큰 영향을 미친다.