PyTorchKR Papers

최신 논문

총 29편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.22442v4cs.LG공식 코드 · Papers with Code

완전 오프라인 강화학습

Fully Offline Reinforcement Learning

오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.

arXiv:2610.11085v1cs.LG

DaCe-DT: 이종 태스크를 위한 적응형 프롬프트 및 궤적 보정을 통한 데이터 중심 오프라인 멀티태스크 강화학습

DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

오프라인 멀티태스크 강화학습(Offline MTRL)은 사전에 수집된 데이터의 품질과 분포에 크게 의존합니다. 그러나 기존 방법들은 주로 알고리즘적 최적화에 집중하며, 학습 능력과 일반화 성능을 향상시키기 위한 데이터 수준의 개선에는 덜 주목해 왔습니다. 본 논문은 데이터 관점에서 Offline MTRL 성능을 제한하는 세 가지 핵심 병목 현상을 밝혀냅니다: (i) 다양한 태스크 복잡도 하에서 비효율적인 프롬프트(prompt) 길이 활용, (ii) 무작위로 샘플링된 프롬프트 세그먼트의 의미론적 무관성, (iii) 파편화되고 불연속적인 궤적(trajectory)으로 인해 유도되는 오해의 소지가 있는 지도(supervision). 이러한 문제를 해결하기 위해, 우리는 길이 제어 프롬프트 마스킹(LGPM), 검색 증강 프롬프트 구성(RAPC), 가치 적응형 리턴 보정(VARC)을 특징으로 하여 이종 태스크의 복잡도 및 데이터 품질에 둔감하도록 설계된 강건한 오프라인 MTRL 프레임워크인 DaCe-DT를 제안합니다. 이러한 메커니즘들이 결합되어 DaCe-DT는 데이터 중심의 프롬프트 적응 및 궤적 정제를 제공하며, 이를 통해 이종 오프라인 데이터와 태스크 속에서도 강건한 멀티태스크 일반화와 안정적인 정책 학습을 가능하게 합니다. Meta-World에서의 실험 결과는 DaCe-DT가 기존 최고 수준의 방법들을 일관되게 능가하여 최적 데이터셋에서 평균 11.73%, 준최적 데이터셋에서 13.34%의 향상을 달성함을 보여주며, 불완전한 데이터로부터 안정적으로 학습하고 전반적인 멀티태스크 성능을 개선하는 데 있어서의 효과를 입증합니다.

arXiv:2610.10932v1cs.LG

목표 조건부 강화학습을 위한 월드 모델 정책 중재자

World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.

arXiv:2605.27079v2cs.LG

신뢰 영역 Q 수반 매칭

Trust Region Q Adjoint Matching

사전학습된 플로우 정책(flow policy)의 오프-정책(off-policy) 강화학습(reinforcement learning)은 다단계 샘플링 과정에서 발생하는 최적화 불안정성으로 인해 여전히 까다로운 문제입니다. 최근 수반 매칭을 활용한 Q-러닝(Q-learning with Adjoint Matching, QAM)은 정책 개선을 학습된 크리틱(critic) 기반의 확률적 최적 제어(stochastic optimal control, SOC) 문제로 재구성하여 이를 해결하고자 했습니다. 그러나 QAM은 작은 크리틱 오차도 지수적으로 증폭되어 종종 성능 붕괴로 이어질 수 있으므로, 크리틱 기반 개선 기법 특유의 근본적인 취약성을 내포하고 있습니다. 본 논문에서는 사영 쌍대 하강법(projected dual descent)을 통해 미세조정(fine-tuning)된 정책과 사전학습된 정책 사이의 경로 공간(path-space) KL을 적응적으로 제어하는 안정적인 오프-정책 미세조정 알고리즘인 신뢰 영역 Q 수반 매칭(Trust Region Q Adjoint Matching, TRQAM)을 소개합니다. 구체적으로, 플로우 정책의 샘플링 과정 내부에서 신뢰 영역 매개변수(parameter) $λ$를 조정하며, $λ$가 SOC 목적함수에서 경로 공간 KL의 가중치를 정확하게 부여함을 증명합니다. 그 결과, 본 제안 방법은 사전학습된 정책으로부터의 편차를 미리 정해진 KL 예산 내에서 엄격하게 제어하여 안정적인 오프-정책 강화학습을 달성할 수 있습니다. 50개의 OGBench 태스크에 대한 실험을 통해, TRQAM은 오프라인 강화학습과 오프라인-온라인 연계 강화학습 모두에서 기존 방법들의 성능을 일관되게 능가함을 보입니다. 특히 TRQAM은 오프라인 강화학습에서 68%의 전반적인 성공률을 달성하여, 46%를 기록한 가장 강력한 기준선(baseline) 대비 크게 향상된 성능을 보여줍니다.

arXiv:2605.09364v2cs.LG

MSPR: 목표 조건부 강화학습을 위한 다중 스케일 예측 표상

MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning

본 논문은 오프라인 목표 조건부 강화학습(GCRL)에서 강건한 표상 학습(representation learning)을 연구합니다. 특히 희소 보상(sparse reward) 시나리오에서는 인코더가 정책 학습을 불안정하게 만드는 목표 무관 특징(goal-agnostic features)을 학습할 수 있어, 상태와 목표 잠재 변수(latent)를 정렬하는 표상을 학습하기가 어렵습니다. 우리는 국소적인 물리적 동역학부터 장기적인(long-horizon) 목표 지향 구조에 이르기까지 다중 스케일에 걸쳐 환경을 포착하는 정렬 목적함수를 통해 인코더의 표상을 학습함으로써 이 문제를 해결합니다. 구체적으로, 잠재 공간 내에서 목표 지향 정렬을 강화하기 위해 다중 스케일 예측 지도(multi-scale predictive supervision)를 활용하는 프레임워크인 MSPR을 제안합니다. 실험을 통해 MSPR이 시각 및 상태 기반 태스크 모두에서 뛰어난 성능을 보임을 입증합니다. 나아가 본 접근법이 현실적이고 도전적인 데이터 조건에서도 복원력을 유지하며, 매우 다양한 태스크에 걸쳐 최고 수준의 성능(SOTA)을 유지함을 보여줍니다.

arXiv:2610.02554v1cs.LG

분해된 가치 그래디언트 흐름을 통한 테스트 시점 다중 에이전트 조정

Test-time Multi-agent Coordination by Decomposed Value Gradient Flow

오프라인 다중 에이전트 강화학습(MARL)은 지속적인 트레이드오프에 직면해 있습니다. 표현력이 뛰어난 생성형 정책은 데이터의 다중 모달 조정을 표현할 수 있지만 고가치 영역을 구분하지 못하며, 가치 최적화 정책은 학습된 Q-함수를 활용하지만 다중 모달을 단일 지배 모드로 붕괴시킵니다. 단일 에이전트의 모드 붕괴는 공동 조정을 무너뜨릴 수 있고, 에이전트 전반의 동시 드리프트는 공동 정책을 행동 공간의 미확인 영역으로 밀어 넣을 수 있습니다. 본 논문에서는 테스트 시점 행동 개선을 통해 생성형 파운데이션 모델과 학습된 가치 함수를 결합한 최초의 오프라인 MARL 프레임워크인 SCOUT(Scalable Coordination via Optimal Unified Transport)를 제안합니다. SCOUT는 두 가지 분리된 구성 요소를 학습합니다: 흐름 매칭 행동 사전 분포와 분해된 가치 함수입니다. 테스트 시점에는 스타인 변분 경사하강법(Stein variational gradient descent)을 통해 행동 샘플을 고가치 영역으로 이동(transport)시킵니다. 이동 단계의 수는 적응형 테스트 시점 스케일링을 제어하여 고정된 정규화 계수를 대체합니다. 개별-글로벌-최대(IGM) 원칙 하에서, 이동이 수렴함에 따라 소멸하는 공동 소프트-가치 격차에 대한 단일 항 KL 경계를 증명하며, 이는 IGM 위반에 비례하는 줄일 수 없는 가산 잔차를 갖습니다. 실증적으로 SCOUT는 이산 및 연속 오프라인 MARL 벤치마크 전반에서 최고의 평균 성능을 달성하며 모든 오프라인-온라인 구성에서 성능 향상을 가져옵니다.

arXiv:2605.07393v2cs.AI

사후 확률 샘플링을 활용한 오프라인 정책 최적화

Offline Policy Optimization with Posterior Sampling

모델 기반 오프라인 강화학습(RL)의 근본적인 과제는 분포 외(OOD) 영역에서의 일반화와 활용 오류에 대한 강건성 사이의 트레이드오프에 있습니다. 이러한 트레이드오프를 해결하는 핵심은 모델이 기저의 물리적 역학(dynamics)과 일관성을 유지하는 OOD 영역을 탐험할 수 있도록 하는 데 있습니다. 그러나 제한된 데이터로는 역학 모델을 유일하게 식별할 수 없고 제약 없는 탐험은 위험하기 때문에 이를 달성하기는 어렵습니다. 기존 방법들은 종종 이러한 미묘한 차이를 간과하고 과도한 비관적 정규화를 통해 위험에 대처함으로써 강건성은 확보하지만 일반화를 희생합니다. 이를 해결하기 위해 본 논문에서는 역학 모델을 점 추정치가 아닌 확률 변수로 취급하는 PSPO를 제안합니다. 이러한 정식화는 본질적으로 OOD 영역에 대한 제어된 탐험을 가능하게 합니다. 사후 분포와 정책을 번갈아 업데이트함으로써 수렴이 보장되는 정규화된 최적화 알고리즘을 설계합니다. 표준 벤치마크 실험을 통해 PSPO가 최고 수준의 베이스라인 대비 우수한 성능을 달성함을 입증합니다. 추가 분석을 통해 본 제안 방법이 강건성을 유지하면서도 원하는 비관주의 배제(pessimism-free) 특성을 달성함을 확인하였으며, 소거 연구를 통해 제안된 각 모듈의 효과를 검증합니다.

arXiv:2609.36812v2cs.LG

제안 조건부 정제 플로우를 활용한 확산 정책 개선

Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows

확산(diffusion) 및 플로우 정책은 오프라인 강화학습(RL)에서 복잡한 행동을 모델링할 수 있습니다. 그러나 행동 정책(behavior policy)과의 KL 발산(KL divergence)에 페널티를 부여하면 행동 밀도는 낮지만 크리틱(critic) 값이 높은 행동이 억제될 수 있습니다. 행동 제안을 직접 정제(refine)하는 것이 대안이 될 수 있지만, 가우시안 또는 결정론적 편집기는 동일한 제안에 대해 분리된 여러 모드를 표현하는 표현력이 제한적입니다. 본 연구에서는 크리틱 기반 제안 선택과 조건부 정제 플로우를 결합한 정책 추출 기법인 제안 조건부 정제 플로우(Proposal-Conditioned Refinement Flows, PReFlow)를 소개합니다. 제안 선택과 정제를 함께 최적화하기 위해, 가우시안 평활화된 행동 사전 분포 하에서 최종 행동에 대한 깁스 정책(Gibbs policy)을 유도하는 KL 정규화 목적 함수를 정식화합니다. 정제 플로우는 복수의 높은 가치 모드를 표현할 수 있으며, 제안 중심의 가우시안 참조(reference)는 과도한 행동 변화를 조절합니다. 이러한 가우시안 참조는 샘플링된 종점과 크리틱 그래디언트로부터 시뮬레이션 없이 폐형태(closed-form) 수반 매칭(adjoint matching) 목표를 활용할 수 있게 하여, 역방향 수반 풀이 없이 단일 속도 회귀 손실을 도출합니다. 50개의 OGBench 태스크에서 PReFlow는 경쟁력 있는 오프라인 성능을 달성했으며, 온라인 미세조정 후 비교 대상 방법 중 가장 높은 종합 점수를 기록하여 50만 환경 스텝 후 91%에 도달했습니다.

arXiv:2610.01513v1cs.AI

Decision Titan: 오프라인 강화학습에서 장기 기억을 위한 테스트 시점 학습

Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning

장기 의존성(long-term dependencies)은 AI 분야의 순차적 의사결정에서 여전히 주요한 과제입니다. RNN은 그래디언트 소실(vanishing gradients) 및 벡터 기반 은닉 상태의 제한된 표현력으로 인해 어려움을 겪는 반면, 트랜스포머(Transformer) 기반 모델은 어텐션(attention)의 2차(quadratic) 스케일링으로 인해 한계를 갖습니다. 최근 연구에서는 학습(train) 및 테스트 시점 모두에서 경사하강법(gradient descent)을 통해 신경망(neural network)의 파라미터에 에피소드 기억을 저장하는 테스트 시점 학습(Test-Time Training, TTT) 프레임워크로 이 문제를 해결할 것을 제안했습니다. 이 접근법은 자연어 처리(NLP) 분야에서 성공을 거두었으나, 우리가 아는 한 강화학습(RL) 분야에는 아직 적용되지 않았으며 이러한 기억이 실제로 어떻게 기능하는지 분석한 연구도 없었습니다. 본 논문에서는 Decision Transformer에 TTT 레이어를 보강한 'Decision Titan'을 통해 오프라인 강화학습을 위한 TTT 프레임워크의 잠재력을 연구합니다. 순차적 기억을 테스트하도록 설계된 T-Maze의 확장 환경(environment)인 X-Maze에서 모델의 성능과 특성을 분석하고, 시간에 따른 게이트 값을 시각화하여 메모리 메커니즘이 어떻게 학습하는지 조사합니다. 본 연구의 주요 발견은 Decision Titan이 컨텍스트 윈도우(context window)보다 20배 더 긴 범위의 장기 의존성을 학습할 수 있고, 학습 데이터 길이의 1.7배까지 일반화할 수 있다는 점입니다. 그러나 결정적으로 시간적 일반화는 사용된 시간 임베딩에 따라 달라지며, 장기 의존성을 학습하는 능력은 관련 정보가 어떻게 인코딩되는지에 따라 달라집니다.

arXiv:2610.00849v1cs.AI

목표 조건부 강화학습을 위한 다중 시간 척도 학습

Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(goal-conditioned reinforcement learning, GCRL)의 기존 접근법들은 장기적(long-horizon) 과제에서 어려움을 겪습니다. 할인율(discounting) 적용은 먼 상태 간의 가치 차이를 함수 근사 오차보다 작아질 때까지 축소시켜, 에이전트가 상태 순위를 매길 수 있는 신호를 남기지 못하게 합니다. k개의 환경 단계를 단일 전이로 취급하는 시간적 추상화(temporal abstraction)는 원거리에서 이러한 신호를 회복시키지만, 하나의 고정된 k 값만으로는 모든 상태-목표 거리에 대응할 수 없습니다. 큰 k 값은 긴 시간적 거리 전반에서 가치 차이를 보존하지만 가까운 상태 간의 구분을 무너뜨리고, 작은 k 값은 그 반대로 작동합니다. 본 논문에서는 이러한 상충 관계를 명시화하고, 단일 가치 함수를 k에 조건화하는 일반화된 암시적 시간 추상화(Generalized Implicit Temporal Abstraction, GITA)를 제안합니다. GITA는 여러 k 값에 걸쳐 어드밴티지 가중 감독(advantage-weighted supervision)을 집계하여 하나의 정책을 학습함으로써, 특정 상태-목표 쌍에 더 큰 양의 어드밴티지를 부여하는 척도가 해당 업데이트에 더 강하게 기여하도록 합니다. GITA는 국소적 해상도와 장거리 신호 중 하나를 선택할 필요 없이, 단일 k에 얽매이지 않고 둘 다 유지합니다. OGBench에서 GITA는 광범위한 오프라인 GCRL 베이스라인을 능가하여 HIQL 대비 모든 과제의 평균 성공률을 25%p(상대적 향상 73%) 끌어올렸습니다. 또한 가장 강력한 고정 k 방식인 OTA에 비해 7%p(상대적 향상 14%) 성능을 개선했습니다.

arXiv:2605.01457v4cs.AI

CoFlow: 오프라인 다중 에이전트 의사결정을 위한 조율된 소수 스텝 Flow

CoFlow: Coordinated Few-Step Flow for Offline Multi-Agent Decision Making

생성적 오프라인 다중 에이전트 강화학습이 빠른 공동 궤적 생성과 효과적인 협력을 동시에 달성하려면 어떻게 해야 할까? 다중 에이전트 확산 모델은 반복적 샘플링으로 공동 궤적을 생성하지만 높은 추론 지연을 초래한다. 지식 증류(distillation)는 샘플링 단계를 줄이지만 교사의 에이전트 간 의존성을 잃을 수 있어 협력 과제의 성공률을 낮출 수 있다. 공동 소수 스텝 생성기를 직접 학습하면 증류 과정에서 이러한 의존성을 잃는 것을 피할 수 있다. 그러나 에이전트 간 의존성의 불충분한 모델링은 여전히 협력을 저해할 수 있다. 또한 일관성 학습(consistency training) 과정은 큰 계산 및 메모리 비용을 수반한다. 따라서 우리는 증류 없이 원스텝 및 소수 스텝 다중 에이전트 궤적 생성을 위해 공동 평균 속도 필드를 직접 학습하는 조율된 소수 스텝 Flow(Coordinated Few-Step Flow, CoFlow)를 제안한다. 생성 중 협력을 지원하기 위해 조율된 속도 어텐션(Coordinated Velocity Attention, CVA)은 각 에이전트의 예측에 팀원 궤적 정보를 통합한다. 이 공동 모델의 일관성 학습 비용을 줄이기 위해 유한 차분을 사용하여 보정 항을 근사한다. MPE와 SMAC에서 48가지 구성에 걸쳐 CoFlow는 중앙집중식 및 분산 실행을 지원한다. 중앙집중식 실행에서 CoFlow는 재현한 기준선보다 11.2% 우수하며, 두 벤치마크 스위트 모두에서 상대적 향상을 동일하게 평균 낸 결과 12.93배의 모델 샘pling 속도 향상을 보인다. CVA는 교차 에이전트 어텐션을 비활성화한 동일 모델 대비 정규화 점수를 평균 165.1% 개선한다. 정확한 도함수 구현과 비교할 때, 유한 차분 학습은 1.78배 속도 향상을 달성하고 최대 GPU 메모리를 41.1% 줄인다. 프로젝트 페이지: https://github.com/Guowei-Zou/coflow.

arXiv:2607.11720v1cs.LG

능동적 오프라인-온라인 강화학습

Active Offline-to-Online Reinforcement Learning

배경: 오프라인 강화학습(RL)은 대규모의 사전 수집된 데이터셋으로부터 효과적인 정책을 학습하고, 이후 제한된 온라인 상호작용을 통해 성능을 개선할 수 있게 한다. 이러한 오프라인-온라인 강화학습(O2O-RL) 패러다임은 상호작용 비용이 높거나 잠재적으로 위험한 비정상(nonstationary) 도메인에서 특히 유망하다. 표준 O2O-RL 파이프라인은 여러 후보 정책을 오프라인으로 학습하고, 오프-정책(off-policy) 또는 온라인 평가를 통해 이를 평가한 뒤, 추정 가치가 가장 높은 정책을 배포하여 미세조정(fine-tuning)한다. 그러나 오프라인 사전학습과 마찬가지로, 미세조정 성능은 알고리즘과 하이퍼파라미터 선택에 매우 민감하여 단일 정책으로 확정하는 것은 위험을 수반한다. 목적: 본 연구는 O2O-RL 환경에서 제한된 상호작용 예산 내에 미세조정을 위한 능동적 정책 선택 문제를 다룬다. 이는 해당 문제를 다룬 최초의 연구이다. 방법: 온라인 상호작용을 정책 평가에 할당하는 것(고성능 정책 식별에 기여)과 미세조정에 할당하는 것(정책 성능 향상에 기여) 사이의 근본적인 트레이드오프를 규명하여 문제를 정식화한다. 이후 온라인 평가를 통해 획득한 관측값에 피팅된 국소 선형 성능 예측(locally linear performance forecasts)으로부터 도출된 미래 성능의 상한 신뢰 구간(upper-confidence bounds)에 기반하여 미세조정할 정책을 능동적으로 선택함으로써 이 트레이드오프를 균형 있게 조정하는 방법을 제안한다. 결과: 다양한 실험에 걸쳐 제안된 방법은 기존 O2O-RL 베이스라인을 일관되게 능가한다. 결론: 정책을 능동적으로 선택하고 미세조정하는 방식은 단일 정책으로 확정하거나 예산을 모든 정책에 균등하게 배분하는 방식보다 제한된 온라인 상호작용 예산을 더 효과적으로 활용한다. 또한 본 프레임워크는 온라인 상호작용이 비용이 높거나 위험한 실제 시스템에서의 실용적 배포를 향해 오프라인 강화학습을 진전시킨다.

arXiv:2607.09336v1cs.LG

효율적인 오프라인 강화학습을 위한 숏컷 궤적 계획

Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning

확산(diffusion) 기반 궤적 플래너는 오프라인 강화학습에서 높은 성능을 보여왔으나, 반복적인 노이즈 제거 과정으로 인해 추론 비용이 크다는 문제가 있다. 일관성(consistency) 기반 플래너는 샘플링 단계 수를 줄이지만, 일반적으로 학습 비용을 높이고 불안정성을 초래할 수 있는 2단계 교사-학생 지식 증류(distillation) 파이프라인에 의존한다. 우리는 숏컷 모델을 효율적인 궤적 생성기로 활용하는 오프라인 모델 기반 강화학습 프레임워크인 Shortcut Trajectory Planning(STP)을 제안한다. STP는 단일 단계에서 조건부 숏컷 궤적 모델을 학습하고, 스텝 크기 조건화를 통해 조정 가능한 단일 스텝 및 소수 스텝 추론을 지원하며, 실현 가능성 인식 보정(feasibility-aware correction)으로 보강된 크리틱을 사용하여 후보 계획을 선택한다. 이동(locomotion), 내비게이션, 조작(manipulation), 정교한 제어 태스크를 포함한 표준 D4RL 벤치마크 전반에서 STP는 빠른 생성적 계획을 위한 학습 파이프라인을 단순화하면서 높은 성능을 달성한다.

arXiv:2603.15136v2cs.LG

Safe Flow Q-Learning: 도달가능성 기반 플로우 정책을 활용한 오프라인 안전 강화학습

Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies

Hamilton-Jacobi 도달가능성에서 영감을 받은 안전 가치 함수와 원스텝 플로우 정책을 결합한 Safe Flow Q-Learning(SafeFQL)을 제안하며, 이를 통해 오프라인 안전 강화학습(RL)에서 배포 시 거부 샘플링 없이 실시간 제어가 가능하다. 보트 내비게이션과 Safety Gymnasium MuJoCo 태스크에서 기존 방법 대비 추론 지연 시간을 크게 줄이면서도 안전 제약 위반을 감소시키고 동등 이상의 성능을 달성했다.

arXiv:2605.12410v2stat.ML

유한 제어 마르코프 체인의 모델 기반 부트스트랩

Model-based Bootstrap of Controlled Markov Chains

비정상(nonstationary) 또는 이력 의존(history-dependent) 행동 정책이 있는 유한 제어 마르코프 체인(CMC)의 전이 커널에 대한 모델 기반 부트스트랩을 제안하며, 부트스트랩 대수의 법칙과 마팅게일 중심극한정리를 핵심 도구로 활용해 분포 일관성을 이론적으로 확립한다. 벨만 연산자의 아다마르 미분가능성 검증을 통해 오프라인 정책 평가(OPE) 및 최적 정책 복원(OPR)까지 이를 확장하였으며, RiverSwim 실험에서 제안된 백분위수 신뢰 구간이 기존 방법 대비 공칭 커버리지에 근접함을 보였다.

arXiv:2607.05458v1cs.LG

오프라인 강화학습을 이용한 LLM 에이전트 하네스 제어 학습

Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning

동결된 LLM 실행자 주변의 실행 하네스(harness)를 학습 가능한 제어 층으로 형식화하여, 경량 컨트롤러가 Harness MDP 위에서 오프라인 롤아웃의 어드밴티지 가중 회귀(advantage-weighted regression)로 학습하고 구조적 실행 행동을 선택하도록 한다. 6개 도메인과 2개 공개 벤치마크 어댑터 실험에서 학습된 컨트롤러는 제출 전 검증 행동을 일관되게 개선하고 tau-bench retail, AgentBench DB-Bench, 코딩 태스크에서 최종 태스크 품질을 선택적으로 향상시켰으며, 이는 단순 모방이나 검사 추가로 설명되지 않는다.

arXiv:2607.03903v1cs.LG

CDCP: 다중 작업 오프라인 안전 강화학습을 위한 문맥적 프롬프트 기반 조건부 확산 모델

CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning

다중 작업 오프라인 안전 강화학습에서 다중 작업 간섭, OOD 행동, 안전 제약이라는 세 가지 난제를 동시에 해결하기 위해, 조건부 확산 모델과 문맥적 프롬프트를 결합한 CDCP 알고리즘을 제안한다. CDCP는 분류기 없는(classifier-free) 가이드 비용-제약 전략으로 OOD 외삽 오류를 제거하고, 텍스트 설명과 궤적 프롬프트를 통합한 문맥적 프롬프팅으로 미지 작업 적응력을 높여 MetaDrive 환경 실험에서 기존 최고 수준 기준선 대비 더 높은 보상과 안전성을 달성했다.

arXiv:2402.06734v2cs.LG

Corruption Robust Offline Reinforcement Learning with Human Feedback

We study data corruption robustness for reinforcement learning with human feedback (RLHF) in an offline setting. Given an offline dataset of pairs of trajectories along with feedback about human preferences, an $\varepsilon$-fraction of the pairs is corrupted (e.g., feedback flipped or trajectory features manipulated), capturing an adversarial attack or noisy human preferences. We aim to design algorithms that identify a near-optimal policy from the corrupted data, with provable guarantees. Existing theoretical works have separately studied the settings of corruption robust RL (learning from scalar rewards directly under corruption) and offline RLHF (learning from human feedback without corruption); however, they are inapplicable to our problem of dealing with corrupted data in offline RLHF setting. To this end, we design novel corruption robust offline RLHF methods under various assumptions on the coverage of the data-generating distributions. At a high level, our methodology robustifies an offline RLHF framework by first learning a reward model along with confidence sets and then learning a pessimistic optimal policy over the confidence set. Our key insight is that learning optimal policy can be done by leveraging an offline corruption-robust RL oracle in different ways (e.g., zero-order oracle or first-order oracle), depending on the data coverage assumptions. To our knowledge, ours is the first work that provides provable corruption robust offline RLHF methods.

arXiv:2606.24962v1cs.LG

Towards Scalable Multi-Task Reinforcement Learning with Large Decision Models

로봇공학, 자율주행, 사이버보안, 게임 등 약 15,000개 환경에서 수집한 오프라인 궤적으로 단일 멀티태스크 트랜스포머 정책(LDM-v0)을 학습하고, 약 1,000개 환경에서 개별 학습된 태스크 특화 정책에 匹敵하는 성능을 달성했다. 이종(heterogeneous) 강화학습 생태계를 통합하기 위해 모달리티별 인코더와 전이 수준 메타토큰(transition-level meta-token)을 활용한 아키텍처와 AutoRL 기반 레퍼런스 정책 자동 생성 파이프라인을 제안한다.

arXiv:2606.25389v1cs.AI

Offline Multi-agent Continual Cooperation via Skill Partition and Reuse

Extracting skills from multi-agent offline dataset improves learning efficiency via sharing task-invariant coordination skills among tasks. In settings where tasks occur sequentially and the space of skills grows exponentially, existing approaches that rely on heuristically designed and fixed-sized skill libraries struggle to resolve the problem of distributional shift and interference, facing catastrophic forgetting and plasticity loss. To address this problem and endow agents with the ability to continually discover and reuse coordination skills in open-environment, we propose COMAD, a principled framework for Continual Offline Multi-agent Skill Discovery via Skill Partition and Reuse. We first discover skills from mixed multi-agent behavior data with an auto-encoder to transform coordination knowledge into reusable coordination skills. Then we construct a skill-augmented policy learning objective with multi-head architectures, explicitly guiding the advantage function with reusable skills identified via a density-based reusability estimator. Theoretical analysis shows our method approximates the optimum of a continual skill discovery problem. Empirical results across diverse MARL benchmarks show that COMAD continually expands its skill library to mitigate interference, achieving superior forward and backward transfer for task streams compared to multiple baselines.