arXiv:2306.14479

Design from Policies: Conservative Test-Time Adaptation for Offline Policy Optimization

Jinxin Liu, Hongyin Zhang, Zifeng Zhuang, Yachen Kang, Donglin Wang, Bin Wang

제출 2023-06-26

원문 초록

In this work, we decouple the iterative bi-level offline RL (value estimation and policy extraction) from the offline training phase, forming a non-iterative bi-level paradigm and avoiding the iterative error propagation over two levels. Specifically, this non-iterative paradigm allows us to conduct inner-level optimization (value estimation) in training, while performing outer-level optimization (policy extraction) in testing. Naturally, such a paradigm raises three core questions that are not fully answered by prior non-iterative offline RL counterparts like reward-conditioned policy: (q1) What information should we transfer from the inner-level to the outer-level? (q2) What should we pay attention to when exploiting the transferred information for safe/confident outer-level optimization? (q3) What are the benefits of concurrently conducting outer-level optimization during testing? Motivated by model-based optimization (MBO), we propose DROP (design from policies), which fully answers the above questions. Specifically, in the inner-level, DROP decomposes offline data into multiple subsets, and learns an MBO score model (a1). To keep safe exploitation to the score model in the outer-level, we explicitly learn a behavior embedding and introduce a conservative regularization (a2). During testing, we show that DROP permits deployment adaptation, enabling an adaptive inference across states (a3). Empirically, we evaluate DROP on various tasks, showing that DROP gains comparable or better performance compared to prior methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23458v2cs.LG공통 태그 Offline RL공식 코드 · Papers with Code

확산 가이던스는 제어 가능한 정책 개선 연산자이다

Diffusion Guidance Is a Controllable Policy Improvement Operator

강화학습의 핵심에는 데이터에 담긴 성능을 넘어서는 학습이라는 개념이 있다. 그러나 이러한 시스템의 규모 확장은 매우 어려운 것으로 알려져 있다. 반면 생성 모델링 기법은 놀랍도록 확장성이 뛰어나고 학습이 간단한 것으로 입증되었다. 본 연구에서는 정책 개선과 확산 모델의 가이던스 사이의 직접적인 관계를 도출함으로써 이러한 두 강점을 결합한다. 그 결과로 얻은 프레임워크인 CFGRL은 지도 학습의 단순함으로 학습되면서도 데이터에 있는 정책을 더욱 개선할 수 있다. 오프라인 강화학습 과제에서 우리는 가이던스 가중치를 높일수록 성능이 향상되는 일관된 경향을 관찰한다. 특히 중요한 점은, CFGRL이 가치 함수를 명시적으로 학습하지 않고도 작동할 수 있어 목표 조건부 행동 복제와 같은 단순한 지도 학습 방법을 일반화하여 최적성을 더욱 우선시할 수 있으며, 전반적으로 "공짜로" 성능을 얻을 수 있다는 것이다.

arXiv:2505.22442v4cs.LG공통 태그 Offline RL공식 코드 · Papers with Code

완전 오프라인 강화학습

Fully Offline Reinforcement Learning

오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.

arXiv:2505.12912v2cs.CV공통 태그 Test-time Adaptation공식 코드 · Papers with Code

균일성 우선: 이미지 손상에 대응하는 비전-언어 모델의 균일성 인식 테스트 시점 적응

Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption

대조적 언어-이미지 사전학습(CLIP)과 같은 사전학습된 비전-언어 모델은 뛰어난 일반화 능력을 보여 왔으며, 이를 통해 제로샷 분류를 비롯한 다양한 응용이 가능해졌다. 그러나 비전-언어 모델은 입력 샘플이 학습 샘플과 큰 차이를 보이는 분포 변화(distribution shift)를 다루는 데에는 여전히 어려움을 겪는다. 우리는 CLIP이 날씨, 조명, 노이즈와 같은 센서 조건으로 인해 발생하는 현실적인 분포 변화의 일종인 이미지 손상(image corruption)에 특히 취약함을 발견했다. 이미지 손상은 예기치 않게 발생하며 그 유형이 매우 다양하기 때문에, 미세조정을 위해 테스트 분포에서 새로운 데이터셋을 수집하는 것은 비용이 매우 크다. 따라서 우리는 레이블이 없는 테스트 데이터로 테스트 분포에 즉각적으로 적응할 수 있는 제로샷 분류의 테스트 시점 적응(test-time adaptation, TTA)을 연구한다. CLIP을 위한 기존 TTA 방법은 주로 분포 변화를 해결하기 위해 이미지 및 텍스트 임베딩이나 예측을 수정하는 데 초점을 맞춘다. 이러한 방법은 분포 외(out-of-distribution)나 입력 이미지의 서로 다른 렌디션(rendition)과 같은 도메인 변화에는 적응할 수 있지만, 이미지 손상처럼 도메인 변화를 넘어서는 분포 변화에는 적응하지 못한다. 우리는 정보량과 관련된 이미지 임베딩의 균일성(uniformity)이 도메인 변화와 그 밖의 분포 변화를 구분하는 핵심 요인임을 발견했다. 이미지 손상에 대한 적응을 가능하게 하기 위해, 우리는 균일성 인식 정보 균형 TTA(uniformity-aware information-balanced TTA, UnInfo)라는 새로운 방법을 제안한다. 분포 변화를 해결하기 위해 균일성 인식 신뢰도 최대화, 정보 인식 손실 균형 조정, 그리고 지수 이동 평균(EMA) 교사 모델로부터의 지식 증류를 도입한다. 실험을 통해 UnInfo가 균일성 측면에서 정보를 보존함으로써 이미지 손상 상황에서의 정확도를 향상시킴을 보인다. 코드는 https://github.com/kzkadc/uninfo 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.