PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2011.02565v2cs.LG공식 코드 · Papers with Code

다양성 강화 Option-Critic

Diversity-Enriched Option-Critic

시간적 추상화(temporal abstraction)는 강화학습 에이전트가 서로 다른 시간 척도에 걸쳐 지식을 표현하고 전략을 수립할 수 있게 한다. Option-critic 프레임워크는 모델 없는(model-free) 설정에서 옵션(options)으로 표현되는 시간적으로 확장된 행동을 종단간(end-to-end) 학습할 수 있음이 입증되었다. 그러나 option-critic의 실용 가능성은 두 가지 주요 난제로 인해 여전히 제한적이다: 여러 옵션이 매우 유사한 행동을 채택하는 경우, 또는 과제 관련 옵션 집합이 줄어드는 경우. 이러한 현상은 시간적 추상화의 필요성을 무효화할 뿐만 아니라 성능에도 영향을 미친다. 본 논문에서는 다양한 옵션 집합을 학습함으로써 이 문제들을 해결한다. 우리는 옵션 집합 내 행동 다양성을 촉진하기 위해 과제 보상을 보강하는 정보 이론적 내재 보상(intrinsic reward)과 새로운 종료 목적 함수를 제안한다. 우리는 제안 방법이 여러 이산 및 연속 제어 과제에서 옵션을 종단간 학습할 수 있으며, option-critic을 큰 마진으로 능가함을 실증적으로 보인다. 또한 우리는 option-critic과 달리 제안 접근법이 견고하고, 재사용 가능하며, 신뢰할 수 있고 해석 가능한 옵션을 지속적으로 생성함을 보인다.

arXiv:2607.02087v1cs.AI

SUNTA: Hierarchical Video Prediction with Surprise-based Chunking

계층적 상태공간 모델(HSSM)에서 시퀀스를 청크로 분할할 때 발생하는 경계 결정 문제를 해결하기 위해, 예측 오차(surprise) 기반의 청크 경계 탐지 방법인 SUNTA를 제안한다. 분리된 레벨별 학습 전략과 탑다운 surprise 신호를 활용한 오픈루프 청크 탐지를 통해 2D·3D 비디오 예측 벤치마크에서 모든 베이스라인이 10 타임스텝 이내에 성능이 저하되는 반면 250 타임스텝까지 정확한 예측을 유지함을 입증한다.