PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.30199v2cs.AI

ExplorationBench: 검증 가능한 외계 세계에서의 AI 시스템 탐험 능력 측정

ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds

과학적 발견은 이미 알려진 문제가 끝나는 지점에서 시작됩니다. 이러한 영역에서 AI 시스템은 가설 설정, 실험 설계, 결과에 대한 반복적 개선과 같은 탐험(exploration)을 수행해야 합니다. 그러나 이러한 능력을 평가하는 것은 어렵습니다. (1) 완전히 새로운 가설이 성립하는지 검증하는 방법, 그리고 (2) 시스템이 탐험을 통해 이를 발견했는지 아니면 단순히 사전학습(pre-training) 데이터에서 관련 지식을 회상(recall)한 것뿐인지를 판별하는 방법이 난제이기 때문입니다. 이를 위해 본 논문에서는 검증 가능한 외계 세계(Alien Worlds)를 기반으로 구축되어, 과학적 탐험 평가라는 다루기 힘든 난제를 구체적이고 다루기 쉬운 프레임워크로 전환한 ExplorationBench를 소개합니다. 이 세계의 규칙들은 실행 가능하므로 모든 답을 정확히 확인할 수 있으며, 기존의 친숙한 지식과 상충되므로 단순한 기억이나 회상만으로는 과제를 해결할 수 없습니다. 이 벤치마크는 AlienCode(31개 발견 목표, 70개 과제)와 AlienLogic(24개 발견 목표, 70개 과제)이라는 두 개의 샌드박스로 구성됩니다. 각 샌드박스는 결함이 있는 매뉴얼, 과제별 환경 피드백, 전용 도구 호출(tool-call) 스키마를 제공합니다. 시스템은 이러한 자원을 활용해 샌드박스를 탐험한 뒤, 보류된(held-out) 과제를 해결합니다. 10개의 AI 시스템을 평가한 결과, 가장 강력한 시스템들은 생소한 규칙을 습득하고 적용할 수 있었으나, 수행 궤적(trajectory)에 따라 성능 편차가 크게 나타났으며 지속적인 탐험이 정체되거나 기존에 얻은 성과를 되돌리는 현상도 관찰되었습니다. ExplorationBench는 미지의 환경에서 탐험을 통해 완전히 새로운 지식을 습득하고 적용할 수 있는 AI 시스템을 향한 한 걸음을 제시합니다.

arXiv:2510.11686v2cs.LG

언어 모델을 위한 표현 기반 탐험: 테스트 시간에서 사후 학습까지

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

강화학습(RL)은 언어 모델의 능력을 확장할 잠재력을 지니지만, 현재 RL 기법이 새로운 행동의 발견을 촉진하는지, 아니면 베이스 모델에 이미 존재하는 행동을 단순히 날카롭게 다듬는 것인지는 불분명하다. 본 논문에서는 의도적인 탐험—모델이 새롭고 다양한 행동을 발견하도록 명시적으로 인센티브를 부여하는 것—의 가치를 조사하고, 사전학습된 모델에 담긴 지식이 이러한 탐색을 어떻게 이끌 수 있는지 이해하는 것을 목표로 한다. 우리의 주요 발견은, 사전학습 언어 모델의 은닉 상태에서 유도한 단순하고 원칙적인 표현 기반 보너스를 통한 탐험이 다양성과 pass@k 비율을 크게 향상시킨다는 것이다—사후 학습과 우리가 새로 제안하는 추론 시 스케일링 설정 모두에서. 추론 시에는 표현 기반 다양성을 활용한 탐험이 효율성을 높이며, 다양한 모델과 추론 과제에서 pass@k 비율을 일관되게 향상시킨다. 예를 들어 Qwen-2.5-14b-Instruct에서는 거의 모든 과제에서 검증기 효율이 50% 이상 개선된다. 사후 학습에서는 이 탐험 전략을 RL 파이프라인에 통합하면 초기 모델과 표준 RL 사후 학습 대비 추론 성능이 향상됨을 보인다. 예를 들어 AIME 2024에서, 사후 학습한 Qwen-2.5-7b-Instruct의 pass@80은 동일 모델에 GRPO를 적용한 pass@256과 맞먹으며, 테스트 시간 샘플 효율에서 3배 향상을 보여준다. 전반적으로, 우리의 발견은—적절한 다양성 개념을 갖춘—의도적 탐험이 날카롭게 다듬기를 넘어 새로운 행동을 발견하는 실용적인 경로임을 시사한다.

arXiv:2607.09971v1cs.AI

TopoExplore: 아카이브 기반 탐험을 위한 위상적 판별

TopoExplore: Topological Discrimination for Archive-Based Exploration

Go-Explore와 같은 아카이브 기반 탐험 방법은 방문 희소성을 이용해 돌아갈 방문 상태를 선택하고, 프론티어 방법은 미지 영역의 경계로 돌아가지만, 두 방법 모두 경계 너머의 미탐험 영역이 실제로 진입 가능한지를 묻지 않는다. 탐험은 단순히 보상을 찾는 것이 아니라, 후속 학습과 계획을 위해 구조적으로 완전한 경험을 수집하는 것이다. 우리는 TopoExplore를 소개한다. 이 방법은 Go-Explore의 셀 선택을 주기적 위상적 처리로 보강한다: 방문 집합 점유 격자에서 폐쇄된 미탐험 영역(공허 영역)을 플러드 필(큐브 복합체의 H1 클래스)로 감지하고, 감쇠하는 선택 보너스를 오직 그 엄격한 진입 지점(틈새 또는 문 셀)에만 부여함으로써 밀폐된 영역은 목표로 삼지 않고 이미 진입된 영역은 후보에서 제외한다. 통제된 18개 환경 MiniGrid 스위트(시드 15개, 동결된 하이퍼파라미터)에서 TopoExplore는 정확한 Go-Explore 절제 실험 대비 최초 진입까지의 중앙값 스텝 수 기준으로 1.52배의 기하 평균 속도 향상을 달성했으며, 이는 프론티어 기준선의 1.37배와 비교된다. 밀폐된 미끼 구조가 등장할 때 프론티어 탐험의 성능은 저하되어 미끼 환경에서 0.83–1.48배에 그친 반면, TopoExplore는 1.65–2.11배를 기록했으며, 복잡한 다중 상호작용 문 환경에서는 가장 큰 우위(10.9배)를 보였다. Montezuma's Revenge에 대해서는 솔직한 부정적 결과를 보고한다—벽 지식 없이는 도달 불가능한 점유 아티팩트가 보너스를 잡아채어 그 규모가 커질수록 성능이 저하되며, 이는 벽 인식 진입 테스트가 핵심 구성 요소임을 시사한다—그리고 HM3D 스캔 건물에 대해서는 예비적 긍정 결과를 보고하는데, 프론티어 선택이 광범위한 커버리지를 지배하는 상황에서도 Go-Explore 대비 속도 향상이 장면 난이도를 추적한다(r=0.69). 이 증거는 의도적으로 범위를 좁힌 주장을 지지한다: 위상 인식 선택은 폐쇄 구조를 판별해야 하는 상황에서 효과를 발휘하며, 프론티어 방법이 가장 강한 개방적 커버리지 영역에서도 해당 환경에 맞게 조정되지 않았음에도 불구하고 경쟁력을 유지한다.

arXiv:2510.04140v2cs.AI

Selective Expert Guidance for Effective and Diverse Exploration in Reinforcement Learning of LLMs

Reinforcement Learning with Verifiable Rewards (RLVR) has become a widely adopted technique for enhancing the reasoning ability of Large Language Models (LLMs). However, the effectiveness of RLVR strongly depends on the capability of base models. This issue arises because it requires the model to have sufficient capability to perform high-quality exploration, which involves both effectiveness and diversity. Unfortunately, existing methods address this issue by imitating expert trajectories, which improve effectiveness but neglect diversity. To address this, we argue that the expert only needs to provide guidance only at critical decision points rather than the entire reasoning path. Based on this insight, we propose MENTOR: Mixed-policy Expert Navigation for Token-level Optimization of Reasoning, a framework that provides expert guidance only at critical decision points to perform effective and diverse exploration in RLVR. Extensive experiments show that MENTOR enables models capture the essence of expert strategies rather than surface imitation, thereby performing high-quality exploration and achieving superior overall performance. Our code is available online.

arXiv:2606.29820v1cs.LG

상태 인식 탐험을 활용한 이중 흐름 강화학습

Dual-Flow Reinforcement Learning with State-Aware Exploration

연속 제어 강화학습에서 다봉(multimodal) 행동 분포와 불확실한 수익 분포를 동시에 모델링하기 위해, 조건부 플로우 매칭(CFM)을 활용한 통합 액터-크리틱 프레임워크 Dual-Flow RL을 제안한다. 여기에 정책 엔트로피와 행동 불확실성 공분산을 결합한 ECER(Entropy-Covariance Exploration Regulator)를 도입하여 상태 인식 탐험 조절을 가능하게 하였으며, DeepMind Control Suite와 Humanoid-Bench에서 기존 확산 기반 및 플로우 기반 방법 대비 최고 성능을 달성했다.

arXiv:2606.24994v1cs.LG

ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning

검증 가능한 보상 기반 강화학습(RLVR)에서 GRPO의 두 가지 실패 모드—쉬운 문제에서의 다양성 붕괴와 어려운 문제에서의 보상 소멸—를 해결하기 위해, ExTra는 임베딩 기반 신규성 보상(novelty reward)과 엔트로피 기반 프리픽스 재생성(entropy-guided prefix regeneration)을 결합한 탐색적 궤적 최적화 프레임워크를 제안한다. 6개의 수학적 추론 벤치마크에서 Qwen3-1.7B 기준 GRPO 대비 pass@1에서 약 +5점, pass@16에서 약 +7점 향상을 달성하였다.

arXiv:2606.21271v1cs.LG

점유 커버리지 최대화를 통한 강화학습의 보상 없는 사전학습

Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization

희소 보상(sparse reward)은 에이전트가 목표에 도달하기 전까지 유의미한 신호를 전혀 받지 못한다는 점에서 강화학습의 핵심 난제입니다. 내재적 보상(intrinsic reward) 방법은 신규성(novelty), 예측 오차, 또는 스킬 다양성과 같은 비정상(non-stationary) 목적 함수를 최적화함으로써 문제에 지도 신호를 주입하여 이를 해결합니다. 효과적이긴 하지만, 이러한 방법들은 대개 외재적(희소) 보상을 온라인으로 또는 저장된 전이(transition)의 오프라인 재레이블링 과정에서 평가할 수 있어야 한다는 조건을 요구합니다. 이 한계는 에이전트와 환경 간의 상호작용이 통상 보상 없이 이루어지는 멀티태스크, 메타, 및 지속 강화학습에서 특히 문제가 됩니다. 본 연구에서는 다운스트림 태스크 수행 시 희소 보상에 빠르게 적응하는 전이 가능한 탐험 정책을 사전학습하는 방법을 제시합니다. 우리의 목적 함수는 점유 측도(occupancy measure)에 대한 상태 공간 커버리지를 최대화하며, 엔트로피 최대화의 관점에서 정식화할 수 있습니다. 이를 알고리즘으로 구현한 ROVER는 강화학습의 연산자 공식화(operatorial formulation)에 관한 최근 발전을 활용하여, 학습된 레졸번트 월드 모델(resolvent world model)로 점유를 추정함으로써 밀도 및 엔트로피 추정과 관련된 일반적인 난관을 우회합니다. ROVER는 또한 미탐험 영역에 대한 가상 '싱크(sink)' 상태를 도입하여, 알려진 상태의 커버리지와 미지 영역으로의 확장 사이의 균형을 맞추고 학습 중 순환적 확장-붕괴(expansion-collapse) 동작을 방지합니다. 테이블형(tabular) 및 픽셀 기반 희소 내비게이션 태스크에서, ROVER는 표준 보상 없는 기준선(reward-free baseline)보다 더 균일한 집계 커버리지와 다운스트림 태스크에 대한 더 강력한 초기화를 제공합니다.

arXiv:2606.19656v1cs.RO

DF-ExpEnse: 샘플 효율적인 파인튜닝을 위한 디퓨전 필터링 탐험

DF-ExpEnse: Diffusion Filtered Exploration for Sample Efficient Finetuning

지능형 로봇 의사결정을 위한 자연스러운 접근법은 오프라인 경험을 요약한 사전학습된 생성형 제어 정책에서 초기화하고, 이를 직접 수집한 온라인 경험에 적응시키는 것입니다. 본 논문에서는 온라인 경험 수집의 품질을 향상시켜 파인튜닝의 샘플 효율성을 높이는 탐험 기법인 DF-ExpEnse를 제안합니다. DF-ExpEnse는 생성형 제어 정책의 멀티모달 모델링 능력을 활용하여 표현력이 풍부하고 효율적으로 평가 가능한 후보 집합을 생성합니다. 그 후 크리틱(critic) 앙상블을 활용하여 품질과 높은 탐험 흥미 사이의 균형을 가장 잘 맞추는 행동을 식별합니다. 플릿(fleet) 환경에서 DF-ExpEnse는 에이전트 간 통신을 추가로 활성화하여 그룹 차원의 협업적 탐험을 촉진합니다. DF-ExpEnse는 강화학습을 통해 사전학습된 생성형 제어 정책을 파인튜닝하는 기존 전략과 매끄럽게 통합될 수 있습니다. 우리는 기본 파인튜닝 및 대안적인 행동 선택 방식과 비교하여 다양한 조작 및 이동 작업에 걸쳐 DF-ExpEnse가 가져오는 일관된 샘플 효율성 이점을 실험적으로 검증했습니다. 프로젝트는 https://df-expense.github.io에서 확인할 수 있습니다.