Following Instructions by Imagining and Reaching Visual Goals
원문 초록
While traditional methods for instruction-following typically assume prior linguistic and perceptual knowledge, many recent works in reinforcement learning (RL) have proposed learning policies end-to-end, typically by training neural networks to map joint representations of observations and instructions directly to actions. In this work, we present a novel framework for learning to perform temporally extended tasks using spatial reasoning in the RL framework, by sequentially imagining visual goals and choosing appropriate actions to fulfill imagined goals. Our framework operates on raw pixel images, assumes no prior linguistic or perceptual knowledge, and learns via intrinsic motivation and a single extrinsic reward signal measuring task completion. We validate our method in two environments with a robot arm in a simulated interactive 3D environment. Our method outperforms two flat architectures with raw-pixel and ground-truth states, and a hierarchical architecture with ground-truth states on object arrangement tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.
NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기
NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime
장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.
CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩
CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement
시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기
SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving
사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.
Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고
Agent-Editing World Model: Rethinking World Modeling for LLM Agents
대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.
다중 제약 인스트럭션 수행을 위한 반사실적 제약-조건부 온-정책 증류
Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following
다중 제약 인스트럭션 수행(multi-constraint instruction following)은 모델이 동시에 활성화된 여러 제약 조건 하에서 질의에 응답하도록 요구합니다. 강력한 인스트럭션 튜닝(instruction tuning) 모델조차도 여전히 이러한 제약 조건 중 일부를 일상적으로 위반합니다. 기존 접근 방식은 외부 검증기(verifier) 또는 학습된 채점기로부터 얻은 시퀀스 또는 토큰 수준의 강화학습(RL) 보상으로 지도 신호를 보강하거나, 동시에 활성화되는 제약 조건이 많아질수록 확률 질량이 희석되는 단일 전체 컨텍스트 교사 모델을 대상으로 온-정책(on-policy) 증류(OPD)를 사용합니다. 본 논문에서는 지식 증류의 표준적인 지도 신호 생성 방향을 반전시킨 CC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)를 제안합니다. CC-OPD는 학생 모델이 보는 것 이상의 정보로 교사 모델을 풍부하게 만드는 대신, 교사 모델의 조건부 입력에서 각 제약 조건을 차례로 제거(ablate)하고 그 결과로 발생하는 토큰별 확률 차이로부터 제약 조건별 신호를 구성합니다. 그 결과로 얻은 토큰별 LOO(leave-one-out) 로그 가능도(log-likelihood) 변화량을 합산하고 클리핑(clipping)한 후, 토큰 수준의 셰이핑(shaping) 항으로서 바닐라 OPD 보상에 추가합니다. 모든 셰이핑 항은 증류 과정에서 외부 검증기 없이 동결된 교사 모델로부터 얻어지며, 총합 변화량이 0인 모든 곳에서 보상은 바닐라 OPD와 동일합니다. 두 개의 Qwen 모델 쌍과 7개의 벤치마크 전반에서 CC-OPD는 평가된 모든 학생 모델 학습 방법 중 가장 높은 평균 성능을 달성합니다. CC-OPD로 학습된 1.5B 학생 모델은 MulDimIF 벤치마크에서 자체 7B RL 학습 교사 모델을 능가합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.