arXiv:2606.19476v1 cs.LG

문맥 내 학습(ICL)은 내재적 호기심을 지원할 수 있는가?

Can In-Context Learning Support Intrinsic Curiosity?

Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

제출 2026-06-17

한국어 초록

효과적인 머신러닝은 데이터를 모델링하는 방법뿐만 아니라 어떤 데이터를 수집할지 선택하는지에도 달려있다. 대규모 시퀀스 모델이 데이터 모델링에 혁명을 일으켰지만, 자동화된 데이터 선택, 즉 "내재적 호기심(intrinsic curiosity)" 문제는 여전히 중요한 과제로 남아 있다. 고전적인 접근 방식은 새로 획득한 관찰이 월드 모델의 예측 능력을 얼마나 향상시키는지를 측정하는 "학습 진행도(learning progress)"를 기반으로 에이전트에게 보상을 제공하여 탐험(exploration)을 유도한다. 그러나 이러한 보상을 평가하는 것은 전통적으로 각 궤적(trajectory) 내에서 비용이 많이 드는 경사하강법(gradient descent) 업데이트의 내부 루프(inner loop)를 요구하므로, 대규모로 적용하기에는 계산적으로 비현실적이다. 본 연구에서는 시퀀스 모델의 창발적 문맥 내 학습(ICL) 능력이 즉각적이고 업데이트가 필요 없는 월드 모델로 작용하여 이 병목 현상을 제거할 수 있는지 조사한다. 구체적으로, 문맥 내 학습기의 예측 오류와 반사실적 맥락 조작만을 사용하여 학습 진행도를 최대화하도록 탐험 정책을 학습시킬 수 있는지 평가한다. 먼저 일반적인 마르코프 결정 과정(MDP)에서 이것이 비편향된 방식으로는 불가능하다는 것을 증명한다. 결과적으로 생성되는 내재적 보상은 실제 학습 진행도 추정에 편향을 주는 잡음 항(nuisance terms) 문제를 겪거나, 문맥 내 학습기의 예측 오류를 사용하여 구현할 수 없다. 반대로, 능동 학습(active learning)과 베이지안 실험 설계(Bayesian Experimental Design)를 포함하는 비시간적 설정의 광범위한 하위 클래스에 대해서는 긍정적인 결과를 증명한다. 여기서 ICL 기반 보상은 실제 학습 진행도를 성공적으로 제한하며 점근적으로 수렴한다. 연속 및 기호 환경에 걸친 통제된 실험을 통해 이론을 검증하며, 본 연구의 ICL 기반 프레임워크가 최적으로 탐험하는 호기심 많은 데이터 수집 정책을 성공적으로 학습시킴을 입증한다.

원문 초록

Effective machine learning depends not only on how we model data, but also on what data we choose to collect. While large sequence models have revolutionized data modeling, the problem of automated data selection, or "intrinsic curiosity", remains a significant challenge. Classic approaches incentivize exploration by rewarding an agent based on its "learning progress", which measures how much a newly acquired observation improves a world model's predictive ability. However, evaluating these rewards traditionally requires expensive inner loops of gradient descent updates within each trajectory, rendering them computationally impractical at scale. In this work, we investigate whether the emergent in-context learning (ICL) capabilities of sequence models can eliminate this bottleneck by serving as immediate, update-free world models. Specifically, we evaluate whether an exploration policy can be trained to maximize learning progress, using solely the prediction errors and counterfactual context manipulations of an in-context learner. We first prove that in general Markov decision processes, this is in fact impossible in an unbiased way: the resulting intrinsic rewards either suffer from nuisance terms that bias their estimation of true learning progress, or they cannot be implemented using an in-context learner's prediction errors. Conversely, we prove a positive result for a broad subclass of non-temporal settings, encompassing active learning and Bayesian Experimental Design: here, ICL-derived rewards successfully bound and asymptotically converge to the true learning progress. We corroborate our theory with controlled experiments across continuous and symbolic environments, demonstrating that our ICL-driven framework successfully trains curious data-collection policies that explore optimally.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19476v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.33155v2cs.CL공통 태그 Reinforcement Learning, In-Context Learning

개인 입장 예측에서 테스트 시점 스케일링과 학습의 한계는 어디에 있는가?

Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction?

테스트 시점 스케일링(test-time scaling)과 사후 학습(post-training)은 코딩 및 수학적 추론 분야에서 대규모 언어 모델(LLM)의 성능을 향상시켰으나, 개인 입장 예측(individual stance prediction)에 대한 효과는 여전히 불분명하다. 본 연구에서는 개인의 과거 이력으로부터 새로운 토론에서 해당 인물의 입장을 예측함으로써 이 문제를 탐구한다. 널리 사용되는 테스트 시점 스케일링 전략과 지도 미세조정(supervised fine-tuning), 강화학습(reinforcement learning) 등의 사후 학습 기법을 평가하고, 생성, 선택, 학습 전반에 걸친 네 가지 실패 양상을 식별한다: (1) 반복된 샘플들이 잘못된 입장에 동의하는 부정확한 합의(incorrect consensus), (2) 생성 단계에서는 관찰된 입장을 포함하지만 선택 단계에서 이를 놓치는 선택 실패(selection failure), (3) 지도 미세조정이 모방 능력은 향상시키지만 예측에는 악영향을 미치는 응답 과적합(response overfitting), (4) 강화학습이 초기에 완만한 성능 향상을 보인 후 추가적인 개선이 제한되는 조기 정체(early plateau). 저자들은 500명의 Hacker News 사용자로부터 추출한 2,499개의 예측 태스크를 포함하는 STANCE-BENCH를 사용하여 이러한 실패 양상을 밝혀낸다. 이러한 분석을 바탕으로, 모든 후보 입장에 대한 직접 점수와 개인의 이력에서 얻은 지지 여부에 대한 명시적 평가를 결합하는 간단한 접근 방식을 탐색한다. 781개 태스크로 구성된 테스트 세트에서 이 접근 방식은 Qwen3-8B를 통해 21.83의 토론 특정 Macro F1을 달성하여 직접 채점의 19.27과 대비되는 성능을 보였다. 본 연구 결과는 후보 생성, 최종 선택, 개인별 근거 활용을 분리하여 평가할 필요성을 제시한다. 데이터셋은 https://github.com/stance-bench/Stance-Bench 에서 이용할 수 있다.

arXiv:2609.23184v1cs.CV공통 태그 Reinforcement Learning, In-Context Learning

CausalWM: 체화된 월드 모델을 위한 인과적 사고의 연쇄 추론

CausalWM: Causal Chain-of-Thought Reasoning for Embodied World Model

체화된 월드 모델(Embodied World Model)은 시각적 관측과 제어 신호로부터 미래의 물리적 동역학을 예측하도록 학습하며, 이때 물리적 지식은 잠재 표현(latent representation) 내에 암묵적으로 얽혀 있다. 본 논문에서는 미래 비디오 예측 이전에 명시적인 인과적 사고의 연쇄(Causal Chain-of-Thought) 추론을 수행하는 160억 파라미터(16B) 규모의 체화된 월드 모델인 CausalWM을 소개한다. CausalWM은 유용한 변수들을 하나의 추론 궤적(reasoning trajectory)으로 구성하여, 모델이 물리적 진화의 근저에 있는 인과적 의존성을 점진적으로 포착할 수 있도록 한다. CausalWM을 학습시키기 위해 3만 1천 시간(31K hours) 분량의 체화된 데이터를 수집하였으며, 대규모 비디오 사전학습, 인과적 CoT 중간 학습(mid-training), 다중 목적 강화학습(RL) 사후 학습으로 구성된 3단계 패러다임을 개발하였다. 제한된 수의 지도(supervised) CoT 변수만을 사용했음에도 불구하고, CausalWM은 창발적인 문맥 내 학습(in-context learning) 능력을 보여주며, 이를 통해 문맥적 시각 특징 유도와 효율적인 소수 스텝(few-step) 생성이 가능하다. CausalWM은 언어 조건화(language-conditioned), 행동 조건화(action-conditioned), 단일 시점(single-view) 및 다중 시점(multi-view) 벤치마크 전반에서 최첨단(state-of-the-art) 성능을 달성했으며, TriWorldBench 리더보드에서 1위(Top-1) 성능을 기록했다.

arXiv:2609.23753v1cs.CV공통 태그 Reinforcement Learning, Active Learning

OnlineWM: 효과적인 월드 모델링을 위한 인과관계 인지 능동 온라인 학습

OnlineWM: Causality-Aware Active Online Learning for Effective World Modeling

생성형 월드 모델(Generative world models)은 행동을 조건으로 하여 미래 상태를 예측하는 것을 목표로 하며, 여기서 행동 제어 가능성(action controllability)은 신뢰할 수 있는 역학 모델링을 위한 기본 요소입니다. 최근 시뮬레이터가 생성한 데이터를 활용하여 이러한 역량을 향상하려는 시도들이 이루어지고 있으나, 기존 학습(training) 파이프라인은 두 가지 근본적인 한계에 직면해 있습니다. 첫째, 정적인 오프라인 데이터 수집은 학습 세트와 모델(model)의 진화하는 오류 패턴 간의 분포 불일치를 유발하여 역학 예측이 여전히 신뢰할 수 없는 중요한 롱테일(long-tail) 시나리오를 해결하지 못합니다. 둘째, 관측 불일치를 최소화하는 표준 목적 함수는 종종 모델이 기저의 행동-효과 인과관계를 포착하는 대신 허위 상관관계(spurious correlations)를 악용하도록 유도합니다. 이러한 한계를 해결하기 위해, 능동적인 시뮬레이터 상호작용과 인과관계 인지 최적화를 통해 월드 모델링을 지속적으로 개선하는 온라인 학습 프레임워크인 OnlineWM을 제안합니다. OnlineWM은 두 가지 핵심 혁신을 도입합니다: (1) 능동 온라인 학습(Active Online Learning): 고정된 데이터셋을 사용하는 대신, OnlineWM은 모델의 현재 예측 취약점을 목표로 하는 새로운 상호작용 시퀀스를 시뮬레이터에 적응적으로 질의하여 효용성이 높은 데이터 수집을 보장합니다. (2) 인과관계 인지 미세조정(Causality-Aware Fine-Tuning): 동일한 상태에서 서로 다른 행동의 결과를 대조하는 반사실적 학습(counterfactual learning) 전략을 제안하여, 모델이 상태 전이를 주변 환경 변화가 아닌 특정 행동의 결과로 귀인하도록 강제함으로써 예측을 신뢰할 수 있는 인과 메커니즘에 그라운딩(grounding)합니다. 능동적 데이터 수집과 인과적 최적화를 통합함으로써, OnlineWM은 모델이 다양한 시나리오에 대해 강건하고 인과적 귀인에서 정밀함을 모두 보장하는 폐루프 개선 프로세스를 확립합니다. 광범위한 실험을 통해 OnlineWM이 행동 제어 가능성을 크게 향상시키고 보지 못한 도메인으로도 효과적으로 일반화됨을 입증합니다.

arXiv:2607.22371v1cs.CV공통 태그 Reinforcement Learning, Active Learning

데이터 선택 강화를 통한 능동적 퓨샷 분할

Active few-shot segmentation by reinforcing data selection

퓨샷 학습(few-shot learning)은 의료 이미지 분할 모델이 소수의 레이블이 붙은 예시만으로 새로운 태스크에 적응할 수 있게 한다. 그러나 적응 성능은 서포트 집합(support set)에 어떤 예시를 선택하느냐에 크게 좌우된다. 효과적인 서포트 집합은 대상 도메인 내 관련 변이를 포착하고 적응에 유용한 정보를 담아야 하며, 구성 샘플들이 상호 보완적인 정보를 제공해야 한다. 그럼에도 기존 능동적 데이터 선택 접근법은 대체로 샘플을 개별적으로 우선시하며 예시 간 상호작용을 명시적으로 고려하지 않는다. 본 연구에서는 퓨샷 의료 이미지 분할에서 서포트 집합 선택을 위한 강화학습 프레임워크를 제안하여, 독립적인 샘플 점수화가 아니라 서포트 집합을 공동으로 최적화할 수 있게 한다. 레이블이 없는 후보 이미지 풀(pool)이 주어지면, 에이전트는 하류 분할 성능을 최대화하는 서포트 집합을 직접 예측한다. 기관 간 교차 골반 MRI 데이터셋에서의 실험은 무작위 선택 및 현재 최첨단(state-of-the-art) 방법 대비 개선을 보여준다. 우리의 발견은 효과적인 적응을 위해 서포트 집합의 상호 보완성(complementarity)이 중요함을 강조하며, 적응 집합 최적화를 위한 강화학습의 잠재력을 보여준다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.22864v2cs.CV공통 태그 Reinforcement Learning

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.