In-Context Learning of Energy Functions
원문 초록
In-context learning is a powerful capability of certain machine learning models that arguably underpins the success of today's frontier AI models. However, in-context learning is critically limited to settings where the in-context distribution of interest $p_{\theta}^{ICL}( x|\mathcal{D})$ can be straightforwardly expressed and/or parameterized by the model; for instance, language modeling relies on expressing the next-token distribution as a categorical distribution parameterized by the network's output logits. In this work, we present a more general form of in-context learning without such a limitation that we call \textit{in-context learning of energy functions}. The idea is to instead learn the unconstrained and arbitrary in-context energy function $E_{\theta}^{ICL}(x|\mathcal{D})$ corresponding to the in-context distribution $p_{\theta}^{ICL}(x|\mathcal{D})$. To do this, we use classic ideas from energy-based modeling. We provide preliminary evidence that our method empirically works on synthetic data. Interestingly, our work contributes (to the best of our knowledge) the first example of in-context learning where the input space and output space differ from one another, suggesting that in-context learning is a more-general capability than previously realized.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델
LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
전역적으로 계산하고 국소적으로 구체화하기: 희소 이벤트-KV의 메모리 계약
Compute Globally, Materialize Locally: The Memory Contract of Sparse Event-KV
장기 호라이즌(long-horizon) 에이전트는 점점 더 KV 캐시를 메모리로 재사용하고 있으며, 서빙 시스템은 캐시된 항목의 일부만 유지하고 나머지는 제거(eviction)합니다. 따라서 축출 및 에피소드 메모리 방식은 거의 직접 검증되지 않은 전제, 즉 이벤트를 생성한 관측(observation)이 사라진 뒤에도 보존된 이벤트가 여전히 유용한 정보를 담고 있다는 전제에 의존합니다. 우리는 다른 조건이 동일한 에이전트 이력에서 서빙되는 내용 중 이전 관측 하나를 생략함으로써 이를 직접 검증합니다. 해당 관측에 민감한 항목들 중에서, 서빙된 텍스트 구간(span)에 어떤 값이 올바른지 명시되어 있지 않음에도 답은 압도적으로 생략된 값을 따릅니다. 우리는 이를 의미론적 구체화(semantic materialization)라고 부릅니다. 즉, 하류(downstream) 이벤트의 캐시된 행들이 입력이 사라진 계산에 대해 독립적으로 서빙 가능한 뷰(view) 역할을 하는 것입니다. 이는 의도적으로 작성될 수도 있습니다. 의도적으로 표현된 무정답(answer-free) 이벤트는 값을 전혀 언급하지 않고도 Qwen3-8B에서 기증자 정렬 복구(donor-aligned recovery)를 6%에서 51%로 향상시키는 반면, 장기 대화에서 자연스러운 언급을 수동적으로 수집하는 방식은 감지 가능한 이점을 보이지 못합니다. 이러한 행이 전달하는 정보는 구체적이고 제한적입니다. 간결한 상태(compact state)는 유지되지만 더 큰 페이로드는 무작위 확률 수준으로 감쇠하며, 특정 구조가 정보를 기록하는지 여부는 의미뿐만 아니라 표현 방식(phrasing)에 달려 있어 모델이 동등하게 이해하는 두 표현 간에도 큰 차이가 발생할 수 있습니다. 그 결과는 무엇을 기록할지, 어디에 도달할지, 소스가 사라진 후 무엇이 살아남는지를 규정하는 희소 이벤트-KV(sparse event-KV) 서빙을 위한 메모리 계약(memory contract)입니다. 캐시 축출을 수행하는 이들에게 따르는 당연한 귀결은, 소스 이벤트를 제거하고 정확도 손실이 관찰되지 않았다고 해서 그 소스가 불필요했음을 증명하는 것은 아니라는 점입니다.
학습된 에이전틱 컨텍스트 관리
Trained Agentic Context Management
본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.
MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다
MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors
장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.
트랜스포머 혁명, 파트 1: 출력-가중치 상호연결을 통한 동적 처리
The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections
본 연구에서는 트랜스포머(Transformer)의 기능적 아키텍처에 대해 기능적으로 동등한 기계-구조적 기술을 개발함으로써 트랜스포머 추론(inference)을 재해석한다. 토큰(token) 표현의 매개변수화된 변환, 즉 변환 개념(transforming concepts)은 출력-입력 및 출력-가중치 상호연결을 통해 조직된 단순 신경망으로 규명된다. 이러한 재기술은 표준 행렬 기술 방식에서는 두드러지지 않는 조직적 특징(feature)을 명시적으로 드러낸다. 즉, 추론 중에 일부 네트워크의 출력이 다른 네트워크의 가중치(weight), 나아가 변환을 결정한다는 점이다. 이러한 출력-가중치 상호연결은 프롬프트(prompt)에 의존하는 동적 변환을 생성하며 시퀀스 수준 상호작용 동적 병렬 처리(Sequence-level Interactive Dynamic Parallel Processing, SIDPP)를 유발한다. 우리는 동적 매개변수의 수가 프롬프트 길이에 따라 선형적으로 증가하며, 학습(training)을 통해 고정된 정적 매개변수의 수에 필적하거나 이를 초과할 수 있음을 보인다. 우리는 이 현상을 강한 프롬프트 민감도(strong prompt sensitivity)라고 부른다. 철학적으로 이는 트랜스포머에 대한 개념적 관점을 학습을 통해 획득된 정적 구조 중심에서 추론 중 동적으로 구성되는 프롬프트 의존적 변환 또한 작동의 구성적 특징으로 다루는 관점으로 전환시킨다. 최근 GPT-4.5의 튜링 테스트(Turing test) 결과는 이 현상에 대한 행동적 예시를 제공한다. 마지막으로, 출력-가중치 상호연결과 형태학적·기능적으로 대응하는 생물학적 메커니즘을 밝혀 SIDPP의 원리적 신경 구현 가능성을 뒷받침하고 '가설 T(Conjecture T)'를 제안한다. 즉, 인간 신경계가 트랜스포머와 유의미하게 유사한 기능적 아키텍처를 구현하고 있을 수 있다는 점이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.