arXiv:2606.12318v1 cs.LG

연산자의 연쇄를 통한 인컨텍스트 연산자 학습 활용

Harness In-Context Operator Learning with Chain of Operators

Minghui Yang, Ling Guo, Liu Yang

제출 2026-06-10

한국어 초록

신경망 연산자(Neural Operator)는 함수 공간 간의 매핑을 근사화하지만, 다른 연산자에 대해 일반화가 잘 이루어지지 않는 경우가 많으며 일반적으로 미세조정이나 재학습이 필요합니다. 인컨텍스트 연산자 네트워크(In-Context Operator Networks, ICON)는 모델에 수치적 컨텍스트를 프롬프트로 제공하여 이 문제를 해결합니다. 이를 통해 모델은 프롬프트에서 특정 연산자를 학습하고 미세조정 없이 다른 연산자에 적응할 수 있습니다. 그러나 ICON은 여전히 분포 외(Out-of-Distribution, OOD) 연산자 작업으로 일반화하지 못할 수 있습니다. 대규모 언어 모델(LLM)의 활용(harness) 기술 성공에 영감을 받아, 우리는 파라미터를 업데이트하지 않고 동결된 ICON을 OOD 연산자 작업에 활용하는 프레임워크인 연산자의 연쇄(Chain of Operators, CHOP)를 소개합니다. 구체적으로, CHOP는 명시적인 기본 변환과 동결된 ICON으로 구성된 연산자의 연쇄를 구성합니다. 스칼라 보존 법칙과 평균장 제어 문제에 대한 실험 결과, CHOP는 직접 ICON 평가에 비해 상대적 추론 오차를 줄이는 것으로 나타났으며, 연쇄 내의 각 연산자는 해석 가능하고 닫힌 형식(closed form)을 유지합니다. 하나의 편미분 방정식(PDE) 계열에 대해 구성된 연쇄는 다른 계열로도 추가로 일반화되며, 이는 활용 시스템 전반에 걸쳐 공유된 메커니즘을 시사합니다.

원문 초록

Neural operators approximate mappings between function spaces, but often generalize poorly to other operators and usually require fine-tuning or retraining. In-Context Operator Networks (ICON) addresses this issue by prompting the model with numerical context so that the model learns specific operators from prompts and adapt to different operators without fine-tuning. However, ICON may still fail to generalize to out-of-distribution (OOD) operator tasks. Inpired by the success of harness engineering of Large Language models (LLMs), we introduce Chain of Operators (CHOP), a framework that harness a frozen ICON to OOD operator tasks without updating its parameters. Specifically, CHOP constructs a chain of operators consisting of explicit elementary transformations and the frozen ICON. Experiments on a scalar conservation law and a mean-field control problem show that CHOP reduces relative inference error over direct ICON evaluation, while each operator in the chain remains interpretable and in closed form. A chain constructed on one PDE family further generalizes to a different family, indicating shared mechanisms across harness systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12318v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13690v1cs.LG공통 태그 Meta-Learning, Operator learning, In-Context Learning

확산 모델을 위한 트랜스포머 기반 문맥 내 스코어 연산자 학습

Transformer-based In-Context Score Operator Learning for Diffusion Models

확산 모델(Diffusion model)은 일반적으로 단일 목표 분포나 학습(training) 중에 고정된 조건부 변수로 색인화된 분포 계열의 생성 동역학을 학습합니다. 이는 소수의 예제만으로 이전에 보지 못한 새로운 분포에 적응하는 능력을 제한합니다. 본 연구에서는 각 목표 분포를 메타 분포에서 추출된 태스크로 취급하고 추론(inference) 시점에 경험적 문맥 집합(context set)으로 지정하는, 확산 모델을 위한 문맥 내 솔루션 연산자 학습(in-context solution operator learning) 프레임워크를 소개합니다. 제안하는 방법은 문맥 샘플, 노이즈가 추가된 쿼리 포인트, 확산 시간을 태스크 종속적인 스코어로 매핑하는 문맥 내 스코어 연산자를 학습하여, 재학습이나 매개변수(parameter) 업데이트 없이도 보지 못한 태스크에서 역확산 샘플링을 가능하게 합니다. 핵심 관찰 사항은 태스크 종속적 스코어가 가우시안 커널(Gaussian kernel) 조건부 평균 표현을 허용한다는 점입니다. 이의 경험적 Nadaraya--Watson 근사는 우리가 구성한 트랜스포머(transformer) 클래스의 모델을 통해 정확하게 표현될 수 있으며, 이는 제안된 쿼리 종속적 어텐션(attention) 아키텍처에 대한 원리적 토대를 제공합니다. 이 연산자는 여러 태스크 분포에 걸친 분할 상환 노이즈 제거 스코어 매칭(amortized denoising score matching)을 통해 학습됩니다. 또한 문맥 크기, 학습 태스크 수 및 태스크 내 샘플 수, 모델 복잡도, 고유 차원 및 주변 차원의 영향을 정량화하는 일반화 오차 경계를 확립합니다. 수치적으로는 Navier-Stokes, ERA5 기후 데이터, QuickDraw 스케치, Food-101을 포함한 다양한 과학 및 시각 데이터셋에서 본 방법을 평가합니다. 실험 결과는 제안된 방법이 비교적 단순한 태스크 계열에서는 우수한 성능을 보이는 반면, 태스크 복잡도가 증가함에 따라 성능이 저하됨을 보여줌으로써 확산 모델을 위한 문맥 내 학습(ICL)의 가능성과 한계를 모두 보여줍니다.

arXiv:2610.13411v1cs.LG공통 태그 Meta-Learning, In-Context Learning

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

arXiv:2607.23693v2cs.AI공통 태그 Prompt Engineering, In-Context Learning

전역적으로 계산하고 국소적으로 구체화하기: 희소 이벤트-KV의 메모리 계약

Compute Globally, Materialize Locally: The Memory Contract of Sparse Event-KV

장기 호라이즌(long-horizon) 에이전트는 점점 더 KV 캐시를 메모리로 재사용하고 있으며, 서빙 시스템은 캐시된 항목의 일부만 유지하고 나머지는 제거(eviction)합니다. 따라서 축출 및 에피소드 메모리 방식은 거의 직접 검증되지 않은 전제, 즉 이벤트를 생성한 관측(observation)이 사라진 뒤에도 보존된 이벤트가 여전히 유용한 정보를 담고 있다는 전제에 의존합니다. 우리는 다른 조건이 동일한 에이전트 이력에서 서빙되는 내용 중 이전 관측 하나를 생략함으로써 이를 직접 검증합니다. 해당 관측에 민감한 항목들 중에서, 서빙된 텍스트 구간(span)에 어떤 값이 올바른지 명시되어 있지 않음에도 답은 압도적으로 생략된 값을 따릅니다. 우리는 이를 의미론적 구체화(semantic materialization)라고 부릅니다. 즉, 하류(downstream) 이벤트의 캐시된 행들이 입력이 사라진 계산에 대해 독립적으로 서빙 가능한 뷰(view) 역할을 하는 것입니다. 이는 의도적으로 작성될 수도 있습니다. 의도적으로 표현된 무정답(answer-free) 이벤트는 값을 전혀 언급하지 않고도 Qwen3-8B에서 기증자 정렬 복구(donor-aligned recovery)를 6%에서 51%로 향상시키는 반면, 장기 대화에서 자연스러운 언급을 수동적으로 수집하는 방식은 감지 가능한 이점을 보이지 못합니다. 이러한 행이 전달하는 정보는 구체적이고 제한적입니다. 간결한 상태(compact state)는 유지되지만 더 큰 페이로드는 무작위 확률 수준으로 감쇠하며, 특정 구조가 정보를 기록하는지 여부는 의미뿐만 아니라 표현 방식(phrasing)에 달려 있어 모델이 동등하게 이해하는 두 표현 간에도 큰 차이가 발생할 수 있습니다. 그 결과는 무엇을 기록할지, 어디에 도달할지, 소스가 사라진 후 무엇이 살아남는지를 규정하는 희소 이벤트-KV(sparse event-KV) 서빙을 위한 메모리 계약(memory contract)입니다. 캐시 축출을 수행하는 이들에게 따르는 당연한 귀결은, 소스 이벤트를 제거하고 정확도 손실이 관찰되지 않았다고 해서 그 소스가 불필요했음을 증명하는 것은 아니라는 점입니다.

arXiv:2610.10832v1cs.LG공통 태그 Meta-Learning, In-Context Learning

MotherTree: 합성 데이터에 대한 메타러닝으로 의사결정나무 학습 개선하기

MotherTree: Meta-learning on synthetic data improves decision tree training

기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.

arXiv:2610.11007v1cs.AI공통 태그 Prompt Engineering, In-Context Learning

LLM 에이전트를 위한 상시 로드 컨텍스트 큐레이션: 중도절단 피드백을 갖는 용량 제한 구색 모델

Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback

모든 세션이 시작될 때, 대규모 언어 모델(LLM) 에이전트는 $\texttt{AGENTS.md}$와 같은 고정된 컨텍스트 파일을 로드합니다. 파일에 로드된 각 토큰은 세션의 후속 라운드마다 반복해서 비용이 청구되며, 이러한 파일은 크기가 커질수록 성능을 저하시킬 수 있습니다. 그러나 실제로는 사람 또는 자동화된 큐레이터가 대개 내용을 덧붙이는(append) 방식으로 이러한 파일의 크기를 늘립니다. 본 연구에서는 컨텍스트 큐레이션을 용량 제한 구색 문제(capacitated assortment problem)로 정식화합니다. 지시문은 유한한 어텐션 용량 내에서 토큰을 소모하며, 지시문을 추가하더라도 다른 지시문의 준수율이 결코 높아지지 않는 반면 유지되는 지시문은 세션당 설정 비용(setup cost)을 발생시킵니다. 본 논문에서는 사용 가능한 후보 지시문의 수와 관계없이 최적 파일 크기의 상한을 증명하며, 단독 가치가 양수인 모든 지시문을 단순히 덧붙이는 방식이 최적의 부분 집합을 선택하는 것에 비해 순가치(net value) 측면에서 임의로 크게 악화될 수 있음을 증명합니다. 또한 토큰 예산은 토큰 가격이 과소평가되었을 때의 손실을 제한합니다. 이어 과거 세션으로부터 무엇을 학습할 수 있는지, 그리고 이 정보가 지시문의 추가 또는 제거 결정을 어떻게 이끌 수 있는지 살펴봅니다. 피드백은 본질적으로 중도절단(censored)되어 있습니다. 로드된 지시문의 이점과 위해는 관찰 가능한 반면, 누락된 지시문은 그 부재가 위해를 초래할 때만 피드백을 생성합니다. 이러한 환경에서 에이전트가 무시한 지시문을 삭제하는 것은 유용한 지시문까지 필연적으로 제거할 수 있음을 보입니다. 또한 지시문을 추가하기 전에 수집해야 하는 근거의 양을 특성화합니다. 아울러 인간 검토자가 기간당 제한된 수의 수정 사항만 검토할 수 있을 때의 후회(regret) 한계를 제시합니다. 실증 실험을 통해서도 실제 컨텍스트 파일에서 추출한 무관한 규칙들이 언어 모델의 준수율을 낮춘다는 점을 추가로 보입니다.

arXiv:2610.11067v1cs.CV공통 태그 Meta-Learning, Prompt Engineering

일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링

Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.