대규모 언어 모델(LLM)은 종종 개별 관측을 더 일반적인 규칙형 구조로 매핑하여 질의에 답한다. 그러나 이러한 구조가 어떻게 저장·선택·수정되는지는 여전히 불분명하다. 이 과정을 연구하기 위해, 우리는 리프트 표현 가설(lifted representation hypothesis)을 제안한다: LLM은 고립된 인스턴스 수준 사실이 아니라 공유 잠재 구조를 통해 메모리를 갱신한다. 이 관점은 리프팅(lifting)을 인스턴스 간 대칭성의 효율적 활용으로, 샤터링(shattering)을 거친 리프트 구조를 더 구체적인 하위 유형으로 정제하는 것으로 본다. 우리는 문맥 내 학습(ICL), LoRA, 전체 미세조정에 걸친 통제된 예외 학습 실험을 통해 LLM의 리프팅과 샤터링을 평가한다. 중첩된 규칙과 예외로 지배되는 데이터에서는 LLM이 샤터링 실패에 취약한 반면, 리프팅은 종종 조기에 발생한다는 것을 발견한다. 이 결과는 LLM에서 데이터와 규칙 구조 간 관계를 연구할 필요성을 강조한다.
AI 에이전트는 다양한 분야에서 점점 더 중요해지고 있으며, 자율적 의사결정과 문제 해결을 가능하게 한다. 효과적으로 작동하려면 이러한 에이전트는 최선의 행동 방침을 결정한 뒤 계획된 행동을 실행하는 계획(planning) 과정이 필요하다. 본 논문에서는 계획과 행동 실행을 두 개의 독립적인 구성 요소로 분리하는 효율적인 온디바이스 플래너-액션(Planner-Action) 프레임워크를 제시한다: 엣지 디바이스에 최적화된 38억 매개변수 대규모 언어 모델(LLM) Phi-3 Mini를 기반으로 한 플래너 에이전트와, 함수 실행을 위해 Octopus 모델을 사용하는 액션 에이전트. 플래너 에이전트는 먼저 사용자 질의에 응답하여 작업을 일련의 하위 단계로 분해하고, 이후 액션 에이전트가 이를 실행한다. 자원이 제한된 디바이스에서의 성능을 최적화하기 위해 문맥 내 학습(ICL) 대신 모델 미세조정을 사용하여 계산 비용과 에너지 소비를 줄이면서 응답 시간을 개선한다. 우리의 접근법은 사용 가능한 함수를 바탕으로 GPT-4를 사용해 다양한 계획 질의와 응답을 생성하고, 데이터 품질을 보장하기 위해 후속 검증을 수행하는 것을 포함한다. 엄선된 데이터셋으로 Phi-3 Mini 모델을 미세조정하여 인도메인(in-domain) 테스트 환경에서 97%의 성공률을 달성했다. 다중 도메인 계획 과제를 해결하기 위해 서로 다른 함수 부분집합에서 학습된 LoRA의 가중치를 병합하는 multi-LoRA 학습 방법을 개발했다. 이 접근법은 자원이 제한된 디바이스에서 계산 효율성을 유지하면서 복잡한 다중 도메인 질의를 유연하게 처리할 수 있게 한다. 추가 연구를 지원하기 위해 모델 가중치를 https://huggingface.co/NexaAIDev/octopus-planning 에서 오픈소스로 공개했다. 데모는 https://www.nexa4ai.com/octo-planner 를 참고하라.
대규모 언어 모델(LLM)은 잠재 능력과 일관된 활성화 사이에 잘 문서화된 격차를 보인다. 라우터 가설(router hypothesis)은 모델이 과제를 해결할 지식은 갖추고 있지만, 이를 활성화할 신뢰할 수 있는 내부 라우팅이 부족하다고 본다. 형식적 수학적 추론 분야의 선행 연구(SAIR, Cázares 2026)는 구조적 사전(prior)(치트시트)가 분포 내(in-distribution) 성능을 극적으로 높이지만, 분포 외(OOD)에서는 제로샷 기준선 이하로 붕괴한다고 보고하며 — 반복적 재보정(recalibration)이 붕괴를 교정하기보다 오히려 증폭한다고 한다.
이 현상이 도메인 간(cross-domain) 현상인지 검증하기 위해 SAIR 설계를 소스 코드 보안 취약점 탐지에 재현하고, 구문적·문맥적·의미적 복잡도에 걸친 세 가지 취약점 범주(CWE-798, CWE-284, 비CWE N+1 안티패턴)에서 세 LLM(GPT-OSS-120B, Llama-3.3-70B, Gemma-4-31B)을 평가한 뒤, 치트시트가 보강된 프롬프트를 VUDENC의 실제 CVE 데이터(CWE-89, CWE-22)로 이전(transfer)했다.
결과는 SAIR를 재현하고 확장한다: (F1) 구조적 사전은 모든 모델에서 의미적 취약점 재현율을 20.0%에서 100.0%로 끌어올린다; (F2) 제로샷 성능은 의미적 복잡도 그래디언트를 따라 저하된다; (F3) 합성 성능을 포화시키는 동일한 치트시트가 실제 CVE 데이터에서 분포 이동(distribution-shift) 붕괴를 증폭한다(CWE-89: 합성 F1 100% → VUDENC 48.9%, -51.1pp); (F5) 반복적 재보정은 실제 데이터에서 v1보다 성능이 더 낮은 v2 치트시트를 만들어 SAIR의 AN45c 대 AN38 발견을 재현한다.
이 결과는 SAIR에서 문서화된 교차-분포 트레이드오프 표면이 코드 보안으로 일반화된다는 증거를 제공하며, 라우터 가설이 도메인 간에 성립함을 시사한다. 붕괴의 구조적 특성은 프롬프트 보정보다 분포 인식(distribution-aware) 학습을 정당화한다고 주장한다. 코드 및 평가 스크립트: https://github.com/bytepro-ai/bitcoder-v2-research
가중치를 전혀 변경하지 않고, 동결된 소형 언어 모델을 한 번에 더 유능하면서도 극적으로 저렴하게 만드는 방법을 보고한다. 검증된 지식은 바이트 정확(byte-exact) 키-값(KV) 상태 아티팩트로 한 번 저장된 뒤, 접목(graft)을 통해 새로운 추론 컨텍스트에 복원된다. 복원은 비트 정확(bit-exact)하다: 고정된 결정론적 구성(pinned deterministic configuration) 아래, 접목된 logits는 새로 계산한 결과와 바이트 단위로 동일하며(SHA-256 동등), 50개 샘플에서 KL 발산 0, argmax 일치 100%를 달성한다. 부동소수점 회전 인코딩(rotary encoding)을 사용하는 모델에서 own-position graft가 유일한 수치적으로 정확한 동작점임을 보이며, 두 모델 규모(12B, 31B)와 두 GPU 대상에서 바이트 정확성을 검증했고, 그중 하나는 사전 등록된 재현(replay)을 통해 확인했다. AIME 2025에서 동결된 Gemma-4-12B는 검증된 해법 라이브러리를 접목한 뒤 80.0%에서 93.3%로 향상되며, 자체 77.5%와 31B 형제 모델의 공개 기준점 89.2%를 모두 상회한다. 반복되는 사례에서는, 기본 모델이 401,026토큰 예산 내에서 한 번도 풀지 못한 8개 문제를 캐시된 검증 해법으로 총 61 디코드 토큰만으로 답했으며, 이는 토큰 수 기준 6,574배 적고 에너지는 약 8,700배 적다; 능력 주장 자체는 홀드아웃 전이(31B에서 7/7)에 근거한다. 동일한 바이트 정확 저장소는 추가 가속기 메모리 없이 사용 가능 컨텍스트를 32,768에서 2,854,766토큰으로 확장하며, 동일 아키텍처 머신 간에 바이트 동일하게 이동한다. 시스템을 동작 수준에서 기술하며, 엔진은 독점(proprietary)이고 보고된 모든 수치는 커밋된 입력·출력 해시로 뒷받침되어 엔진 없이도 채점을 재검증할 수 있다.
분포 이동(distribution shift) 하에서의 그래프 학습은 지속적인 과제이며, 모델은 제한적이거나 심지어 감독이 전혀 없는 상황에서 새로운 그래프에 적응해야 한다. 최근 그래프-LLM 접근법은 그래프를 프롬프트로 선형화하고 대규모 언어 모델(LLM)을 예측기로 사용하여 레이블 효율적인 예측을 향해 나아가며, LLM의 다단계 추론 능력을 활용하기 위해 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅을 채택할 수 있다. 그러나 기존 CoT 기반 그래프-LLM 방법은 고정된 그래프 토큰을 조건으로 하여 중간 사고를 생성하므로, 구조적 단서의 단계별 정제가 제한된다. 본 논문에서는 그래프-LLM 추론을 위한 단순하면서도 효과적인 공진화 CoT 프롬프팅 프레임워크인 CoEvoT를 제안한다. CoEvoT는 텍스트-그래프 토큰 재작성과 그래프-텍스트 추론 안내를 폐루프로 결합한다. 각 중간 텍스트 사고는 경량 조건 네트워크를 통해 그래프 토큰 증거 상태를 갱신하는 데 사용되며, 갱신된 토큰은 다음 단계 지시에 다시 입력되어 후속 LLM 추론을 안내한다. 이를 통해 고정된 그래프 스냅샷에 대한 추론이 아니라, 단계별·상태 인식 증거 정제가 가능해진다. 8개 데이터셋에 대한 광범위한 실험에서 CoEvoT는 최신 베이스라인을 일관되게 능가함을 보여준다.
최근 로봇 파운데이션 모델은 단일 스텝 또는 짧은 이력의 시각-운동(visuomotor) 컨텍스트로 동작한다. 우리는 Test-Time-Training Robot Policies(RoboTTT)를 제안하는데, 이는 시각-운동 컨텍스트를 8K 타임스텝까지 스케일링하는 로봇 모델 및 학습 레시피로, 추론 지연을 늘리지 않으면서 최첨단 정책 대비 세 자릿수(3 orders of magnitude) 수준으로 확장한다. 이 컨텍스트 길이에서 새로운 로봇 능력을 가능하게 한다: 인간 비디오 시연으로부터의 원샷(one-shot) 문맥 내(in-context) 모방, 즉석 정책 개선, 섭동(perturbation)에 대한 강건성, 그리고 다단계·장기(long-horizon) 과제에서의 더 강한 성능. 또한 사전학습 컨텍스트 길이가 스케일링될수록 폐루프(closed-loop) 성능이 꾸준히 향상되는 현상을, 처음으로 관찰한다. 핵심적으로 RoboTTT는 Vision-Language-Action(VLA) 정책과 같은 로봇 파운데이션 모델에 Test-Time Training(TTT)을 통합하여, 순환 상태가 fast weights로 구성된 시퀀스 모델을 만들어낸다. fast weights는 학습과 추론 모두에서 경사하강법으로 업데이트되는 파라미터로, 이력을 가중치 공간으로 압축하고 장컨텍스트 조건화를 위해 맥락 정보를 검색한다. 학습 컨텍스트 길이를 스케일링하기 위해, 이 레시피는 sequence action forcing과 truncated backpropagation through time(시간을 통한 절단 역전파)을 결합한다. 도전적인 실제 로봇 조작(manipulation) 과제에서 RoboTTT는 단일 스텝 컨텍스트 기준선 대비 전체 성능을 87% 향상시키고, 어떤 기준선도 완수하지 못한 5분·10단계 조립 과제를 완전히 완료한다. 8K 타임스텝 컨텍스트로 학습된 RoboTTT는 1K 타임스텝으로 사전학습된 동일 모델보다 62% 더 우수한 성능을 보이며, 이는 로봇 파운데이션 모델을 위한 새로운 스케일링 축으로서 컨텍스트 길이를 시사한다. 비디오는 https://research.nvidia.com/labs/gear/robottt/ 에서 확인할 수 있다.
동역학 시스템(DS)의 제로샷 재구성을 위한 최근 파운데이션 모델(FM)은 강력한 도메인 외 일반화를 달성하지만, 그 예측을 뒷받침하는 메커니즘에 대한 통찰은 거의 제공하지 않는다. 이러한 이해는 과도하게 복잡한 FM 아키텍처를 본질적 핵심으로 축소하고, DS 도메인에서의 문맥 내 학습(ICL)에 대한 최소 요구사항을 드러내는 데 도움이 될 수 있다. 이 목표를 향해, 우리는 DS 재구성을 위한 최근의 강력한 SOTA 모델인 DynaMix(Hemmer & Durstewitz, 2025)를 반복적으로 축소하여, DynaBase라고 명명한 최소의 해석 가능한 두 매개변수 형태로 만들었다. DynaBase는 현재 잠재 상태와 가장 가까운 문맥 내 이웃 및 그 시간적 후속 상태의 선형 혼합을 통해 예측을 생성한다. 놀랍게도, 극도의 단순함에도 불구하고 DynaBase는 카오스 및 순환 시스템 전반에서 매우 경쟁력 있는 제로샷 DS 재구성을 생성하며, 다른 FM보다 수 많은 차수만큼 낮은 무시할 만한 수준의 매개변수 부담을 갖는다. 더 나아가, 이러한 극도의 단순함은 DS 재구성 지표에 대한 직접적인 모델 최적화뿐만 아니라 예측 MSE에 대한 폐형식 일(step) 해석적 해까지 가능하게 한다. DynaBase에 대한 이론적 및 경험적 분석은 더 나아가 1-매개변수 사상(map) 군으로 이어지며, 한쪽 끝에서는 (Zhang & Gilpin, 2026)의 문맥 패러팅(context-parroting) 알고리즘이 복원되고, 다른 끝에서는 카오스적(발산하지만 유계인) 거동이 나타난다. 우리는 또한 서로 다른 학습 전략이 단기 예측에 최적인 모델 또는 DS 재구성에 최적인 모델로 이어지는 방식을 보여준다. 따라서 DynaBase는 제로샷 DS 재구성을 생성하는 데 필요한 최소 메커니즘을 드러낼 뿐만 아니라, 접근 가능한 수학적 틀 안에서 문헌의 상이한 관측 결과들을 조화시킨다.
대규모 언어 모델(LLM)은 AI 서비스를 혁신했지만, 중요한 긴장이 발생한다. 개인화는 모델 성능을 향상시키지만, 사용자들이 공유해야 하는 희소한 계산 자원을 소비한다. 사용자는 언제 값비싼 지도 미세조정(SFT)에 투자해야 하고, 언제 경량적인 문맥 내 학습(ICL)을 선택해야 하는가? 다른 사용자들의 개인화 선택으로 인한 혼잡이 이러한 인센티브를 어떻게 재편하는가? 그리고 플랫폼이 여러 개인화 알고리즘을 제공할 때 어떤 전략을 채택해야 하는가? 우리는 사용자가 직면하는 통계-경제적 트레이드오프를 포착하는 LLM 서빙을 위한 다루기 쉬운 프레임워크를 개발한다. 우리의 분석은 여러 놀라운 통찰을 제공한다. 첫째, ICL과 SFT는 사전학습(pre-training) 커버리지와 데이터 신호 대 잡음비(signal-to-noise ratio) 간의 상호작용에 의해 결정되는 서로 다른 영역에서 각각 우세함을 보임을 보인다. 그러나 혼잡은 이러한 순위를 뒤바꿀 수 있다. 둘째, 균형 상태에서의 자원 소비는 뚜렷한 비단조성(non-monotonicity)을 보인다. 사전학습 정밀도를 높이면 혼잡이 감소하지만, 더 넓은 사전학습 커버리지와 더 어려운 태스크는 때때로 혼잡을 증가시킨다. 셋째, 계산 부하를 잠재적으로 증가시킬 수 있음에도 불구하고, 두 개인화 방법을 모두 제공하는 것이 플랫폼의 최대 수익을 절대로 해치지 않음을 증명한다. 선형 회귀 태스크에서 GPT-2를 사용한 실험은 알고리즘 성능에 대한 우리의 이론적 예측을 검증한다. 이 결과를 보완하여, 21개 주요 AI 플랫폼의 문서를 검토한 결과, SFT와 ICL을 모두 제공하는 비율이 2021년 9.5%에서 2025년 71.4%로 증가했으며, 이는 우리의 플랫폼 설계 시사점과 일치한다.
Retrieval-augmented generation (RAG) for long-context question answering is bottlenecked by inference-time prefilling over large retrieved contexts. A common strategy is to precompute key-value (KV) caches for individual documents and selectively recompute a small subset of tokens to restore global causal dependencies, but existing methods rely on heuristics or representation discrepancies without modeling whether selected tokens can effectively influence generation. We cast selective KV recomputation as an information flow problem and show that a simple attention-norm signal from the query reliably identifies tokens that are both semantically relevant and structurally positioned to propagate information, when computed under an inference-consistent RoPE geometry. We therefore reconstruct global positional assignments for retrieved chunks and introduce an information-flow-guided chunk reordering strategy. Experiments on Large Language Model and Vision-Language Model benchmarks demonstrate consistent gains over prior methods under comparable latency.
상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.
에이전트 하네스는 컨텍스트, 도구, 오케스트레이션, 메모리, 디코딩, 출력 처리를 관리하여 기본 LLM을 실행 가능한 에이전트로 전환하는 외부 제어 층이다. 하네스 설계는 에이전트 행동에 큰 영향을 미치지만, 대부분의 자동 개선 방법은 프롬프트, 파이프라인, 워크플로와 같은 더 좁은 산출물을 최적화하며, 배포된 에이전트는 보통 모든 경우에 단일 전역 하네스를 재사용한다. 우리는 자체 실행으로부터 학습하는 적응형 하네스 최적화 프레임워크인 MemoHarness를 제안한다. MemoHarness는 하네스를 여섯 개의 편집 가능한 제어 차원으로 분해하고, 사례별 진단과 정제된 전역 패턴을 이중 층 경험 뱅크에 저장하며, 테스트 시 레이블, 피드백, 추가 검색 없이 검색된 경험을 사용하여 학습된 하네스를 각 테스트 사례에 적응시킨다. 셸 에이전트, 코드 생성, 분석적 추론 벤치마크에 걸친 평가에서 MemoHarness는 우리가 비교한 고정 하네스보다 향상되며, 보지 못한 테스트 스위트와 기본 모델에 대한 선택적 전이를 보여준다. 검색된 경험의 상당 부분이 캐시 가능할 때 추가 컨텍스트도 비용 경쟁력을 유지할 수 있다. 이 결과는 실행 경험이 단일 정적 구성보다 더 적응적인 에이전트 하네스를 구축하기 위한 실용적인 기반임을 뒷받침하며, 통계적 견고성과 구성 요소 귀속에 대한 더 넓은 주장은 향후 연구에 맡긴다.
문맥 내 분할(ICS)은 모델이 소수의 참조 이미지와 해당 마스크만을 사용하여 쿼리 이미지에서 대상 영역을 분할해야 하며, 어떠한 파라미터도 업데이트하지 않는다. 최근의 진전에도 불구하고, 기존 ICS 연구들은 중요한 측면인 시스템 견고성, 즉 동일한 쿼리에 대해 서로 다른 참조를 사용할 때 모델이 안정적인 분할 결과를 생성할 수 있는지 여부를 크게 간과해 왔다. 본 연구에서는 견고성 관점에서 ICS를 재검토하고, 저수준 시각 매칭에만 의존하는 대신 참조로부터 고수준 의미 개념을 추출하여 분할을 수행하는 새로운 패러다임인 개념 안내 문맥 내 분할(Concept-Guided In-Context Segmentation, CG-ICS)을 제안한다. 구체적으로, CG-ICS는 MLLM을 사용하여 후보를 제안하고 SAM3 기반 점수 함수와 트리 탐색 정제를 통해 신뢰할 수 있는 텍스트 개념을 선택하는 개념 추론 모듈을 도입하며, 간단한 컨텍스트 구성을 통해 쿼리 측면의 공간적 그라운딩(grounding)을 제공하는 병렬의 시각적 예시 경로를 함께 사용한다. 텍스트 개념과 시각적 예시 모두 고정된 SAM3 백본의 분할 능력을 활성화하는 데 사용된다. 표준 ICS 벤치마크에 대한 광범위한 실험은 CG-ICS가 최신(state-of-the-art) 정확도를 달성할 뿐 아니라 견고성도 크게 향상시켜, 다양한 참조 선택에 걸쳐 분산이 크게 감소한 더욱 신뢰할 수 있는 ICS 시스템을 제공함을 보여준다. 코드는 https://github.com/Kakarot1103/CG-ICS 에서 확인할 수 있다.
최근 비디오 월드 모델의 발전으로 자유 내비게이션이 가능한 대화형 환경이 구현되면서, 1인칭(자아 중심, egocentric)과 3인칭(타인 중심, exocentric) 시점 간 변환의 중요성이 점점 커지고 있다. 그러나 기존 연구는 단방향 타인 중심→자아 중심 변환에 초점을 맞춰, 참조 기반 타인 중심 시점 합성을 간과해 왔다. 이 능력은 게임과 체화 AI(embodied AI) 응용에서 매우 중요하다. 이에 영감을 받아, 우리는 비디오 생성에서 자아 중심 세계와 타인 중심 세계 간 변환을 위해 설계된 문맥 내 학습(ICL) 프레임워크 WorldWander를 제안한다. 고급 비디오 diffusion transformer를 기반으로, WorldWander는 (i) In-Context Perspective Alignment와 (ii) Collaborative Position Encoding을 통합하여 교차 시점 동기화와 캐릭터 일관성을 모델링한다. 이를 위해 우리는 합성 및 실세계 시나리오 모두에서 동기화된 자아 중심-타인 중심 triplet을 포함하는 동적이고 장면이 풍부한 데이터셋 EgoExo-8K를 구축했다. 실험 결과 WorldWander가 우수한 시점 동기화, 캐릭터 일관성 및 일반화를 달성하여, 자아 중심-타인 중심 비디오 변환의 새로운 벤치마크를 수립함을 보여준다.
제한된 데이터로부터 효과적으로 학습하는 것은 라벨이 있는 예시가 희소한 보안과 같은 도메인에서 중요하다. 대규모 언어 모델(LLM)은 데이터 효율적 학습, 특히 매개변수 효율적 적응 방법을 통해 어느 정도 능력을 보여주었지만, 어려운 과제에서 소수의 샘플에 직면하면 여전히 어려움을 겪는다. 이 과제에 대응하기 위해, 우리는 어텐션 헤드당 단 하나의 스칼라만 학습하여 LLM을 새로운 텍스트 분류 과제에 적응시키는 데이터 효율적 방법인 Attention Head Reweighting(AHR)을 제안한다. 이는 개별 어텐션 헤드의 기능적 특화를 활용하여 학습해야 하는 매개변수 수를 획기적으로 줄인다. 다양한 오픈소스 텍스트 분류 데이터셋에서의 실험은 AHR이 학습 가능 매개변수가 200-1000배 적음에도 불구하고, AHR이 모델 매개변수의 약 0.0001%만 수정하기 때문에, 제한된 샘플로 학습할 때 LoRA와 같은 표준 베이스라인을 능가할 수 있음을 보여준다. 또한, 우리가 학습한 가중치는 해석하기 쉬우며, LLM에서 문맥 내 학습(ICL) 능력을 담당하는 메커니즘과 어텐션 헤드를 더 잘 이해하기 위해 분석할 수 있다.
표 형식 파운데이션 모델(TFM)은 작업별 추정 없이 문맥 내 학습(ICL)을 통해 구조화된 데이터에 대한 예측을 생성한다. TFM을 마케팅 및 운영 분야의 핵심 수요 추정 프레임워크인 이산 선택(discrete choice)에 효과적으로 적용할 수 있는지 검토한 결과, TFM을 직접 적용하면 성능이 제한적임을 확인했다. 이 격차는 구조적이다. TFM은 행 단위로 독립적인 관측을 가정하지만, 이산 선택은 본질적으로 집합 값(set-valued)이며 지속적인 소비자 선호 이질성(heterogeneity)의 영향을 받는다. 우리는 선택 집합 의존성과 개별 이질성을 모두 행 기반 학습 프레임워크 내에 인코딩하는 재공식화를 제안한다. 요구르트 스캐너 패널 데이터에서 평가한 결과, 개별 수준 이질성 인코딩이 예측 정확도의 지배적 요인이다. 최적의 재공식화는 홀드아웃 가능도에서 8%, 적중률에서 3.6% 계층적 베이지안 추정(hierarchical Bayesian estimation)을 능가하며, 16배 빠르게 실행되어 대규모 수요 추정에 실용적 이점을 제공한다. 이점은 중간 데이터 영역(소비자당 구매 10–40회)에서 가장 크며, 이 구간에서 모수적 베이지안 수축(parametric Bayesian shrinkage)이 비전형적 소비자에 대한 추정치를 가장 왜곡한다. 인구 수준 선택 데이터에 대한 미세조정은 구매 이력이 짧은 소비자에게 추가 이득을 제공하며, 이 경우 문맥 내 학습이 조건화할 개별 특화 신호가 제한적이다. 이러한 결과는 소비자 선택 문제에 파운데이션 모델을 적용하기 위한 원칙적 접근법을 제시한다.
예측 모델이 신용 승인과 같은 고위험 환경에 점점 더 배포됨에 따라, 영향을 받은 개인에게 구제(recourse)를 제공하는 사후(post-hoc) 방법에 대한 수요가 증가하고 있다. 이러한 모델 중 다수는 특징이 실세계 속성에 대응하는 표형(tabular) 데이터에서 동작한다. 최근 문맥 내 학습(ICL)은 추론 시점에 레이블이 있는 예시에 조건화함으로써, 명시적 학습 없이 대규모 언어 모델(LLM)이 표형 예측을 수행할 수 있게 했다. 그러나 ICL 하에서의 표형 의사결정을 위한 알고리즘적 구제는 아직 대부분 탐구되지 않았다.
본 연구에서는 ICL 하에서 표형 데이터에 대한 알고리즘적 구제에 대한 최초의 연구를 제시한다. 우리는 이론적 분석을 수행하여 구제가 잘 정의되고 유계(bounded)임을 보이며, 컨텍스트 크기가 증가함에 따라 구제가 고전적(classical) 해법으로 수렴하는 방식을 특성화한다.
실제로 우리는 블랙박스 ICL 모델에 대해 실행 가능하고 희소(sparse)한 구제를 효율적으로 생성하는 새로운 0차(zeroth-order) 구제 프레임워크인 문맥 내 학습을 위한 적응형 부분공간 구제(Adaptive Subspace Recourse for In-Context Learning, ASR-ICL)를 제안한다. 제안된 프레임워크는 다중 클래스 표형 작업으로 자연스럽게 확장된다.
다수의 실세계 데이터셋과 모델에 걸친 실험은 ASR-ICL이 더 적은 쿼리로 기존 방법과 비슷한 구제 품질을 달성함을 보여주며, 예측된 수렴 거동을 실증적으로 확인하여 우리의 이론적 분석을 뒷받침한다.
대규모 물리 상호작용 데이터의 확보는 현대 로봇 학습의 핵심 전제 조건이지만, human-in-the-loop 수집 패러다임의 기하급수적인 비용과 확장성 한계로 인해 심각한 병목에 직면해 있다. 이 장벽을 허무르기 위해, 우리는 수집 사이클에서 인간 개입을 완전히 제거하는 완전 자율·폐루프 데이터 생성 엔진인 Robust Autonomous Data Acquisition for Robotics(RADAR)를 제안한다. RADAR는 인지 부하를 4개 모듈 파이프라인으로 우아하게 분할한다. 2~5개의 3D 인간 시연을 기하학적 사전지식으로 삼아, 비전-언어 모델이 먼저 정밀한 의미적 객체 그라운딩과 스킬 검색을 통해 장면 관련 과제 생성을 조율한다. 다음으로 그래프 신경망(GNN) 정책이 문맥 내 학습(ICL)을 통해 이러한 하위 과제를 물리적 행동으로 변환한다. 실행 후 VLM은 구조화된 시각적 질의응답(VQA) 파이프라인을 사용하여 자동화된 성공 평가를 수행한다. 마지막으로 수동 리셋의 병목을 깨기 위해, 유한 상태 기계(FSM)가 자율 환경 리셋과 비대칭 데이터 라우팅 메커니즘을 조율한다. 엄격한 후입선출(LIFO) 인과 시퀀스를 가진 동시 순방향-역방향 계획에 의해 구동되어, 시스템은 비구조화된 작업 공간을 매끄럽게 복원하고 실행 실패로부터 견고하게 복구한다. 이러한 지속적인 뇌-소뇌 시너지는 데이터 수집을 자체 지속 가능한 프로세스로 전환한다. 광범위한 평가는 RADAR의 탁월한 범용성을 부각한다. 시뮬레이션에서 우리 프레임워크는 복잡하고 장기적인 과제에서 최대 90%의 성공률을 달성하며, 전통적 베이스라인의 성능이 거의 0에 가까워지는 난제를 손쉽게 해결한다. 실제 환경 배포에서 시스템은 도메인 특화 미세조정 없이 퓨샷(few-shot) 적응을 통해 다양한 접촉 중심 스킬(예: 가변형 객체 조작)을 안정적으로 실행하며, 로봇 데이터 확보를 위한 고도로 확장 가능한 패러다임을 제공한다.
지속 학습(continual learning)은 학습 이후에도 계속해서 지식을 습득하며 각각의 새로운 사실을 가중치에 기록하는 언어 모델을 실현할 것을 약속한다. 가중치 쓰기(weight write)가 지식 축적을 뒷받침할 수 있는지는 아직 결론이 나지 않았다. 우리는 Qwen3 모델에 기록된 가상의 사실들을 생성 시점부터 20회에서 100회에 이르는 이후 쓰기 시퀀스까지 추적하며, 다섯 가지 유형의 검증용 질문을 사용하고, 원본 모델이 해당 사실을 프롬프트에 제공받은 경우를 참조 기준으로 삼는다. 이러한 실험들 전반에 걸쳐, 학습 데이터의 다양성이 생성되는 지식의 종류를 결정한다. 단순 진술(bare-statement) 학습은 암기(recitation)를 유발하는 반면, 다양한 재진술은 모델에 결론을 직접 보여주지 않고도 암기-활용 격차를 27.4포인트에서 5.4포인트로 줄인다. 이 차이는 이후 쓰기에도 이어진다: 20회의 순차적 쓰기 이후, 단순 진술 방식의 사실은 정확도 1%를 유지하는 반면, 광범위한 학습 데이터로 기록된 사실은 46%를 유지한다. 또한 우리는 사실들이 가중치에서 지워지지 않고도 행동적으로 망각될 수 있음을 발견한다. 망각된 사실들은 쓰기에 의해 추가된 로그 확률(log-probability)의 대부분을 유지하며, 단순 진술 학습 하에서 해당 사실에 대한 오답의 70%는 가장 최근에 기록된 사실을 포함한다. 동일한 쓰기 과정은 컨텍스트 내 모델의 사실 활용 능력을 거의 저하시키지 않으며, 프롬프트에 제공된 망각된 학습 사실은 해당 질문들에서 77~80%까지 회복된다. 이러한 결과들은 저장되지만 질문에 의해 접근 경로가 결정되는 지식을 보여준다: 이후 쓰기는 해당 지식에 도달하는 질문들을 재경로화한다. 관련 없는 능력에 대한 손상은 원본 모델로부터의 KL 발산을 따르며, 이후 쓰기는 이전 사실이 저장된 방식과 무관하게 간섭을 유발한다. 광범위한 데이터는 활용 가능한 지식을 생성할 수 있고, 고정된 참조 모델은 능력을 보존할 수 있지만, 각 쓰기의 정확한 국소 측정에 기반한 방법을 포함하여 우리가 테스트한 어떤 개입도 이전 사실들을 접근 가능한 상태로 유지하지 못한다. 사실들이 조합되어야 하거나 이후 쓰기를 견뎌야 할 때, 신뢰할 수 있는 채널은 가중치가 아닌 컨텍스트이다.
기계론적 해석(mechanistic interpretability) 분야의 최근 연구는 induction head, function vector, Hydra effect와 같은 트랜스포머 기반 언어 모델의 신경 정보 처리에서 많은 수수께끼 같은 현상들을 밝혀냈다. 이러한 개별 현상 중 일부는 서로 다른 데이터 분포 특성과 독립적으로 연결되어 왔고, 일부는 모델 아키텍처와 트랜스포머가 정보를 처리하는 방식과 느슨하게 연관되어 왔다. 그러나 데이터, 모델 아키텍처, 최적화 사이의 관계에 대한 통합적 이해는 여전히 부족하며, 겉보기에는 서로 무관해 보이는데도 왜 이 세 가지 현상이 서로 다른 모델 계열과 스케일 전반에 보편적으로 나타나는지라는 근본적인 질문에 답하지 못하고 있다. 본 연구에서는 데이터 생성 과정의 계층적 잠재 구조, 가산적 모델 구성요소 간의 비상관(decorrelated) 그라디언트, 표현 기하학의 방향성 오목성(directional concavity)을 결합하여 이 세 현상을 통합적으로 설명함으로써 이 질문에 답한다. 우리는 이론적 결과를 toy model 체제와 대규모 합성 데이터 체제에서 검증하고, 자연어 데이터로 학습된 언어 모델과 비교한다.
교류 전력 흐름(ACPF) 문제에 대한 머신러닝 기반 대리 모델은 고정된 네트워크에서 반복적인 해법 비용을 상각화하지만, 선로 고장으로 토폴로지가 바뀌면 정확도가 한두 자릿수만큼 떨어진다. 이러한 성능 저하는 연산자 이동(operator shift)에 기인한다. 변경된 어드미턴스 행렬이 입력-출력 사상을 바꾸므로, 동일한 입력이라도 다른 출력 분포를 낳는다. 기존 방법은 목표 토폴로지 데이터와 토폴로지별 그래디언트 단계로 이를 보정한다. 우리는 이 보정을 대신 통계적이고 그래디언트-무관하게 할 수 있는지 묻는다. 우리는 기본 토폴로지의 첫 두 모멘트로 출력 공간을 화이트닝하여 ACPF 대리 모델을 학습하고, 새 토폴로지에서 수백 개의 해법 사례로 그 화이트닝을 재추정함으로써 보이지 않은 N-1 또는 N-2 토폴로지에 적응하는 인-컨텍스트 화이트닝(ICW)을 제안한다. 이 적응은 그래디언트-무관하고, 가중치 갱신이 없으며, 아키텍처에 구애받지 않는다. 우리는 아핀 화이트너 중 물리적 출력 벡터의 좌표별 의미를 보존하는 유일한 선택이 ZCA 화이트닝임을 증명하므로, 효율적인 가역 보정 범위 내에서 두 모멘트면 충분하다. N-1 및 N-2 사고 조건에서 IEEE 30-, 118-, 300-버스 시스템 전반에 걸쳐 ICW는 고정된 대리 모델 대비 전체 오차를 6배에서 28배 줄이고(N-2에서는 물리량별로 최대 54배), 최악 버스의 전력 균형 불일치를 최대 30배 감소시키며, 세 가지 백본에서 일관된 이득을 보인다. 배포 규모에서는 그래디언트 기반 적응과 동등하거나 더 나은 정확도를 달성하면서 적응 속도는 21배에서 34배 빠르며, 비용은 사고마다 GPU 하나를 요구하기보다 상용 CPU 코어에서 병렬화된다.