개방형 보상 모델링은 검증 가능한 답변이 없는 상황에서 미세하고 도메인 특화된 선호도를 따를 수 있는 판정자(judge)를 필요로 합니다. 기존 루브릭 기반 방법들은 각 쿼리에 대해 기준을 실시간으로 생성하여 이 문제를 해결하려 하지만, 추가적인 생성 단계는 추론(inference) 오버헤드를 증가시키고 경직되거나 정렬되지 않은 지침을 초래할 수 있습니다. 본 논문에서는 Eval-Skill을 소개합니다. 이는 보상 모델링을 위해 재사용 가능한 평가 스킬을 종합하고, 보상 지침을 매개변수(parameter) 학습이나 쿼리별 루브릭 생성이 아닌 컨텍스트 진화로 재정의하는 탐험 기반 방법입니다. Eval-Skill은 스킬 진화를 위해 도메인당 단 100개의 사례만을 사용하여, 워크플로우 생성과 원칙 생성이라는 두 단계에 걸쳐 탐험과 선택을 교차 수행함으로써 재사용 가능한 도메인 수준의 평가 스킬을 종합합니다. 생성된 스킬은 판정자의 컨텍스트에 직접 주입됩니다. 다양한 보상 모델링 벤치마크(benchmark)에서 Eval-Skill은 다양한 판정자 백본을 일관되게 향상시켰습니다. RewardBench 2에서는 각 주요 백본에 대해 기본 판정 대비 상당한 성능 향상을 달성했습니다 (Qwen3-8B는 +13.44%, DeepSeek-V4-Flash는 18.51%). 진화 시점 스케일링, 일반화 가능성, 전이 가능성에 대한 추가 분석 결과, 소형 평가 스킬은 대규모 언어 모델(LLM) 기반 평가를 위한 효율적인 새로운 패러다임을 제공함을 확인했습니다. 코드는 https://github.com/xing-stellus-yue/Eval-Skill에서 확인할 수 있습니다.
문맥 내 학습(In-context learning)은 현대 대규모 언어 모델(LLM)의 기초이지만, 기존 아키텍처는 선형 또는 상수 위치 인덱스를 할당하여 경직되고 고정된 컨텍스트 구조를 강요합니다. 경직된 위치 정보는 입력 구조를 구성하는 부담을 어텐션(attention) 레이어에 전적으로 지우게 하여, 더 중요한 정보에 할당될 수 있는 어텐션 양을 줄입니다. 이를 해결하기 위해 우리는 컨텍스트 재배치를 통해 어텐션 레이어의 부담을 완화하는 새로운 메커니즘인 RePo를 제안합니다. 기존 접근 방식과 달리 RePo는 미리 정의된 순서에 의존하는 대신 문맥적 의존성을 포착하는 토큰 위치를 할당하기 위해 미분 가능한 모듈 $f_φ$를 활용합니다. OLMo-2 1B 및 7B 모델에 대해 지속적인 사전학습(pre-training)을 수행하여, RePo가 일반적인 짧은 컨텍스트 작업에서 경쟁력 있는 성능을 유지하면서도 노이즈가 포함된 컨텍스트, 구조화된 데이터, 더 긴 컨텍스트 길이와 관련된 작업에서 성능을 일관되게 향상시킴을 입증했습니다. 분석 결과 RePo는 멀리 떨어져 있지만 관련 있는 정보에 더 많은 어텐션 질량을 성공적으로 할당하고, 밀집되고 비선형인 공간에서 위치를 할당하며, 입력 컨텍스트의 내재된 구조를 포착하는 것으로 나타났습니다. 우리의 코드는 https://github.com/SakanaAI/repo 에 있습니다.
TabPFN으로 대표되는 테이블 파운데이션 모델은 문맥 내 학습(in-context learning)을 통해 예측을 수행하며, 레이블이 지정된 학습 예제로부터 직접 테스트 레이블을 추론합니다. 이들은 특히 소규모에서 중규모 데이터셋에서 경쟁력 있는 성능을 보여주었습니다. 그러나 최근 테이블 파운데이션 모델은 종종 점점 복잡해지는 아키텍처로 정확도를 높이며, 이로 인해 더 높은 추론 비용이 발생하고 실제 배포가 제한됩니다. 본 연구에서는 기존 TabPFN 설계를 다시 살펴보고, 가벼운 행 단위 어텐션 전용 백본이 두 가지 간단한 개선을 통해 매우 경쟁력을 유지할 수 있음을 보여줍니다: 전역 컨텍스트를 제공하고 사전학습 품질을 향상시키는 게이트 어텐션 안정화 메커니즘과 소수의 학습 가능한 레지스터 토큰입니다. 결과 모델인 TabSwift는 분류와 회귀를 모두 지원하며, 추론 시 더 효율적이면서도 더 강력한 테이블 파운데이션 모델(예: TabPFN v2 및 TabICL)과 경쟁력을 갖습니다. 지연 시간에 민감한 서빙을 위해, 샘플별로 추론 깊이를 동적으로 조정하는 적응형 층별 조기 종료 메커니즘을 추가로 도입합니다. 전반적으로, TabSwift는 실제 배포를 위한 효율적이고 언제든지 가능한 테이블 문맥 내 학습을 가능하게 합니다.
엣지 디바이스에 소형 언어 모델(SLM)을 배포하려면 모델의 범용 능력을 저하시키지 않으면서 새로운 작업에 적응하는 효율적인 미세조정 전략이 필요합니다. 본 연구에서는 5개의 10억 미만 매개변수 모델(135M-1B)을 수학적 추론 과제에서 평가하여 중요한 취약점을 발견했습니다. 3억 매개변수 미만의 모델에서 완전 미세조정(Full FT)은 성능을 적극적으로 해치며, 종종 정확도를 제로샷(zero-shot) 기준선보다 떨어뜨립니다. 이러한 '네거티브 전이(negative transfer)'는 파라미터 효율적 미세조정(PEFT)을 단순한 효율성 선호가 아닌 안정성 요구사항으로 만듭니다. 우리는 LoRA와 가중치 분해 LoRA(DoRA)가 유사한 성능을 보이지만 강점이 작업에 따라 다르다는 것을 발견했습니다. DoRA는 복잡한 추론(GSM8K)에서 뛰어난 반면, LoRA는 패턴 매칭(OrcaMath)에서 우위를 점합니다. 특히 완전 미세조정은 정렬된 모델(Qwen2.5-0.5B)에서 LoRA에 의해, 가장 작은 아키텍처(SmolLM2-135M)에서는 단순한 5샷 문맥 내 학습(ICL)에 의해서도 성능이 뒤처집니다. 이러한 발견을 바탕으로, 우리는 모든 정렬된 10억 미만 매개변수 모델에 대해 PEFT를 기본값으로 사용할 것을 권장하며, 재앙적 망각을 방지하기 위해 5억 매개변수 미만의 모든 아키텍처에 대해 완전 미세조정 사용을 자제할 것을 권고합니다. 이 연구의 재현 결과는 https://github.com/gulguluu/tiny-slm-finetune-compare에서 확인할 수 있습니다.
우리는 현세대 대규모 언어 모델(LLM)이 탐험-활용 트레이드오프(exploration-exploitation tradeoff)에 직면한 의사결정 에이전트를 지원하는 능력을 평가한다. 기존 연구들이 주로 LLM이 탐험과 활용을 결합한 태스크를 해결하는 능력을 연구한 반면, 우리는 더 체계적인 접근 방식을 취하여 다양한 (문맥적) 밴딧(bandit) 태스크에서 탐험과 활용을 각각 분리하여 LLM을 활용한다. 우리는 추론 모델이 활용 태스크 해결에 가장 큰 가능성을 보이지만, 여전히 많은 실용적 환경에서 사용하기에는 비용이 너무 많이 들거나 속도가 너무 느리다는 점을 발견했다. 이에 동기를 얻어, 우리는 비추론 모델을 사용한 도구 활용(tool use)과 문맥 내 요약(in-context summarization)을 연구한다. 이러한 완화 방법들이 중간 난이도 태스크에서 성능을 크게 향상시키는 데 사용될 수 있음을 발견했지만, 그럼에도 불구하고 우리가 연구한 모든 LLM은 비선형 환경에서조차 단순 선형 회귀보다 낮은 성능을 보였다. 반면, LLM은 고유한 의미론(semantics)을 지닌 대규모 액션 공간을 탐험할 때, 적합한 탐험 후보를 제안함으로써 도움이 된다는 것을 발견했다.
최근 사후 학습 방법, 특히 검증 가능 보상 강화학습(RLVR)은 대규모 비전-언어 모델(LVLM)의 추론 능력을 크게 향상시켰다. 그러나 검증 가능 보상의 희소성 때문에 실패한 롤아웃에 대한 토큰 수준 지도가 거의 제공되지 않아, 복잡한 다중모달 추론 과제에서 비효율적인 탐험이 흔히 발생한다. 정책 증류가 조밀한 지도를 제공할 수 있지만, 외부 교사 기반 방법은 상당한 계산 오버헤드를 유발하는 반면, 답 조건부 튜닝 방법은 답 수준 정보를 노출하고 지름길과 유사한 생성 행동을 유발할 수 있다. 이러한 한계를 해결하기 위해, 우리는 PTD-PO(Privileged Tutoring Distillation Policy Optimization)를 제안한다. 이는 RLVR을 위한 프레임워크로, 학생 정책에 답을 노출하지 않으면서도 조밀한 지도를 제공한다. 구체적으로, PTD-PO는 공간적 어텐션 지도와 중간 텍스트 추론 단계로부터 구조화된 특권 힌트를 구성하고, 문맥 내 학습(ICL)을 통해 이를 활용하여 단계별 토큰 분포 지도를 생성한다. 학생은 여전히 원래의 답 없는 문맥에서 최적화되며, 실패한 롤아웃은 토큰 분포 수준에서 힌트가 증강된 참조 모델과 정렬된다. 지도된 문맥과 비지도 문맥 간 분포 이동 하에서 증류를 더 안정화하기 위해, 우리는 정보가 풍부한 토큰 확률에 정렬을 집중하면서 메모리 오버헤드를 줄이는 Top-K Jensen-Shannon divergence 목적함수를 도입한다. 2B에서 8B 매개변수 규모의 LVLM에 대한 실험은 PTD-PO가 RLVR 및 증류 baseline을 일관되게 능가하고, 엔트로피 붕괴를 완화하며, 복잡한 다중모달 추론 성능을 개선함을 보여준다.
대규모 언어 모델(LLM)은 현재 광범위한 전문가 수준의 시험을 인간과 동등하거나 그 이상의 수준으로 풀어내지만, 법률과 같이 전문화된 증거 집약적 도메인에서는 여전히 취약하다. 이러한 과제에서 오류는 세계 지식의 공백뿐만 아니라 증거 간의 미묘한 구분과 뒷받침 증거의 비일관적인 활용에서도 발생한다. 샘플링된 사고의 연쇄(CoT) 트레이스에 대한 가장 일반적인 집계 방식인 다수결 투표는 해당 증거가 실제로 가장 강력한지 여부와 무관하게 가장 많이 나온 답변을 반환한다. 우리는 CoT 추론 단편들을 증거 집합으로 선택하는 과정을 명시적인 조합 최적화 문제로 다루어, 잘 뒷받침되지만 소수인 가설이 노이즈가 많은 다수결을 무효화할 수 있도록 하고, 이 접근 방식을 증거 품질에 특히 민감한 법적 추론 벤치마크에서 평가할 것을 제안한다. 우리는 EP-HUBO(Evidence Pool Higher-Order Binary Optimisation)를 제안하며, 이는 소규모 로컬 모델로 다수의 CoT 트레이스를 생성하고, 단편들을 가설별 증거 풀로 파싱하며, 품질 기반 가중치(관련성, 특이성, 변별성)를 적용한 고차 비제약 이진 최적화를 풀 단위로 수행하고, 질문당 단일 판결 호출을 프론티어 모델에 위임한다. EP-HUBO를 두 가지 증거 집약적 법률 벤치마크에서 고전적 하드웨어의 모의 담금질(simulated annealing)과 Quantum Computing Inc.의 Dirac-3 포토닉 엔트로피-양자 머신을 모두 사용하여 평가한다. HUBO 방식의 최적화는 소수이지만 정확한 가설을 보존하면서 추론 단편을 집계하는 원칙적인 방법을 제공하며, 프론티어 모델이 벤치마크 자료를 아직 충분히 흡수하지 못한 저오염 도메인에서 가장 유용하다.
대규모 언어 모델(LLM)은 도구를 사용하는 에이전트로서 유망한 가능성을 보이지만, 지식을 기억하고 조직하며 재사용해야 하는 장기(long-horizon) 과제에서는 여전히 한계가 있다. 기존 메모리 접근법은 이러한 상황을 해결하려 하지만, 주로 사실적 정보 저장에 초점을 맞춘다. 절차 기억(procedural memory)에 대한 최근 연구는 과제 재사용을 개선하지만, 종종 실패 사례나 온라인 확장성을 다루지 않고 과거 성공을 재생하는 수준에 그친다. 우리는 단기 및 장기 저장소를 결합한 이중 수준 설계에서 의미 기억(semantic memory), 일화 기억(episodic memory), 절차 기억을 통합하는 통합적이고 자동화된 메모리 프레임워크를 제안한다. 액터, 메모리, 비평가(critic) 에이전트를 갖춘 다중 에이전트 아키텍처는 자동 메모리 생성, 보상 주석, 적응적 검색을 가능하게 한다. 장기 기억은 보상 기반 평가, 병합, 가지치기를 통해 관리되어 확장성과 지속적 개선을 보장한다. 다양한 환경에서의 실험은 우리 접근법이 기존 베이스라인 대비 장기 다중 턴 과제에서 견고성과 성공률을 향상시킴을 보여준다. 이 연구는 LLM 기반 에이전트 발전을 위해 포괄적이고 적응적인 메모리의 중요성을 강조한다.
에이전트 도구 호출 언어 모델은 호출 가능한 API, 함수, 로컬 액션으로 구성된 대규모 레지스트리에 의존한다. 전체 도구 명세를 프롬프트에 직접 배치하면 도구 레지스트리 크기에 선형적으로 비례하는 비용이 발생하여 컨텍스트 윈도우를 빠르게 소진한다. 레지스트리가 커질수록 지연 시간이 증가하고, 특히 관련 없는 도구들의 간섭으로 인해 선택 정확도가 저하된다. 우리는 이러한 한계를 극복하기 위해 NTILC를 제안한다. NTILC는 문맥 내 레지스트리 조회를 학습된 잠재 검색(latent retrieval)으로 대체하는 신경망 기반 도구 선택 및 호출 프레임워크다. NTILC는 사용자 의도와 도구 명세를 공유 임베딩 공간에 매핑하여, 문맥 내 조회 대신 외부 검색을 통한 도구 선택을 가능하게 한다. 언어 모델은 선택된 도구 스키마만을 조건으로 받아 정밀하고 제약된 인자 생성을 수행한다. 우리 접근법의 핵심은 시그니처 인식 복합 목적 함수(signature-aware composite objective)로, 이는 도구 시그니처(예: 인자 스키마, 타입 호환성, 반환 타입)에서 도출된 제약 조건으로 의미론적 유사도를 보강한다. Circle Loss와 Functional Margin Loss를 결합함으로써, 모델은 의미론적으로 유사하지만 실행 시그니처 측면에서 호환되지 않는 도구들 간의 분리를 강제한다. 우리는 공개 도구 선택 및 함수 호출 데이터셋에서 NTILC를 평가하고, 컨텍스트 토큰 사용량, 검색 정확도, 선택 지연 시간 지표를 보고한다. 이러한 설정 전반에 걸쳐 NTILC는 장문맥 ICT(in-context tool) 기준선 대비 컨텍스트 윈도우 소비를 95% 이상 줄이고 추론 지연 시간을 최대 74%까지 감소시킨다.
RAG 기반 사실 검증(fact-checking)에서 대규모 언어 모델(LLM)은 검색된 증거를 바탕으로 주어진 주장을 검증하는 검증기(verifier)로 점차 더 많이 사용되고 있습니다. 이들의 파라메트릭 지식은 검색된 컨텍스트(context)와 충돌할 수 있는 증거 이전 성향을 유발할 수 있으나, 기존 평가 프레임워크(framework)는 이러한 사전 지식-컨텍스트 불일치를 특성화하거나 검증기가 파라메트릭 신호와 컨텍스트 신호 사이에서 어떻게 중재하는지 측정하지 못합니다. 우리는 LLM 검증기를 증거 이전 사전 지식(prior)의 정확성과 신뢰도에 따라 4가지 인식 상태(epistemic states)로 분류하고, 이 새로운 벤치마크(benchmark)에서 중재 행동을 평가하는 진단용 테스트베드(testbed)인 PAVE(Prior-Aware Verifier Evaluation)를 소개합니다. 즉, 오도하는 증거 하에서 올바른 사전 지식을 유지하는지, 그리고 정확한 증거가 제공될 때 잘못된 사전 지식을 수정하는지를 평가합니다. 7개의 LLM에 대한 실험 결과, 사전 지식-컨텍스트 중재가 신뢰할 수 없으며 모델에 크게 의존적인 것으로 나타나, 실제 RAG 기반 사실 검증 애플리케이션에서 검증기 선택의 중요성을 강조합니다. 이러한 발견을 바탕으로, 우리는 기본 모델(model)을 수정하지 않고 사실적 신뢰성을 향상시키는 가벼운 JSD 기반 테스트 타임(test-time) 중재 방법을 제안하며, 이는 다양한 LLM 계열에서 경쟁력 있는 성능을 달성합니다.
언어 모델은 검증 가능한 보상을 활용하여 다양한 추론 작업에서 성능을 향상시킬 수 있습니다. 그러나 이를 위한 파라메트릭(예: RLVR) 및 비파라메트릭(예: 프롬프트 최적화) 접근 방식은 일반적으로 수백 개의 학습 샘플과 수천 개의 모델 롤아웃을 필요로 하여, 최상의 경우에도 비용이 많이 들고 최악의 경우에는 처리 불가능한 문제를 야기합니다. 이러한 문제를 해결하기 위해 우리는 대조적 성찰(Contrastive Reflection, CORE)을 소개합니다. CORE는 과거의 추론 추적을 비교하여 통찰을 생성하는 비파라메트릭 학습 알고리즘입니다. 여기서 통찰이란 성공적인 문제 해결 시도와 실패한 시도 간의 차이를 포착하는 추론 전략과 제약 조건에 대한 짧은 자연어 설명을 의미합니다. 네 가지 추론 작업에 걸쳐, CORE는 더 적은 롤아웃을 사용하면서도 파라메트릭(GRPO) 및 비파라메트릭(GEPA, 에피소드 RAG, MemRL) 방법보다 더 빠른 향상을 이끌어낸다는 것을 입증합니다. 단 5개의 학습 샘플만으로 고정된 롤아웃 예산 하에서도 CORE는 대부분의 작업-데이터 상황에서 최고의 성능을 달성합니다. 마지막으로, CORE가 비파라메트릭 기준선보다 컨텍스트 효율성이 훨씬 높으며, 학습된 지식을 압축적이고 해석 가능한 자연어 통찰로 저장하면서 더 적은 프롬프트 토큰을 요구한다는 점을 강조합니다. 따라서 우리의 결과는 성공적인 추론 추적과 실패한 추론 추적 간의 대비를 추상적이고 유용한 통찰로 증류하는 것이 가중치 업데이트, 프롬프트 최적화 또는 저장된 추론 추적의 직접 재사용보다 모델 자기 향상을 위한 더 효율적이고 해석 가능한 경로가 될 수 있음을 시사합니다.
제한된 학습 데이터로 파운데이션 모델(Foundation Models)을 새로운 도메인에 적응시키는 것은 어렵고 계산 비용이 많이 듭니다. 기존 연구에서는 도메인 특화 예시를 인컨텍스트 시연(in-context demonstrations)으로 사용하는 효과를 입증했지만, 예시를 순수 텍스트로 표현하는 것이 가장 효율적이고 효과적이며 안정적인 접근 방식인지에 대해 조사합니다. 우리는 대안을 탐구합니다: 예시 순서에 독립적인 모델 아키텍처를 사용하여 예시를 소프트 프롬프트로 표현하는 것입니다. 이를 위해 Multi-Head Attention Retrieval-Augmented Generation (MHA-RAG)를 소개합니다. 이 프레임워크는 어텐션(attention) 헤드의 수가 다양한 작업에 걸쳐 소프트 프롬프트 생성을 제어하는 간단한 하이퍼파라미터 역할을 합니다. 다양한 질의응답 벤치마크와 모델 규모에서 MHA-RAG는 표준 RAG 대비 20점의 성능 향상을 달성했으며, 추론(inference) 비용을 10배 GFLOPs 줄여 더 높은 정확도와 효율성을 모두 제공하고 예시 순서에 독립적인 결과를 보여줍니다.