추론은 추론(inference), 문제 해결, 의사결정의 기반이 되는 근본적인 인지 과정이다. 대규모 언어 모델(LLM)은 폐쇄 세계(closed-world) 설정에서 강한 추론 능력을 보이지만, 개방형·동적 환경에서는 어려움을 겪는다. 에이전트적 추론(agentic reasoning)은 LLM을 지속적 상호작용을 통해 계획하고 행동하며 학습하는 자율 에이전트로 재구성함으로써 패러다임 전환을 이룬다. 본 서베이에서는 에이전트적 추론을 세 가지 상보적 차원으로 정리한다. 먼저 환경 역학을 세 층으로 특성화한다: 핵심 단일 에이전트 능력(계획, 도구 사용, 안정 환경에서의 검색)을 확립하는 기초적 에이전트적 추론; 피드백·기억·적응을 통해 이러한 능력을 정교화하는 방법을 다루는 자기 진화형 에이전트적 추론; 조율, 지식 공유, 공유 목표를 포함하는 협업 설정으로 지능을 확장하는 집합적 다중 에이전트 추론. 이들 층 전반에서, 구조화된 오케스트레이션을 통해 테스트 시점 상호작용을 확장하는 문맥 내 추론(in-context reasoning)과, 강화학습 및 지도 미세조정을 통해 행동을 최적화하는 사후 학습 추론을 구분한다. 과학, 로보틱스, 의료, 자율 연구, 수학 등 실제 응용과 벤치마크에 걸친 대표적인 에이전트적 추론 프레임워크도 검토한다. 본 서베이는 에이전트적 추론 방법을 사고와 행동을 잇는 통합 로드맵으로 종합하고, 개인화, 장기 지평 상호작용, 세계 모델링(world modeling), 확장 가능한 다중 에이전트 학습, 실세계 배포를 위한 거버넌스 등 열린 과제와 향후 방향을 개괄한다.
체화 AI(Embodied AI) 시스템은 종종 System 1과 System 2로 구성된다. System 1은 일반적으로 높은 빈도로 동작을 생성하는 사전학습된 정책이며, System 2는 고수준 계획을 위해 시각 기능이 갖춰진 언어 모델로 구현되는 경우가 많다. 우리는 과제별 파인튜닝 없이 대규모 언어 모델(LLM)이 로봇 조작을 위한 정책으로 작동할 수 있는지 묻는다. 이 설정을 LLM as policy라고 부른다. 42개 RoboDojo 과제 전부에서 세 LLM을 평가하고 점수를 40개 공개 정책과 비교한다. Astra와 GPT-5.5는 공식 과제당 50 에피소드 프로토콜을 사용하고, DeepSeek-Flash는 과제당 10 에피소드를 사용한다. GPT-6 Astra는 2,100회 시행에서 평균 성공률 22.48%와 Score 28.97을 달성하여 모든 공개 항목보다 높은 순위를 기록한다. 그러나 동일한 후처리를 적용하면 GPT-5.5와 DeepSeek-Flash는 각각 평균 성공률 0.88%와 1.92%에 그친다. Astra는 뚜렷이 양극화된 역량 프로필을 보인다. 의미론적 이해는 필요하지만 고정밀 제어는 필요하지 않은 과제에는 잘 일반화한다. 반면 정밀도, 동적 제어, 복잡한 양손 협조가 필요한 과제에서는 성능이 낮다. 문맥 내 학습(ICL) 실험에서는 원샷(one-shot) 시연으로부터 집계 수준의 이득이 없었고, 선별된 상호작용 trace는 교란(perturbation) 하에서 에피소드 내 수정을 보여준다. 전반적으로 평가된 LLM들은 조작 성능에서 크게 다르다. Astra는 두드러지며 범용 조작 모델의 잠재력에 대한 초기 증거를 제공하지만, 평가된 설정에서는 신뢰할 수 있는 정밀도와 동적 제어가 여전히 한계로 남는다.
체화된 월드 모델(Embodied World Model)은 시각적 관측과 제어 신호로부터 미래의 물리적 동역학을 예측하도록 학습하며, 이때 물리적 지식은 잠재 표현(latent representation) 내에 암묵적으로 얽혀 있다. 본 논문에서는 미래 비디오 예측 이전에 명시적인 인과적 사고의 연쇄(Causal Chain-of-Thought) 추론을 수행하는 160억 파라미터(16B) 규모의 체화된 월드 모델인 CausalWM을 소개한다. CausalWM은 유용한 변수들을 하나의 추론 궤적(reasoning trajectory)으로 구성하여, 모델이 물리적 진화의 근저에 있는 인과적 의존성을 점진적으로 포착할 수 있도록 한다. CausalWM을 학습시키기 위해 3만 1천 시간(31K hours) 분량의 체화된 데이터를 수집하였으며, 대규모 비디오 사전학습, 인과적 CoT 중간 학습(mid-training), 다중 목적 강화학습(RL) 사후 학습으로 구성된 3단계 패러다임을 개발하였다. 제한된 수의 지도(supervised) CoT 변수만을 사용했음에도 불구하고, CausalWM은 창발적인 문맥 내 학습(in-context learning) 능력을 보여주며, 이를 통해 문맥적 시각 특징 유도와 효율적인 소수 스텝(few-step) 생성이 가능하다. CausalWM은 언어 조건화(language-conditioned), 행동 조건화(action-conditioned), 단일 시점(single-view) 및 다중 시점(multi-view) 벤치마크 전반에서 최첨단(state-of-the-art) 성능을 달성했으며, TriWorldBench 리더보드에서 1위(Top-1) 성능을 기록했다.
대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.
대규모 언어 모델(LLM) 정렬은 일반적으로 지도 미세조정 또는 강화학습을 통해 이루어지며, 둘 다 레이블 또는 선호도 데이터를 필요로 하고 모델 가중치를 갱신한다. 그러나 목표적인 문화 적응 없이는, 배포된 LLM이 다양한 지역 가치를 반영하지 못하는 문화적으로 동질적인 행동을 보이는 경우가 많다. Hofstede의 가치 설문 모듈(VSM13)과 같은 문화 가치 프레임워크에 모델을 정렬하는 것은 별도의 과제를 제시한다. 정렬 신호는 전체 설문에 대한 응답을 생성한 뒤에만 계산되는 집계된 설문 수준 점수로만 제공되며, 토큰별 그래디언트를 제공하지 않고 구조상 선호도 데이터를 요구하지 않는다. 이로 인해 표준 그래디언트 기반 정렬 방법은 이 과제에 부적합하다. 우리는 배포에 친화적인 접근법을 제안한다. 문화적 행동을 짧고 조정 가능한 소프트 프롬프트에 인코딩하고, 미분 진화(Differential Evolution, DE)로 최적화하며, 모델 가중치는 고정한 채 선호도 데이터를 요구하지 않는다. 추론 시 시스템은 적절한 문화별 프롬프트를 삽입하여 서로 다른 문화에 맞게 모델 응답을 적응시킨다. 4개국과 4개의 인스트럭션 튜닝 모델에 걸친 실험은 DE로 최적화된 프롬프트가 일반적으로 VSM13 참조 프로필과의 불일치를 줄이고, 최적화 중에 보지 못한 독립 프레임워크인 세계 가치 설문(World Values Survey, WVS)과의 순위 일치를 개선하며, 3개의 LLM 심사자에 걸친 다수결 투표를 사용한 맹검 쌍별 평가에서 선호된다는 것을 보여준다.
퓨샷(few-shot) 학습을 수행하기 위해 언어 모델(model)은 몇 개의 입력-라벨 쌍에서 신호를 추출하고, 이를 학습된 예측 규칙으로 취합한 뒤, 새로운 입력에 이 규칙을 적용합니다. 이러한 과정은 현대 트랜스포머(transformer) 모델의 순전파(forward pass)에서 어떻게 구현될까요? 이 질문을 탐구하기 위해, 우리는 입력에 정수 $k$를 더하는 것이 참인 예측 규칙인 구조화된 퓨샷 학습 태스크 패밀리를 연구합니다. 우리는 모델의 퓨샷 학습 능력을 단 몇 개의 어텐션(attention) 헤드로 국소화하는 새로운 방법을 소개합니다. 이 방법과 연구 결과는 산술 및 의미론적 태스크에 걸친 네 가지 추가 태스크 패밀리로 일반화됩니다. 그런 다음 차원 축소와 헤드 출력 공간의 분해를 통해 개별 헤드에 대한 심층 분석을 수행합니다. 예를 들어 Llama-3-8B-Instruct에서 우리는 이러한 태스크의 기저 메커니즘을 6차원 부분공간을 가진 단 3개의 어텐션 헤드로 축약하며, 여기서 4개 차원은 주기 $2$, $5$, $10$을 갖는 삼각함수를 사용하여 일의 자리 숫자를 추적하고, 2개 차원은 저주파 성분을 사용하여 크기를 추적합니다. 이 메커니즘에 대한 이해를 심화하기 위해, 우리는 어텐션 헤드의 ''취합자(aggregator)'' 및 ''추출자(extractor)'' 부분공간을 연결하는 수학적 항등식을 유도하여 개별 예시에서 최종 취합된 개념으로 이어지는 정보의 흐름을 추적할 수 있도록 합니다. 우리의 결과는 순전파 전반에 걸쳐 국소화된 헤드의 저차원 부분공간을 추적하는 것이 언어 모델의 세밀한 계산 구조에 대한 통찰을 어떻게 제공할 수 있는지를 보여줍니다. 우리의 코드는 https://github.com/xyVickyHu/addition-subspaces 에서 확인할 수 있습니다.
Hidden-Shot은 저수준 비전(low-level vision) 제너럴리스트 모델이 학습하지 않은 새로운 태스크에 원샷(one-shot)으로 일반화할 수 있도록, 암묵적 시각 특징과 언어 기반 글로벌 프롬프트를 결합한 경량 프롬프트 주입 프레임워크를 제안한다. 체계적인 평가를 위해 3C4U/3C7U 프레임워크를 도입하고, 7개 및 10개 데이터셋 실험에서 기존 최고 성능 제너럴리스트 모델을 능가하면서도 기학습 태스크 성능을 유지함을 입증했다.
현재 비전-언어 모델(VLM)의 다국어 평가는 언어와 표기법 사이의 일대일 매핑을 가정하여, 수십억 명의 다중 문자 언어 사용자를 간과하고 있습니다. 우리는 펀자브어의 세 가지 활성 문자인 구르무키(Gurmukhi), 샤무키(Shahmukhi), 로마자(Roman)에 걸쳐 1,000개의 엄격하게 병렬된 이미지-텍스트 인스턴스로 구성된 벤치마크인 PuMVR(Punjabi Multimodal Visual Reasoning)를 소개합니다. 최첨단 VLM 10개를 평가한 결과, 상당하고 체계적인 문자 격차(Script Gap)가 드러났습니다. 모델은 한 문자 체계에서는 시각적 작업을 자주 해결하면서도 동일한 작업을 다른 문자 체계에서는 실패하며, 정확도 차이는 16%에 달합니다. 중요한 점은 시각적 입력이 절대 성능을 균일하게 향상시키지만 표기법 격차를 해소하지는 못한다는 것입니다. 또한, 문자 간 문맥 내 학습(in-context) 전이는 매우 취약하여, 문자에 종속된 지식 표현을 드러냅니다. 모든 문자 쌍에 대한 맥네마 검정(McNemar test)으로 뒷받침되는 우리의 연구 결과는 현재의 "다국어" VLM이 진정한 다중 문자 모델이 아님을 보여줍니다. 우리는 벤치마크에서 최대 24.8%까지 떨어지는 문자 일관성율(SCR)을 제안하며, 이를 공정한 AI 접근을 보장하기 위한 문자 독립적 평가의 필수 지표로 삼아야 한다고 제안합니다. 데이터와 코드는 다음에서 확인할 수 있습니다: https://github.com/prabhjotschugh/Not-Truly-Multilingual-PuMVR.
대규모 언어 모델(LLM)은 일반 인공지능(AGI)을 향한 가장 유망한 연구 흐름 중 하나로서 새로운 기술적 혁명을 이끌고 있습니다. 파라미터 수와 학습(training) 데이터셋 규모를 늘려 달성한 이러한 모델들의 스케일링(scaling)은 이전에는 관찰되지 않았던 다양한 이른바 창발적(emergent) 능력과 연관되어 왔습니다. 고도화된 추론 및 문맥 내 학습(ICL)부터 코딩과 문제 해결에 이르는 이러한 창발적 능력은 치열한 과학적 논쟁을 촉발했습니다. 이러한 능력은 진정으로 창발적인 것인가, 아니면 단순히 학습 역학, 문제 유형 또는 선택된 평가 지표와 같은 외부 요인에 의존하는 것인가? 이를 유발하는 근본적인 메커니즘은 무엇인가? 혁신적인 잠재력에도 불구하고 창발적 능력은 여전히 제대로 이해되지 않고 있으며, 그 정의, 본질, 예측 가능성 및 영향에 대한 오해를 낳고 있습니다. 본 연구에서는 이 현상에 대한 포괄적인 검토를 수행하여 과학적 토대와 현실 세계의 결과를 모두 다룸으로써 창발적 능력을 조명합니다. 먼저 기존 정의들을 비판적으로 분석하여 창발적 능력을 개념화하는 과정의 불일치를 드러냅니다. 그런 다음 스케일링 법칙, 태스크 복잡도, 사전학습(pre-training) 손실(loss), 양자화(quantization), 프롬프트 전략의 역할을 평가하며 이러한 능력이 나타나는 조건을 탐구합니다. 우리의 검토는 전통적인 LLM을 넘어, 강화학습(reinforcement learning)과 추론(inference) 시점 탐색을 활용하여 추론과 자기 성찰을 증폭시키는 대규모 추론 모델(LRM)까지 확장됩니다. 그러나 창발성이 본질적으로 긍정적인 것만은 아닙니다. AI 시스템이 자율적 추론 역량을 갖추게 됨에 따라 기만, 조작, 보상(reward) 해킹을 포함한 유해한 행동도 함께 발현됩니다. 우리는 더 나은 평가 프레임워크와 규제 감독의 필요성을 강조하며, 안전성(safety)과 거버넌스에 대해 커지는 우려를 부각합니다.
While in-context learning is generally shown to be effective in Large Language Models (LLMs), bad contexts can cause performance degradation and mode collapse, a phenomenon we call "pigeonholing." **Unintentionally bad** contexts can happen without malicious jailbreaking intents: For example, a user asks the model to justify an incorrect math theorem or fails to correct the model's buggy code. Specifically, we investigate ``pigeonholing" in two scenarios: (1) when the user suggests a solution, and (2) when the conversation context includes the assistant's previous (incorrect) responses. Our experiments across 10 verifiable and open-ended tasks with 10 different models show that pigeonholing manifests in several ways: (1) repeating the incorrect answers from context (leading to 38-40% performance drop), (2) converging on a narrow set of answers in coding and text generation without exploring alternatives, and (3) flipping stance on controversial topics to align with the user or the assistant's previous claims. We find that pigeonholing worsens almost monotonically with the number of conversation turns (performance drops by additional 14+% as repeated mistakes increase from 1 to 5), and pigeonholing-induced mode collapse can happen even when the provided example is correct. As a step toward mitigation, we propose RLVR with synthetic errors which improves models by 43-60% under bad contexts compared to vanilla RLVR baselines.
시공간 데이터 마이닝은 다양한 분야에서 정보에 기반한 의사결정에 핵심적인 역할을 한다. 그러나 기존 모델은 종종 좁은 과제에 국한되어, 다중 과제 추론과 심층적·설명적 출력 생성을 요구하는 복잡한 장문 추론 능력이 부족하다. 이러한 한계는 실세계의 다면적 의사결정 시나리오에 대한 적용 가능성을 제한한다. 본 연구에서는 시공간 모델의 분석 능력과 대규모 언어 모델(LLM)의 추론 강점을 결합하여 다중 과제 추론 및 실행을 수행하는 새로운 프레임워크 STReason을 제안한다. 과제별 미세조정 없이 STReason은 문맥 내 학습(ICL)을 활용해 복잡한 자연어 질의를 모듈화되고 해석 가능한 프로그램으로 분해한 뒤, 이를 체계적으로 실행하여 수치적 해와 상세한 추론 근거를 함께 생성한다. 모든 설명을 검증된 계산 출력에 그라운딩함으로써 STReason은 프롬프트만으로 LLM을 직접 사용할 때 흔한 사실적 환각을 본질적으로 억제한다. 엄밀한 평가를 위해 새로운 벤치마크 데이터셋을 구축하고, 장문 시공간 추론에 특화된 지표를 갖춘 통합 평가 프레임워크를 제안한다. 실험 결과 STReason은 모든 추론 지표에서 고급 LLM 기준선을 크게 능가하며, 특히 복잡하고 추론 집약적인 시공간 시나리오에서 두드러진다. 인간 평가는 STReason의 신뢰성과 실용적 유용성을 추가로 검증하며, 전문가 업무 부담을 줄이고 실세계 시공간 과제에의 적용 범위를 넓힐 잠재력을 보여준다.
엔트로피 탐색(Entropy Search, ES)과 같은 정보 이론적 획득 함수는 베이지안 최적화(Bayesian optimization, BO)를 위한 원칙적인 탐험-활용 프레임워크를 제공한다. 그러나 실제 구현은 복잡하고 느린 근사, 즉 정보 이득의 몬테카를로 추정에 의존한다. 이러한 복잡성은 수치 오차를 유발할 수 있으며 특수하게 수작업으로 제작된 구현을 필요로 한다. 우리는 Prior-data Fitted Networks(PFN)를 사용하여 단일 순전파(forward pass)만으로 엔트로피 탐색 기반 획득 함수를 근사하도록 학습하는 2단계 상환(amortization) 전략을 제안한다. 첫 번째 PFN은 최적점에 대한 정보를 조건으로 하도록 학습되며, 두 번째로 $α$-PFN은 첫 번째 PFN으로 측정한 정보 이득에 대해 학습함으로써 기대 정보 이득을 예측하도록 학습된다. $α$-PFN은 유연한 학습 기반 근사를 제공하여 복잡한 휴리스틱 근사를 후보당 단일 순전파로 대체함으로써, 빠르고 확장 가능한 획득 함수 평가를 가능하게 한다. 실험적으로, 우리의 접근법은 합성 및 실제 벤치마크에서 최신 엔트로피 탐색 구현과 대등한 성능을 보이면서도, 모든 실험에 걸쳐 다양한 엔트로피 탐색 변형을 가속하여 50배 이상의 속도 향상을 달성한다. 소스 코드: https://github.com/automl/AlphaPFN.
대규모 언어 모델(LLM)은 고위험 도메인에서 점점 더 많이 배포되고 있으며, 이러한 환경에서는 사고의 연쇄(chain-of-thought)나 사후 근거(post-hoc rationale)와 같은 자유 형식 텍스트 설명이 모델 출력을 정당화하는 데 사용된다. 그러나 이러한 설명들이 충분한지, 즉 모델의 출력 생성 과정을 설명하기에 충분한 정보를 담고 있는지는 여전히 불명확하다. 우리는 특징(feature) 귀속에서의 고전적 충분성 개념을 임의의 설명으로 일반화하고, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 증명하며, 이 입력 분포는 LLM 설명에 대해 명시적으로 정의되어야 함을 보인다. 우리는 LLM 자체를 활용하여 설명에 조건화된 대체 입력을 생성함으로써 가능한 입력에 대한 모델(model)의 신념을 포착할 것을 제안한다. 우리는 자유 형식 텍스트 설명의 목표로서 자기 일관적 충분성(self-consistent sufficiency)을 형식화하고, 사전 정의된 편향이나 지름길에 의존하지 않고 자유 형식 텍스트 설명을 평가할 수 있게 하는 정보 이론적 지표인 SCSuff를 도입한다. 실험 결과, SCSuff는 적용 가능한 경우 표적 섭동(perturbation) 테스트와 일치함을 보이며, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 입증한다. LLM의 설명은 일반적으로 불충분하며 모델 크기, 정확도 또는 출력 엔트로피와 약한 상관관계를 보임을 확인하였다. 최종 토큰(token) 은닉 상태 분석에 따르면 상위 및 하위 SCSuff 점수가 내부 표현으로부터 예측될 수 있으며, 이는 SCSuff가 충분한 LLM 설명의 탐지 및 개선을 안내할 수 있음을 시사한다. 이 논문의 코드는 https://github.com/rajesh-lab/self-consistent-sufficiency 에서 확인할 수 있다.
본 논문에서는 Bilibili에서 개발한 오픈 소형 언어 모델(SLM) 시리즈인 Index-1.9B를 소개한다. 이 시리즈는 네 가지 모델로 구성된다: Index-1.9B-Base는 2.8조 개의 주로 중국어 및 영어 토큰으로 사전학습된, 임베딩을 제외한 19억 개의 파라미터를 가진 기반 모델이며; Index-1.9B-Pure는 동일한 레시피로 학습되었으나 코퍼스에서 모든 인스트럭션 유사 데이터를 엄격히 필터링한 대조 변형 모델이며; Index-1.9B-Chat은 지도 미세조정과 직접 선호 최적화를 통해 기반 모델로부터 정렬된 모델이며; Index-1.9B-Character는 퓨샷 롤플레잉 커스터마이제이션을 위해 검색-증강 생성(RAG)으로 채팅 모델을 보강한 모델이다. 사전학습에는 Warmup-Stable-Decay 학습률 스케줄이 사용되며, 감쇠 단계에서 선별된 데이터의 비중을 대폭 높이는 방식과 함께, 높은 학습률 하에서 학습을 안정화하는 Norm-Head 출력 층을 채택한다. 시험, 추론, 수학, 코드를 포함하는 표준 벤치마크 모음에서 Index-1.9B-Base는 평균 점수 64.92를 달성하여, 자신보다 수 배 큰 오픈 모델들과 경쟁하거나 이를 능가한다. 또한 모델 깊이, 학습률 크기와 스케줄링, 학습률 감쇠와 데이터 품질 간의 상호작용, 사전학습 중 인스트럭션 데이터 포함 효과에 관한 통제 실험을 추가로 보고하며, 일정 학습률 단계 중반에 발생한 벤치마크 성능의 원인 불명 급등 현상도 기록한다. 모든 모델과 평가 코드는 https://github.com/bilibili/Index-1.9B에서 공개된다.
법률 AI의 핵심적인 약속 중 하나는 많은 재량권을 요구하지 않으면서 시간만 소모하는 변호사의 형식적이고 반복적인 작업, 즉 고된 단순 작업(drudgery)을 자동화하는 것이다. 그러나 이러한 작업에서 AI 모델이 실제로 얼마나 잘 수행하는지는 여전히 풀리지 않은 문제로 남아 있다. 본 논문은 법률 분야에서 가장 흔하고 불만이 많은 단순 작업 형태인 블루북(Bluebook) 기반 인용 서식 작성에 대한 AI 성능을 최초로 실증 분석한다. 본 논문은 네 가지 기여를 제시한다. 첫째, 2,058개의 블루북 질의로 구성된 새로운 벤치마크를 구축하고, 제로샷(zero-shot) 환경에서 프론티어 언어 모델이 완전히 규정을 준수한 법률 인용을 생성하는 비율이 평균 42.6%에 불과함을 보인다. 둘째, 5대 주요 로리뷰(law review)를 대상으로 실험을 수행하여 소위 "추론(reasoning)" 모델조차 이들 학술지의 연례 편집위원 선발 대회에 참가한 지원자들의 평균 점수에 크게 못 미친다는 점을 보인다. 셋째, 모델에 단순히 규칙을 제공하는 것만으로는 미미한 개선에 그침을 보여주며, 검색-증강 생성(RAG)만으로 규칙 준수를 보장할 수 있는지에 대한 의문을 제기한다. 마지막으로, 준수율을 유의미하게 향상시키는 접근법을 개발한다. 이는 먼저 모델을 사용하여 자연어를 구조화된 인용 요소로 파싱한 후 결정론적 규칙 실행 엔진에 서식 지정을 위임하는 뉴로-심볼릭(neuro-symbolic) 시스템이다. 이 접근법은 본 벤치마크에서 평균 정확도를 32.4%p 향상시키고 최대 85.5%의 전체 정확도를 달성한다. 이러한 결과는 법률 AI의 방향 전환 필요성을 시사한다. 고된 단순 작업을 자동화하겠다는 본래의 약속은 최첨단 프론티어 언어 모델 단독으로는 여전히 도달하기 어렵지만, 이를 심볼릭 규칙 엔진과 결합하는 것이 실현 가능한 해결책을 제공할 수 있다.
장기 수평 언어 에이전트는 제한된 컨텍스트 윈도우 내에서 도구와 반복적으로 상호작용하고, 증거를 축적하며, 의사결정을 내려야 한다. 컨텍스트 관리 방법은 삭제, 폴딩, 또는 메모리 편집을 통해 과거 상호작용을 단순화함으로써 이러한 롤아웃을 실현 가능하게 만든다. 그러나 유용한 이력이 압축된 상태로 축소되면, 재구성된 컨텍스트는 어떤 이전 관찰이 성공적인 최종 답변을 뒷받침하는지 더 이상 드러내지 못할 수 있다. 이는 제한된 컨텍스트 기반 행동과 결과 기반 강화학습 사이의 불일치를 야기한다: 정책은 재구성된 컨텍스트에서 행동하지만, 학습자는 중요했던 증거에 크레딧을 할당하기 위한 소스 수준의 출처 정보를 갖지 못한다. 우리는 에이전틱 강화학습에서 추적 가능한 컨텍스트 재구성을 위한 선택적 턴 메모리 프레임워크인 ECHO를 제안한다. ECHO는 완료된 각 환경 턴을 소스 인덱싱된 메모리 레코드로 압축하고, 유용한 레코드를 선택하여 제한된 정책 컨텍스트를 재구성하며, 선택된 소스 인덱스를 재사용하여 긍정적 결과 크레딧을 최종 궤적 세그먼트, 재사용된 증거 턴, 메모리 발견 사항, 그리고 메모리 선택 행동에 라우팅한다. BrowseComp-Plus에서 ECHO는 43.4%의 held-out 정확도를 달성하여, GRPO의 28.9% 및 롤링 요약 기준선인 SUPO의 36.1%를 능가하면서 SUPO보다 적은 턴과 낮은 궤적 볼륨을 사용한다. 학습된 정책은 또한 밀집형(dense) 및 전문가 혼합(MoE) 백본 모두에서 다목적 QA, 코드 생성, 심층 정보 탐색 벤치마크에 걸쳐 제로샷 일반화를 향상시킨다.
Deep learning has outgrown any single mathematical explanation. From Approximation to Emergence develops a unified, proof-oriented account of modern deep learning theory, tracing a path from the classical foundations of approximation, optimization, and generalization to the contemporary mechanisms of overparameterization, robustness, generative modeling, transformers, in-context learning, scaling laws, interpretability, alignment, and emergence. Rather than presenting isolated results, the book organizes a broad literature into a coherent research narrative: each theory is examined through the object it controls, the assumptions that make it valid, and the phenomena it leaves unexplained. Written for researchers, graduate students, and mathematically trained practitioners, this monograph offers a rigorous map of deep learning theory as it stands today: powerful, incomplete, and increasingly centered on the question of how learned mechanisms arise from scale, data, architecture, and training.
사전학습된 대규모 언어 모델(LLM)에 대한 지속적 지식 업데이트는 점점 더 필수적이지만 여전히 어려운 과제로 남아 있다. 문맥 내 학습(ICL), 검색-증강 생성(RAG)과 같은 추론 시점 방법이 널리 쓰이지만, 컨텍스트 예산, 비용, 검색 분절의 제약을 받는다. 이러한 문맥 의존적 패러다임에서 벗어나, 본 연구는 Low-Rank Adaptation(LoRA)를 모듈형 지식 메모리로 활용하는 매개변수적 접근을 조사한다. 최근 일부 연구가 이 개념을 다루고 있지만, 용량과 결합 가능성을 좌우하는 근본적 메커니즘은 대체로 탐구되지 않았다. 본 연구는 LoRA 기반 메모리의 설계 공간을 밝히는 최초의 체계적 실증 연구를 통해 이 공백을 메운다. 저장 용량 특성화, 내재화 최적화, 다중 모듈 시스템 확장, 장문맥 추론 평가를 포괄한다. 단일 아키텍처를 제안하는 대신, LoRA 메모리의 운영 경계에 대한 실용적 가이드를 제공한다. 전체적으로, 본 연구 결과는 LoRA를 RAG 및 ICL과 나란히 놓인 메모리의 보완적 축으로 자리매김하며 고유한 이점을 제공한다고 보여 준다.
대규모 언어 모델(LLM)은 표준화된 의료 면허 시험에서 초인적 성능을 달성하지만, 이러한 정적 벤치마크는 포화 상태에 이르렀으며 임상 워크플로의 기능적 요구와 점점 더 동떨어지고 있다. 이론적 역량과 검증된 실용성 사이의 격차를 해소하기 위해, 우리는 5개 차원에 걸친 임상 LLM 역량의 선행 지표를 수립하는 종합 평가 프레임워크인 MEDIC을 제안한다. 이러한 선행 지표는 정적 지식 검색과 기능적 실행 사이의 괴리와 같은 교차 벤치마크 역량 격차를 드러내며, 비용이 큰 배포 기반 평가 이전에 모델 선택에 정보를 제공한다.
표준 질의응답을 넘어, 결정적 실행 프로토콜과 참조 텍스트에 의존하지 않고 정보 충실도와 환각(hallucination)률을 정량화하는 새로운 교차 검증 프레임워크(Cross-Examination Framework, CEF)를 사용하여 운영 역량을 평가한다. 이질적인 과제 모음에 대한 우리의 평가는 중요한 성능 트레이드오프를 드러낸다. 우리는 정적 검색에 대한 숙련도가 임상 계산이나 SQL 생성과 같은 운영 과제에서의 성공을 예측하지 못하는, 상당한 지식-실행 격차(knowledge-execution gap)를 확인한다. 또한 수동적 안전성(거부)과 능동적 안전성(오류 탐지) 사이의 괴리를 관찰하며, 높은 거부율을 위해 파인튜닝(fine-tuning)된 모델이 사실 정확성을 위해 임상 문서를 신뢰성 있게 검토하는 데 종종 실패함을 보여준다. 이러한 결과는 어떤 단일 아키텍처도 모든 차원에서 우위를 차지하지 않음을 보여주며, 임상 모델 배포에 대한 포트폴리오 접근의 필요성을 강조한다. 우리는 이 연구와 함께 https://hf.co/spaces/m42-health/MEDIC-Benchmark 에서 공개적으로 이용 가능한 MEDIC 리더보드를 제공한다.
타밀어와 같은 저자원 언어에 대한 기계 번역의 과제는 주로 이러한 언어에 대한 병렬 데이터의 제한된 양, 그리고 상당한 도메인 변이와 형태론적 복잡성에 기인한다. 본 연구는 NTREX, EnTamV2, WikiMatrix, PMIndia 등 여러 데이터셋에 걸친 영어-타밀어 및 타밀어-영어 번역에서 여러 다국어 번역 모델의 성능에 대한 포괄적 평가를 제시한다. 본 연구는 BLEU 및 chrF 지표를 모두 사용하여 지도 학습 NMT 시스템인 NLLB와 mBART를 평가하고, 이러한 시스템이 서로 다른 품질 수준과 도메인의 데이터에서 어떻게 수행되는지 검토한다. 본 연구는 영어 원문과 타밀어 번역문(및 그 역방향)의 토큰 정렬을 시각화하여 번역이 어떻게 이루어지는지에 대한 통찰을 제공함으로써 모델 해석 가능성을 높이기 위해 어텐션 기반 분석을 수행한다. 본 연구는 또한 문맥 내 프롬프팅(in-context prompting)을 사용하면 타밀어에 특화된 TamilLaMA 모델을 이용한 영어-타밀어 및 타밀어-영어 퓨샷(few-shot) 번역을 수행하는 우수한 방법이 될 수 있음을 보여주며, 이를 지도 학습 접근법과 정성적으로 비교한다. 이러한 결과는 데이터셋의 품질과 도메인과의 정합성이 모델 성능에 크게 영향을 미치며, 어텐션 기반 메커니즘이 설명 가능성(explainability) 향상에 도움이 될 수 있고, 퓨샷 대규모 언어 모델이 여전히 구조적으로 일관된 타밀어 번역을 생성할 수 있음을 보여준다.