PyTorchKR Papers

최신 논문

총 2,138편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14277v1cs.CL

멀티헤드 잠재 제어: LLM 에이전트 의사결정을 위한 통합 인터페이스

Multi-Head Latent Control: A Unified Interface for LLM Agent Decision Making

대규모 언어 모델(LLM)은 점점 더 에이전트로 배치되고 있지만, 신뢰할 수 있는 에이전트적 행동은 다음 토큰 예측 이상을 요구한다. 추론 시점에 에이전트는 현재 추론을 계속할지, 더 강한 모델에 위임할지, 추가 정보를 요청할지, 외부 도구를 호출할지, 주어진 설정 하에서 기권할지 결정할 수 있어야 한다. 기존 접근법은 프롬프트 수준 라우팅, 외부 오케스트레이션, 또는 과제별 미세조정을 통해 이러한 결정을 처리하며, 주로 입력 측 신호에 의존하고, 모델 백본이 진화함에 따라 유지 비용이 크고 어려운 경우가 많다. 우리는 이러한 제어 결정을 모델의 잠재 생성 과정에서 직접 추론할 수 있는지 묻는다. 우리는 Multi-Head Latent Control을 도입한다. 이는 고정된 LLM 또는 VLM의 은닉 상태(hidden-state) 궤적을 읽어 배치 시점 제어 신호를 생성하는 경량 층이다. Capability Head는 현재 모델이 해당 인스턴스를 해결할 수 있는지, 더 강한 협력자에게 위임해야 하는지 예측하고, Resolution Head는 적절한 해결 결정—Clarification, Tool Use, Abstention, Direct Answering—을 예측한다. 두 헤드는 모두 동일한 고정 LLM 백본의 잠재 trace만으로 학습되며, 모델을 수정하지 않고 사후 적응(post hoc adaptation)을 가능하게 한다. 언어 및 비전-언어(vision-language) 설정 전반에 걸쳐 Multi-Head Latent Control은 다중 모델 시스템의 품질-비용 tradeoff를 일관되게 개선하며, 부분 생성에서의 조기 handoff와 더 정확한 개입 결정을 가능하게 한다. 라우팅 실행(소형 + 대형 모델)에서 AndroidWorld에서는 대형 모델 사용을 최대 90.7% 줄이고, 벤치마크 평균 27–53% 줄이면서 대형 모델 성능의 대부분을 유지한다. 또한 학습된 제어 신호는 도구 사용 결정 품질을 개선하여, 상대 점수 최대 +158% 향상과 필수 도구 호출 누락 65.5% 감소를 달성한다.

arXiv:2512.18390v2cs.LG

The Challenger: 새로운 데이터 소스는 언제 머신러닝 모델 전환을 정당화하는가?

The Challenger: When Do New Data Sources Justify Switching Machine Learning Models?

조직은 새로운 데이터 소스가 이용 가능해질 때 이미 운영 중인 기존 예측 모델을 보유하고 있는 경우가 많다. 과거 학습 데이터에는 새로운 특징이 없기 때문에, 도전자(challenger) 모델은 작지만 점점 커지는 전 특징(full-feature) 데이터셋으로 학습해야 한다. 우리는 조직이 도전자 모델로 전환해야 하는지, 그리고 언제 전환해야 하는지를 연구한다. 이 결정은 통계적·경제적이다: 전 특징 데이터가 축적될수록 도전자 모델의 예측 성능은 개선되지만, 반복적인 재학습은 비용이 크고 배포로부터 얻는 이익을 지연시킨다. 우리는 학습 곡선(learning-curve) 역학과 모델 전환 경제학을 연결하는 프레임워크를 제안한다. 표준 멱법칙(power-law) 학습 곡선과 유한한 데이터 수집 기한 $T$ 하에서, 도전자 모델을 학습하고 평가하는 최적 시점은 $T^{1/(1+α)}$ 비율로 스케일링한다: 학습 곡선 형태(학습 속도 $α$를 통해)가 실험을 중단할 시점을 결정하는 주된 이론적 요인이며, 비용은 전환의 수익성을 결정한다. 학습 곡선을 알지 못하더라도 운영상 문제는 다루기 쉽다: $T^{2/3}$ 스케일에서 중단하고 신뢰할 수 있는 전환/폐기 결정을 내리는 어떤 알고리즘이든 완전 선견지명(full-foresight) 오라클 대비 $O(T^{2/3}\sqrt{\log T})$ regret을 달성함을 보인다. 우리는 국소적 학습 곡선 추세를 이용해 개선을 예측하는 순차적 평가 알고리즘을 제안하고, 실제 신용 평가(credit-scoring) 연구에서 이를 검증한다. 이러한 국소적 근사에도 불구하고, 해당 알고리즘은 이론적·실증적으로 거의 오라클에 가까운 성능을 달성한다. 또한 노이즈가 있는 초기 추정치가 조기 폐기를 유발하는 탐욕적 순차 평가 알고리즘이나, 고정된 평가 시점이 (실무에서는 알 수 없는) 이론적 타이밍 스케일과 일치할 때만 작동하는 단순 일회성 평가 알고리즘보다 더 안정적이다. 우리 프레임워크는 새로운 데이터 소스에 값비싼 수집·검증·배포가 필요할 때 원칙에 기반한 모델 거버넌스(model governance)를 향한 한 걸음을 제공한다.

arXiv:2607.14391v1cs.AI

이집트 주식 시장 장·단기 예측을 위한 머신러닝 모델 비교 분석: EGX30 중심

A Comparative Analysis of Machine Learning Models for Long and Short-Term Forecasting of the Egyptian Stock Market: A Focus on EGX30

본 연구는 중동에서 영향력 있는 금융 허브인 EGX30을 중심으로 이집트 시장의 주가 예측에 집중한다. 대부분의 연구가 글로벌 주식에 초점을 맞추는 반면, 이집트와 같은 개발도상국의 주식 추세를 이해해야 할 필요성이 점점 커지고 있다. 본 연구는 단기 및 장기 예측을 아우르며 EGX30 추세 예측을 위한 여러 머신러닝 모델을 비교한다. RMSE(평균 제곱근 오차), MAPE(평균 절대 백분율 오차), 결정계수(coefficient of determination) 등의 지표를 포함한 EGX30 과거 데이터를 사용하여 K-최근접 이웃(K-Nearest Neighbours), 랜덤 포레스트(random forest), 극단적 그래디언트 부스팅(extreme gradient boosting), 장단기 메모리(LSTM) 네트워크, 게이트 순환 유닛(GRU) 네트워크 등의 모델을 평가했다. 목표는 이집트만의 시장 역학을 고려하여 EGX30 예측에 가장 효과적인 모델을 파악하는 것이다. 이 연구의 통찰은 투자자들이 정보에 기반한 의사결정을 내리는 데 도움이 된다. 결과에 따르면, 게이트 순환 유닛(GRU)은 1주, 1개월, 2개월 예측에서 다른 모델들을 능가했으며, eXtreme Gradient Boosting(XGBoost) 모델은 1일 예측에서 다른 모델들을 능가하여 금융 시장 예측 분석에서 이들의 유용성을 보여주었다. 또한 본 연구는 특히 장기 예측에서 앙상블 기법을 사용하는 것의 중요성을 보여주었는데, 2개월 예측에서는 GRU 대비 5배에 달하는 더 나은 결과를 달성했다. 더불어 본 연구는 K-최근접 이웃(KNN)이 장기 예측에서 놀랍도록 우수한 성능을 보였음을 기록하며, 이는 핀테크(fintech) 분야에서의 지속적인 관련성과 향후 응용 가능성을 시사한다.

arXiv:2607.14386v1cs.AI

CIPHER: 데이터 사이언스 에이전트의 테스트 타임 스케일링을 위한 분리형 탐험-선택 프레임워크

CIPHER: A Decoupled Exploration-Selection Framework for Test-Time Scaling of Data Science Agents

데이터 사이언스 작업은 닫힌 형태(closed-ended)의 정보 추출부터 개방형(open-ended) 분석까지 이어지며, 자동화에 상당한 도전을 제기한다. 언어 모델 기반의 최근 AI 에이전트는 이러한 복잡한 작업을 처리하는 데 유망함을 보여준다. 그러나 기존 에이전트는 일반적으로 에이전트 전체 실행을 조건화하는 단일 초기 상태에 의존하므로, 최적이 아닌 초기 상태에서 시작되는 연쇄적 오류에 취약하다. 이를 완화하기 위해, 우리는 여러 초기 상태의 생성과 선택을 통해 동시 실행을 가능하게 하는 테스트 타임 스케일링을 활용하는 자동화 데이터 사이언스 에이전트인 CIPHER를 제안한다. 기존 AI 에이전트의 테스트 타임 스케일링 연구와 달리, CIPHER는 후보 초기 상태의 생성과 병렬 실행을 위한 전략적 선택을 명시적으로 분리한다. 두 벤치마크(닫힌 형태 및 개방형 작업)에 대한 광범위한 평가를 통해, CIPHER가 동일 모델 비교에서 최신(state-of-the-art) 성능을 넘어서며, 훨씬 더 작은 기본 LM에 의존함에도 불구하고 더 큰 모델 베이스라인과 경쟁력을 유지함을 보인다. 우리의 실증 연구는 분리형 탐험-선택(DES) 프레임워크의 설계 공간을 특성화한다: 생성 전략, 선택 전략, 집계 모델(aggregator model) 용량이 전체 성능에 어떻게 기여하는지 정량화하고, 실무자를 위한 실행 가능한 설계 권고를 도출한다.

arXiv:2607.13551v1cs.CL

BioASQ A+ 및 B 단계를 위한 비용-실용적 품질 게이팅과 선택-융합 다중 모델 결합기

Cost-Pragmatic Quality Gating and Selection-Fusion Multi-Model Combiners for BioASQ Phases A+ and B

우리는 BioASQ Task 14B 2026 시스템을 설명한다. 본 연구는 두 가지 설계 결정에 초점을 둔다: 1단계 검색(retrieval)이 약할 때 재검색(re-retrieval)을 얼마나 적극적으로 수행할 것인지, 그리고 여러 언어 모델 답변을 어떻게 결합할 것인지. 검색은 두 개의 병렬 파이프라인을 결합한다—하이브리드 1단계(dense BGE + BM25 + RRF, BioASQ-13b 역사적 아카이브에서 R@200 = 99.3% 달성)와 PubMed, Europe PMC, iCite에 걸쳐 질문을 분해하는 에이전트 주도 파이프라인—으로, BGE cross-encoder 품질 게이트가 약하게 지원되는 질문을 선별적 재검색을 위해 표시한다. Task 12B 2024 검증(validation)에서 비용-실용적 재검색 정책은 list F1과 list 정밀도(precision)에서 skill-strict 기준선(baseline)을 유의하게 능가하며, 재검색 비용은 12% 더 낮다. 프롬프트와 모델을 val 및 test 13B(서로 다른 질문 집합) 전반에 고정했을 때, BioASQ가 공개한 gold-input 풀에서 list F1이 절대 +0.132 상승하며, 이는 검색 측면에 상당한 여력(headroom)이 있음과 일치한다. Phase B 답변에서 우리는 다중 모델 앙상블(ensemble) 향상을 질문별 오라클(oracle)로 상한이 정해지는 선택(selection) 구성요소와 집계자(aggregator)가 초과할 수 있는 융합(fusion) 구성요소로 분해한다. 이 분해는 실험 전에 LLM-as-judge가 선택 지배적 지표(yes/no, multi-reference ROUGE)에서는 우수하지만, 융합 친화적 지표(factoid rank-1, list 재현율(recall))의 재현율 구성요소에서는 구조적으로 불충분함을 예측한다. Task 13B 2025에서 우리의 synonym-union resolver는 모든 head에서 list 재현율을 획득하는 반면, GPT-5.5 단독은 resolver의 더 넓은 항목 집합이 정밀도 비용을 치르기 때문에 list-F1 1위를 유지한다. Task 14B 2026 예비 리더보드에서 우리 팀은 8개(phase × 배치(batch)) 리더보드 중 3개에서 combined-exact 집계 1위, 4개의 개별 질문 유형 셀에서 승리, Phase B b3 ideal에서 1위를 차지한다.

arXiv:2606.05494v4cs.CL

추상적 텍스트 요약을 위한 다중 모델 메트릭 기반 선택 프레임워크

A Multi-Model Metric-based Selection Framework for Abstractive Text summarization

디지털 텍스트 정보의 급격한 증가로 인해 자동 텍스트 요약의 중요성이 날로 커지고 있다. 본 논문은 추상적 텍스트 요약의 견고성과 품질을 향상시키기 위해 설계된 다중 모델 요약 프레임워크를 제안한다. 단일 모델에 의존할 경우 구조와 주제가 다양한 기사에 걸쳐 요약 품질이 일관되지 않는 문제가 발생한다. 이러한 한계를 해결하기 위해 제안된 프레임워크는 파인튜닝된 여러 트랜스포머 기반 요약 모델을 통합하고 메트릭 기반 선택 메커니즘을 도입한다. 이 프레임워크에서 각 모델은 동일한 입력 기사에 대해 독립적으로 후보 요약을 생성한다. 생성된 요약들은 어휘적 유사도와 의미적 관련성을 모두 포착하는 자동 평가 메트릭을 통해 평가된다. 이 점수를 기반으로 프레임워크는 가장 높은 품질의 요약을 최종 출력으로 선택한다. 모델들은 널리 사용되는 CNN/DailyMail 뉴스 요약 데이터셋에서 파인튜닝 및 평가되었다. 실험 결과, 제안된 프레임워크는 비교된 모든 방법 중 88.63%의 점수로 가장 높은 BERTScore를 달성하였다. 또한 GPT3-D2, Falcon-7b, Mpt-7b 등 여러 대규모 언어 모델(LLM)을 능가함으로써 그 효과성과 견고성을 입증하였다. 이러한 결과는 메트릭 기반 선택 전략 내에서 여러 트랜스포머 기반 모델을 활용하는 것이 자동 텍스트 요약 시스템의 품질과 견고성을 향상시키는 데 효과적임을 보여준다.

arXiv:2607.13432v1cs.LG

국소 중복성: 합성 기억화로부터의 가소성에 대한 정보 이론적 측정

Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

가소성(plasticity) — 신경망이 새로운 과제에 적응하는 능력 — 은 지속 학습(continual learning)과 전이학습에 매우 중요하다. 유효 rank, 죽은 뉴런 비율, 가중치 norm과 같은 기존 측정치들은 이론적 근거가 부족하고 새로운 과제에서의 성능과 낮은 상관관계를 보인다. 우리는 보편적 압축 이론(universal compression theory)에서 도출된 정보 이론적 측정인 국소 중복성(local redundancy)을 제안한다. 국소 중복성은 국소 모델 군 — 그래디언트 방향을 따라 무한소(infinitesimal) 이웃에 있는 매개변수 — 의 최악의 경우 중복성(worst-case redundancy)으로 정의하며, 이것이 가소성의 원칙적인 측정임을 보인다. 국소 중복성은 정확히 계산하기 어렵지만(intractable), 합성 기억화(synthetic memorization) 과제에서의 기대 제곱 그래디언트 norm이 효율적으로 계산 가능한 하한(lower bound)을 제공함을 증명한다. 지속적 이미지 분류와 시계열 전이학습(time series transfer learning) 실험에서 국소 중복성은 기존 측정치보다 하류(downstream) 성능을 더 잘 예측하며, 검증 손실이 정체되는(plateau) 구간에서 사전학습 체크포인트 선택을 가능하게 한다.

arXiv:2607.13413v1cs.LG

통계적 이점이 비용을 정당화하는가? 구조화 데이터 분류에서 KAN과 MLP의 실증 비교

Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

본 연구는 구조화된 표 형식 데이터 분류 작업에서 Kolmogorov-Arnold Networks(KAN)와 Multi-Layer Perceptrons(MLP) 간의 실증적 벤치마크 비교를 제시한다. 함수 근사 아키텍처의 대안으로 KAN에 대한 관심이 커지고 있다는 점에 영감을 받아, 이진, 다중 클래스, 다중 레이블, 순서형 문제에 걸친 12개의 공개 데이터셋에서 즉시(out-of-the-box) 성능을 평가했다. 두 모델 모두 표준화된 전처리, 아키텍처, 고정 하이퍼파라미터 설정 하에서 학습했으며, 성능은 테스트 정확도와 F1-Score, 대응 가설 검정, 효과 크기 분석으로 평가했다. 결과는 KAN이 이진 및 다중 클래스 영역에서 통계적으로 MLP보다 우수한 성능을 보이며, 모든 데이터셋에서 유의미한 전체적 우위를 달성함을 보여준다. 그러나 관찰된 중간 효과 크기(d = -0.46)는 중요한 비용-편익 고려를 제기한다. KAN은 적응형 스플라인 기반 매핑을 통해 우수한 일반화를 제공하지만, 이 우위는 MLP 기준선 대비 매개변수 및 계산 복잡도가 상당히 더 높다는 대가를 수반한다. 이러한 결과는 KAN이 높은 정밀도가 요구되는 응용에 선호되는 선택이며, MLP는 자원이 제한된 환경에서 견고하고 효율적인 옵션으로 남아 있음을 시사한다. 향후 연구는 이러한 아키텍처 선택 기준을 더욱 정교화하기 위해 추가 데이터 모달리티로 이 분석을 확장해야 한다.

arXiv:2607.13048v1cs.LG

스트리밍 시스템에서 이벤트 트리거 LLM 호출을 위한 불확실성 인식 순차 의사결정 규칙

Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems

스트리밍 추론 파이프라인은 점점 더 경량의 빠른 모델과 풍부한 의미 이해를 제공하지만 상당한 비용이 드는 대규모 언어 모델(LLM)을 함께 사용하고 있다. LLM을 언제 호출할지에 대한 핵심 질문은 형식적인 다루어짐이 제한적이었다. 우리는 이를 위험(risk) 기반의 순차적 정지(sequential stopping) 문제로 정식화하며, 관측 이력에 대한 위험 함수(risk functional)가 임계값을 초과할 때 트리거 정책(trigger policy)이 작동한다. 이 프레임워크 내에서 우리는 여섯 가지 결과를 증명한다: 트리거 채터링(trigger chattering)을 배제하는 최소 이벤트 간 시간 하한; smooth pasting을 통한 임계값 정책의 최적성; 추정 파라미터 하에서의 근사 SPRT 보장; 정상(stationary) 스트림에 대한 O(√(T log T)) regret, C_T개 changepoint 하에서는 O(√((C_T + 1) T log T))로 확장; 적응형 임계값에 대한 온라인 경사하강법(online gradient descent)의 O(1/√T) 수렴; 그리고 calibration-to-miss-rate 전이 부등식. 이벤트 트리거, 최적 정지, SPRT, CUSUM, 베이지안 트리거를 포함한 여러 고전적 트리거 패밀리가 이 프레임워크의 특수 사례로 표현될 수 있다. 실제 LLM 호출을 사용한 터보팬 열화 데이터(CMAPSS)에서, 우리는 이론적 가정을 실증적으로 검증하고, 위험 함수 설계에 대한 ablation을 수행하며, RouteLLM 스타일 라우터와 문맥적 밴딧(contextual bandit)을 포함한 6개 baseline과 비교하고, 비용 민감도와 LLM 실패 모드를 분석한다. 결과는 모든 원칙적(principled) 트리거에 대해 alpha < 1인 sublinear regret을 확인하고; 당사 rubric 하에서 1600건 LLM 진단 중 92.9%가 그라운딩 점수(grounding score) >= 0.75에 도달하는 높은 진단 품질; 그리고 Pareto AUC에서 anomaly-score 기반 위험 함수가 대안들보다 대략 한 자릿수(order of magnitude) 우세함을 보인다.

arXiv:2607.13573v1cs.RO

IMMNet: 기동 표적 추적을 위한 모델 기반 및 데이터 기반 접근법의 하이브리드 융합

IMMNet: Hybrid Fusion of Model-based and Data-driven Approaches for Maneuvering Target Tracking

3차원 공간에서의 기동 표적 추적은 복잡한 운동 역학과 모델 불일치로 인해 여전히 어려운 문제이다. 이를 해결하기 위해 본 논문은 상호작용 다중 모델(interacting multiple model, IMM) 알고리즘의 해석 가능한 구조와 학습 가능한 신경망 구성 요소를 통합한 하이브리드 모델/데이터 기반 알고리즘 IMMNet을 제안한다. 엔드투엔드 블랙박스 방식과 달리, 제안된 IMMNet 알고리즘은 실시간 레이더 응용에 필수적인 베이지안 추론 메커니즘을 유지할 수 있을 뿐만 아니라, 데이터로부터 운동 패턴과 노이즈 특성을 적응적으로 학습할 수 있다. 광범위한 실험을 통해 제안된 IMMNet 알고리즘이 다양한 시나리오에서 기존 알고리즘을 일관되게 능가함을 보여주며, 이는 기동 표적 추적을 위한 견고하고 해석 가능하며 실용적인 해결책임을 입증한다.

arXiv:2607.13239v1cs.AI

교통 관리를 위한 비용 최적 파운데이션 모델 배포 포트폴리오

Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management

파운데이션 모델(foundation model)에는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이 포함되며, 이상 탐지, 사고 보고, 여행자 정보 제공과 같은 교통 관리 센터(TMC) 업무에 점점 더 많이 사용되고 있다. 여러 이러한 모델을 TMC 기능 전반에 배포하는 것은 포트폴리오 질문을 제기한다: 각 기능에 어떤 모델이, 어떤 배포 모드로, 그리고 어떤 공유 하드웨어 예산 하에서 제공되어야 하는가? 우리는 이를 파운데이션 모델 배포 포트폴리오(FMDP) 문제로 공식화한다. 이는 공유 GPU 용량에 대해 기능별 품질, 지연 시간, 안전성 제약을 만족하면서 총 소유 비용(TCO)을 최소화하는 혼합 정수 프로그램이다. 0-1 배낭 문제로의 환원을 통해 이 문제가 NP-난해함을 증명하고, 다항 시간 탐욕적 휴리스틱을 제안한다. 다섯 가지 TMC 기능과 19개의 후보 (모델, 모드) 쌍을 포함한 예시 사례 연구에서, FMDP는 4개 기능을 오픈소스 API로, 오픈소스 모델이 품질 하한을 충족하지 못하는 1개 기능을 폐쇄형 API로 라우팅하는 혼합 포트폴리오를 식별하여 월 $34(가장 저렴한 실행 가능한 전체 폐쇄형 API 기준선 대비 97% 절감)의 비용을 산출한다. 손익분기 분석에 따르면, 온프레미스 GPU 투자는 시간당 약 309회의 비전 쿼리 이상이거나 API 가격이 두 배로 오를 때만 합리적이 된다.

arXiv:2607.12954v1physics.ao-ph

NWP 예보 오류 하에서 PV 발전량 예측을 위한 심층 학습 모델의 견고성: 시공간적·물리적으로 해석 가능한 분석

Robustness of Deep Learning Models for PV Power Forecasting under NWP Forecast Errors: A Spatiotemporal and Physically Interpretable Analysis

AI 예측 모델의 엔지니어링 활용에는 높은 명목 정확도뿐만 아니라 불확실한 입력 하에서도 예측 가능한 동작이 필요하다. 태양광(PV) 발전량 예측에서는 수치 일기 예보(NWP) 오류가 시간적으로 상관되어 있고 상태에 의존하며 변수 간에 물리적으로 결합되어 있기 때문에 이러한 요구가 특히 어렵다. 그러나 기존 평가는 종종 완벽한 예보 가정이나 이러한 특성을 반영하지 않는 단순한 교란에 의존한다. 본 연구는 시뮬레이션 기반의 물리적으로 제약된 견고성 평가 프레임워크를 제시하며, 가상 PV 발전량을 통제된 반응 변수로 사용하여 발전소 수준의 교란 요인으로부터 입력 불확실성의 전파를 분리한다. PatchTST, GRU, N-HITS, LightGBM을 포함한 6개의 대표적인 머신러닝 및 심층 시퀀스 모델을, 맑은 날 조건에 의해 조절되는 이분산성과 복사 일관성을 보존하는 Erbs 재구성을 적용한 동적 NWP 교란 하에서 평가한다. 결과는 중간에서 높은 교란 구간에서 시퀀스 모델이 강력한 표 형식 기준선보다 더 강한 노이즈 필터링과 시간적 회복력을 제공함을 보여준다. SHapley Additive exPlanations(SHAP)와 Integrated Gradients(IG)는 사례 수준에서 특징 재할당 경향을 추가로 뒷받침하며, 이는 예측 의존성이 손상된 미래 예보에서 보다 안정적인 과거 관측과 결정론적 물리적 사전 정보로 이동함을 나타낸다. 깨끗한 조건에서의 정확도, 견고성, 연산 지연에 대한 파레토 분석은 이러한 발견을 예보 불확실성 하에서의 견고성 평가 및 모델 선택에 대한 엔지니어링적 함의로 전환한다.

arXiv:2604.16232v2cs.LG

Latent Grammar Flow를 이용한 신경-기호 상미분방정식 발견

Neuro-Symbolic ODE Discovery with Latent Grammar Flow

자연계 및 인공 시스템을 이해하는 데는 종종 미분방정식과 같은 기호적 표현에 의존하며, 이는 블랙박스 모델을 넘어 해석 가능성과 전이 가능성을 제공한다. 우리는 데이터로부터 상미분방정식(ODE)을 발견하기 위한 신경-기호 생성 프레임워크인 Latent Grammar Flow(LGF)를 제안한다. LGF는 방정식을 문법 기반 표현으로 이산 잠재 공간에 임베딩하고, 행동 손실(behavioural loss)을 통해 의미적으로 유사한 방정식이 서로 가깝게 배치되도록 한다. 그런 다음, 이산 흐름 모델이 샘플링 과정을 안내하여 관측 데이터에 가장 잘 맞는 후보 방정식을 재귀적으로 생성한다. 안정성과 같은 도메인 지식과 제약은 규칙에 내재화하거나 조건부 예측기로 사용할 수 있다.

arXiv:2604.27374v2cs.AI

지도학습 금융 NLP의 측정 리스크: JF-ICR에서의 루브릭 및 지표 민감도

Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR

대규모 언어 모델(LLM)이 실적 발표 전화회의, 투자자 관계 Q&A, 가이던스, 공시 언어를 신뢰할 수 있는 독자로 자리 잡으면서, 지도학습 금융 NLP 벤치마크는 모델 선택과 배포를 위한 의사결정 근거로 점점 더 많이 활용되고 있다. 여기에는 골드 라벨이 그러한 근거를 객관적으로 만든다는 숨은 가정이 깔려 있다. 그러나 벤치마크의 평가 기준 자체가 루브릭 문구, 지표 선택, 또는 집계 정책에 민감할 때 이 가정은 무너진다. 우리는 Japanese Financial Implicit-Commitment Recognition(JF-ICR)에서 이러한 측정 리스크를 연구한다(고정된 253개 항목 테스트 분할 × 4개 프론티어 LLM × 5개 루브릭 × 3개 temperature × 5개 서열 지표). 세 가지 결과가 뒤따른다. 첫째, 루브릭 문구는 모델이 부여한 라벨을 실질적으로 바꾼다: R2–R3 일치율은 70.0%에서 83.4%까지 범위를 보이며, 지배적인 변화는 +1/0 암묵적 커밋먼트(implicit-commitment) 경계 근처에서 나타난다. 이 패턴은 화용론적 경계 해석과 일치하지만, 현재 루브릭 변형이 의미, 예시, 장황함을 혼동하기 때문에 검증된 언어학적 인과 주장은 아니다. 둘째, JF-ICR 클래스 분포 하에서는 모든 지표가 계속해서 정보를 제공하는 것은 아니다. within-one accuracy는 근접 오답이 점수를 받고 다수 클래스가 지배하기 때문에 너무 쉽고, worst-class accuracy는 가장 희귀한 클래스에 예시가 단 2개뿐이라 너무 노이즈가 크다. 따라서 exact accuracy, macro-F1, weighted \k{appa}가 우리의 운영 규칙 하에서 식별 가능한(identifiable) 지표이다. 셋째, 순위 주장은 이러한 지표 식별 가능성 감사(audit) 이후에만 더 방어 가능해진다: Bradley–Terry, Borda, Ranked Pairs는 식별 가능한 지표 부분집합에서 일치하지만, 5개 지표 전체 스윕은 가장 근접한 쌍에서 불일치를 만든다. 본 기여는 새로운 리더보드가 아니라, 골드 라벨이 존재하지만 평가 기준은 여전히 거버넌스가 필요한 지도학습 금융 벤치마크를 위한 보고 절차(reporting discipline)이다.

arXiv:2603.24787v2cs.AI

ReLope: 다중모달 LLM 라우팅을 위한 KL 정규화 LoRA 프로브

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

라우팅은 가벼운 모델과 강력하지만 비용이 많이 드는 대형 모델을 결합하는 대규모 언어 모델(LLM) 시스템에서 성능과 비용의 균형을 맞추는 유망한 전략으로 떠오르고 있다. 최근 연구들은 은닉 상태(hidden states)를 이용해 소형 모델의 정답 여부를 예측하는 프로브 라우팅(probe routing)이 텍스트 전용 LLM에서 효과적인 해결책을 제공한다는 것을 보여준다. 그러나 우리는 이러한 프로브가 다중모달 LLM(MLLM)에 적용될 때 상당히 성능이 저하됨을 관찰한다. 경험적 분석을 통해, 시각 입력의 존재가 은닉 상태의 정답 신호 분리성을 약화시켜 표준 프로브 설계로는 추출하기 어렵게 만든다는 것을 발견한다. 이 문제에 대응하기 위해, 우리는 MLLM에서 프로브 라우팅을 개선하기 위한 두 가지 상보적인 접근법을 제안한다. 먼저, 어텐션 점수를 기반으로 이전 층의 은닉 상태를 집계하여 분산된 정답 신호를 복구하는 Attention Probe를 제안한다. 둘째, 경량 LoRA 어댑터를 삽입하고 KL 정규화(KL regularizer)를 적용하여 라우팅 인식(routing-aware) 표현을 학습하는 KL 정규화 LoRA 프로브(ReLope)를 제시한다. 종합적인 실험은 우리 방법이 일관되게 베이스라인을 능가함을 보여주며, 이는 은닉 상태의 품질 향상이 MLLM에서 효과적인 라우팅의 핵심임을 시사한다. 코드는 https://github.com/Spinozaaa/ReLope 에서 이용할 수 있다.

arXiv:2607.11399v1cs.CL

에이전틱 라우팅: 하네스 네이티브 데이터 플라이휠

Agentic Routing: The Harness-Native Data Flywheel

대규모 언어 모델(LLM) 에이전트는 단일 모델 호출이 아닌, 관찰, 컨텍스트, 제어, 액션, 상태, 검증을 관리하는 실행 하네스(execution harness)에 의해 점점 더 많이 실행되고 있다. 동시에 프론티어 모델과 오픈 모델은 구조적으로 특화되어 가고 있다: 코드 편집, 장문 컨텍스트 복구(long-context recovery), 도구 사용(tool use), 수학적 추론, 또는 저지연 응답에 강한 모델이 다른 축에서는 우위를 점하지 못할 수 있다. 이는 에이전트 내부에서의 모델 선택을 쿼리별 서빙 기법이 아닌 핵심 시스템 문제로 만든다. 기존 라우팅 방법들은 대부분 단일 턴의 비용-품질 트레이드오프를 최적화하므로, 에이전트를 채팅 완성(chat completion)과 다르게 만드는 실행 상태, 중간 실패, 피드백 루프를 놓친다. 우리는 하네스 네이티브 에이전틱 라우팅(Harness-Native agentic routing)을 제안한다. 이는 전체 하네스 상태를 조건으로, 비용 효율적인 실행을 위한 단일 최적 모델 또는 앙상블 방식의 정확도 향상을 위한 다수의 상호 보완적 모델을 선택하는 단계 수준(step-level) 라우팅 패러다임이다. 핵심 통찰은, 모든 라우팅 결정이 자연스럽게 구조화된 데이터 레코드를 생성한다는 것이다. 이 레코드는 쿼리, 하네스 상태, 모델 선택 또는 모델 집합, 실행 트레이스(execution trace), 결과, 비용으로 구성되며, 레이블은 라우터 자체가 아닌 환경에 의해 제공된다. 이 레코드들은 하네스 네이티브 데이터 플라이휠을 형성한다: 실행 트레이스는 더 나은 라우터와 하네스 네이티브 모델을 학습시키고, 이는 비용-품질 트레이드오프를 개선하며 동일한 예산 하에서 더 많은 트레이스를 생성한다. 우리는 이 아이디어를 OpenSquilla에서 4층 라우팅 스택, 오픈 LightGBM 콜드 스타트 랭커(cold-start ranker), 그리고 로깅된 아레나 레코드를 점진적으로 더 강력한 라우팅 정책으로 전환하는 단계적 라우터-모델 경로로 구현한다. 본 보고서는 DRACO와 PinchBench를 포함한 에이전틱 벤치마크에서 싱글톤(singleton) 및 멀티 모델 라우팅을 연구하고, 에이전틱 라우팅이 단순한 비용 제어가 아니라 에이전트 네이티브 학습을 위한 데이터 엔진임을 주장한다.

arXiv:2607.09908v1cs.CL

RouteRec: 추천 에이전트 선택 및 집계에 대한 엄격한 평가

RouteRec: Strict Evaluation of Recommender-Agent Selection and Aggregation

추천 시스템은 협업 필터링, 순차 모델, 콘텐츠 기반 검색기, LLM 기반 재순위화기 등 이질적인 에이전트들 중 하나를 선택해야 하는 상황에 점점 더 자주 직면하지만, 어떤 단일 에이전트도 모든 상황에서 최선이지는 않다. 우리는 이 선택 문제를 RouteRec 프레임워크를 통해 비용 제약 하에서의 태스크 인식 에이전트 순위 결정으로 연구하며, 네 개의 전통적인 추천 에이전트와 하나의 LLM 재순위화 에이전트에 대해 요청 수준 하드 선택(hard selection)과 아이템 수준 학습 기반 집계(learned aggregation)를 비교한다. MovieLens-1M에서 완전한 품질 오라클은 상당한 개선 여지를 보여(HR@10 = 0.584), 유용한 교차 에이전트 신호가 존재함을 확인한다. 그러나 누출 없는 5-폴드 아웃오브폴드 프로토콜 하에서 하드 선택은 BM25 미만(0.223 대 0.254)에 머물며, 선택적 LLM 에스컬레이션도 이를 개선하지 못한다. 동일한 프로토콜에서 학습 기반 집계는 다른 결과를 보인다: 저비용 전용 변형이 HR에서 BM25와 동등하고 더 높은 NDCG 추정치를 기록하며(0.123 대 0.114), 게이트 전체 에이전트 집계는 70.2%의 LLM 호출로 HR@10 = 0.295에 도달한다. 이로부터 얻는 교훈은 라우팅이 해결되었다는 것이 아니라, 희소한 고정 후보 설정에서 하나의 완전한 에이전트 목록을 선택하는 요청 수준 선택이 너무 거칠다는 것이며, 아이템 수준 집계가 더 유망한 행동 공간임을 의미한다.

arXiv:2607.11720v1cs.LG

능동적 오프라인-온라인 강화학습

Active Offline-to-Online Reinforcement Learning

배경: 오프라인 강화학습(RL)은 대규모의 사전 수집된 데이터셋으로부터 효과적인 정책을 학습하고, 이후 제한된 온라인 상호작용을 통해 성능을 개선할 수 있게 한다. 이러한 오프라인-온라인 강화학습(O2O-RL) 패러다임은 상호작용 비용이 높거나 잠재적으로 위험한 비정상(nonstationary) 도메인에서 특히 유망하다. 표준 O2O-RL 파이프라인은 여러 후보 정책을 오프라인으로 학습하고, 오프-정책(off-policy) 또는 온라인 평가를 통해 이를 평가한 뒤, 추정 가치가 가장 높은 정책을 배포하여 미세조정(fine-tuning)한다. 그러나 오프라인 사전학습과 마찬가지로, 미세조정 성능은 알고리즘과 하이퍼파라미터 선택에 매우 민감하여 단일 정책으로 확정하는 것은 위험을 수반한다. 목적: 본 연구는 O2O-RL 환경에서 제한된 상호작용 예산 내에 미세조정을 위한 능동적 정책 선택 문제를 다룬다. 이는 해당 문제를 다룬 최초의 연구이다. 방법: 온라인 상호작용을 정책 평가에 할당하는 것(고성능 정책 식별에 기여)과 미세조정에 할당하는 것(정책 성능 향상에 기여) 사이의 근본적인 트레이드오프를 규명하여 문제를 정식화한다. 이후 온라인 평가를 통해 획득한 관측값에 피팅된 국소 선형 성능 예측(locally linear performance forecasts)으로부터 도출된 미래 성능의 상한 신뢰 구간(upper-confidence bounds)에 기반하여 미세조정할 정책을 능동적으로 선택함으로써 이 트레이드오프를 균형 있게 조정하는 방법을 제안한다. 결과: 다양한 실험에 걸쳐 제안된 방법은 기존 O2O-RL 베이스라인을 일관되게 능가한다. 결론: 정책을 능동적으로 선택하고 미세조정하는 방식은 단일 정책으로 확정하거나 예산을 모든 정책에 균등하게 배분하는 방식보다 제한된 온라인 상호작용 예산을 더 효과적으로 활용한다. 또한 본 프레임워크는 온라인 상호작용이 비용이 높거나 위험한 실제 시스템에서의 실용적 배포를 향해 오프라인 강화학습을 진전시킨다.

arXiv:2603.20388v2math.ST

교차 검증에서 SURE까지: 조율된 정규화 추정량의 점근적 위험

From Cross-Validation to SURE: Asymptotic Risk of Tuned Regularized Estimators

우리는 $n$-폴드 교차 검증(CV)으로 조율된 정규화 경험적 위험 최소화(ERM) 추정량의 점근적 위험 함수를 도출한다. 이러한 추정량의 표본 외 예측 손실은 분포적으로, Stein의 비편향 위험 추정(SURE)으로 조율된 정규 평균 모델의 수축 추정량의 제곱 오차 손실(위험 함수)에 수렴한다. 이 위험 함수는 학습 이론에서 흔히 사용되는 최악의 경우 후회에 대한 균등 상한보다 예측 성능을 더 세밀하게 보여준다: 즉, 위험이 실제 매개변수에 따라 어떻게 달라지는지를 정량화한다. 핵심 중간 단계로서, 우리는 (i) $n$-폴드 CV가 SURE로 균등 수렴하며, (ii) SURE는 일반적으로 다수의 지역 최솟값을 가지지만 그 전역 최솟값은 일반적으로 충분히 분리되어 있음을 보인다. 이 충분한 분리성은 CV의 SURE로의 균등 수렴이 CV에 의해 선택된 조율 매개변수의 SURE에 의해 선택된 매개변수로의 수렴으로 이어짐을 보장한다.

arXiv:2607.09015v1cs.LG

LLM 라우팅을 위한 대리 보상 기반 상관관계 인식 문맥적 밴딧

Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing

우리는 기계 학습 모델이 생성하는 대리 보상(surrogate reward) 신호에 접근 가능하고 상관된 암(arm)을 갖는 문맥적 밴딧(contextual bandit) 문제를 연구하며, 대규모 언어 모델(LLM) 라우팅과 같은 응용에서 동기를 얻었다. 밴딧 피드백에만 의존하고 암 간 조건부 독립성을 가정하는 고전적 문맥적 밴딧과 달리, 우리의 설정은 문맥 의존적인 암 간 상관관계와 잡음이 있거나 잘못 명세될 수 있는 보조 보상 정보를 허용한다. 우리는 두 가지 상보적 설계를 통해 이러한 대리 보상을 활용하는 알고리즘을 제안한다. 결합 보상 혼합(coupled reward-mixing) 방식은 대리 신호가 신뢰할 수 있을 때 학습을 가속화하기 위해 실제 보상과 대리 보상을 통합하며, 분리 예측 혼합(decoupled prediction-mixing) 방식은 밴딧 피드백과 대리 보상에 대한 별도의 추정기를 유지하고 그 예측을 적응적으로 결합한다. 이러한 분리는 대리 보상의 잘못된 명세에 대한 견고성을 제공하여 최악의 경우 보상만 사용하는 밴딧 방법에 필적하는 후회(regret) 보장을 회복하면서, 대리 예측이 충분히 유익한 경우 개선된 후회를 달성한다. 우리는 두 방식에 대한 이론적 후회 분석을 제공하고, 다양한 정확도 대 비용 트레이드오프 하에서 LLM 라우팅 벤치마크를 대상으로 평가한다. 결과는 표준 문맥적 밴딧 기준선 및 강력한 정적 라우팅 방법과 비교하여 향상된 샘플 효율성과 일관되게 더 나은 정확도-비용 트레이드오프를 보여준다.