Bayesian Neural Networks (BNNs) have recently received increasing attention for their ability to provide well-calibrated posterior uncertainties. However, model selection---even choosing the number of nodes---remains an open question. Recent work has proposed the use of a horseshoe prior over node pre-activations of a Bayesian neural network, which effectively turns off nodes that do not help explain the data. In this work, we propose several modeling and inference advances that consistently improve the compactness of the model learned while maintaining predictive performance, especially in smaller-sample settings including reinforcement learning.
Practitioners in medicine, business, political science, and other fields are increasingly aware that decisions should be personalized to each patient, customer, or voter. A given treatment (e.g. a drug or advertisement) should be administered only to those who will respond most positively, and certainly not to those who will be harmed by it. Individual-level treatment effects can be estimated with tools adapted from machine learning, but different models can yield contradictory estimates. Unlike risk prediction models, however, treatment effect models cannot be easily evaluated against each other using a held-out test set because the true treatment effect itself is never directly observed. Besides outcome prediction accuracy, several metrics that can leverage held-out data to evaluate treatment effects models have been proposed, but they are not widely used. We provide a didactic framework that elucidates the relationships between the different approaches and compare them all using a variety of simulations of both randomized and observational data. Our results show that researchers estimating heterogenous treatment effects need not limit themselves to a single model-fitting algorithm. Instead of relying on a single method, multiple models fit by a diverse set of algorithms should be evaluated against each other using an objective function learned from the validation set. The model minimizing that objective should be used for estimating the individual treatment effect for future individuals.
Variable clustering is important for explanatory analysis. However, only few dedicated methods for variable clustering with the Gaussian graphical model have been proposed. Even more severe, small insignificant partial correlations due to noise can dramatically change the clustering result when evaluating for example with the Bayesian Information Criteria (BIC). In this work, we try to address this issue by proposing a Bayesian model that accounts for negligible small, but not necessarily zero, partial correlations. Based on our model, we propose to evaluate a variable clustering result using the marginal likelihood. To address the intractable calculation of the marginal likelihood, we propose two solutions: one based on a variational approximation, and another based on MCMC. Experiments on simulated data shows that the proposed method is similarly accurate as BIC in the no noise setting, but considerably more accurate when there are noisy partial correlations. Furthermore, on real data the proposed method provides clustering results that are intuitively sensible, which is not always the case when using BIC or its extensions.
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
우리는 사후 분포 근사가 특정한 하위(downstream) 의사결정 문제를 보존하도록 요구할 때 발생하는 결과를 조사한다. 목표 사후 분포 $P$와 손실은 행동(action)에 대한 리그렛(regret) 기하 구조를 결정하고, 기준선 근사 $Q_0$는 행동 변화를 유도하는 데 필요한 전방(forward) Kullback-Leibler 정보량을 결정하며, 제한된 근사 가족 $\mathcal{Q}$는 그러한 변화 중 어떤 것이 가능한지를 결정한다. 베이즈 행동(Bayes-action) 섬유(fiber)에 대해 KL 발산을 수축시키면, 의사결정 적절성(decision adequacy)과 의사결정 실패(decision failure)까지의 정확한 거리를, 결정 경계의 양쪽에 도달하는 최소 정보량의 사후 분포 변형(deformation)과 함께 얻을 수 있다. 정규(regular) 유한 차원 문제에서 목표 및 기준선 구성은 2차(quadratic) 국소 극한을 가지며, 이는 목표 리그렛 헤시안 $G$와 기준선 정보 메트릭 $J_I$이다. 이들의 일반화 고유값 문제(generalized eigenproblem) $Gv = γJ_Iv$는 단위 정보 비용당 리그렛 결과에 따라 국소 의사결정 방향들을 정렬하며, 허용 오차(tolerance)에 의존하는 유효 차원(effective dimension)을 유도한다. 제한된 근사 가족의 경우, 탄젠트 이미지(tangent image)는 의사결정 범위(decision coverage)와 정보 효율성(information efficiency)을 구분한다: 어떤 가족은 중요한 의사결정 방향을 놓칠 수 있고, 또는 도달 가능한 방향을 과도한 피셔(Fisher) 비용으로만 실현할 수도 있다. 이 프레임워크는 사후 분포 근사 가족을 비교하고 설계하기 위한 의사결정 상대적(decision-relative) 기준을 제공한다.
밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.
정확한 평가는 어떤 LLM을 배포할지 선택하는 데 핵심적이지만, 실시간 트래픽에서 후보 모델을 테스트하면 검증되지 않은 모델에 실제 사용자가 노출된다. 따라서 팀들은 이미 배포된 모델이 생성한 데이터를 바탕으로 후보 모델을 오프라인에서 평가한다. 이것이 오프-정책 평가(OPE)이며, 여기에는 두 가지 분포 변화(distribution shift)가 발생한다: 모델이 사후 학습(post-training)에서 업데이트됨에 따라 그 응답이 로그에 기록된 응답과 달라지는 정책 변화(policy shift), 그리고 비즈니스 요구사항에 따라 모델을 평가하는 보상(reward) 정의가 바뀌는 보상 변화(reward shift)이다. 고전적인 OPE 방법들은 과제(task)별로 정의되며 새로운 로그 데이터셋이나 보상 정의마다 처음부터 다시 적합(fitting)해야 하기 때문에 이러한 지속적 배포(continual-deployment) 환경에는 적합하지 않다. 이를 해결하기 위해 우리는 맥락적 밴딧(contextual-bandit) 과제들의 분포에 걸쳐 OPE를 상각(amortize)하는 사전 데이터 적합 네트워크(prior-data fitted network)인 PFN-OPE를 제안한다. 우리는 여러 보상 함수로 점수가 매겨진 LLM 응답 풀(pool)로부터 구성된 과제들에 대해 이 네트워크를 한 번 사전학습(pretrain)하며, 이 과제들에서는 두 가지 분포 변화가 모두 발생한다. 테스트 시점에는 과제별 적합 없이 단일 순전파(forward pass)만으로 로그 데이터셋과 프롬프트(prompt)당 하나의 샘플링된 타깃 응답을 값 추정치로 매핑한다. Qwen, Llama, Gemma 정책을 사용한 HelpSteer2 및 UltraFeedback에서, PFN-OPE는 보상이 변화하는(reward-shifted) 환경에서 테스트된 모든 구성에 걸쳐 최상의 베이스라인보다 2.0배에서 9.3배 낮은 오차를 달성한다.
우리는 Gymnasium의 LunarLander-v3에서 인간 시연(human demonstration) 데이터로 학습된 순환 상태공간모델(recurrent state-space model, RSSM) 월드 모델(world model)의 폐루프(closed-loop) 특성을 연구한다. 우리는 학습된 월드 모델을 제로샷(zero-shot) CEM 모델예측제어(model-predictive control, MPC)와 상상(imagination) 내 액터-크리틱(actor-critic, A2C) 학습에 사용한다. 100개의 홀드아웃(held-out) 에피소드로 평가했을 때, 선택된 모델 기반 A2C 정책(월드 모델 체크포인트 280에서 학습됨)은 평균 리턴(mean return) +189.5를 달성하여, 최고의 모델-프리(model-free) A2C 체크포인트(+183.7; 각각 600스텝 및 1000스텝 에피소드 상한)와 대등한 성능을 보이면서도 실제 학습 전이(transition)는 약 65배 더 적게 사용했다. 우리는 또한 월드 모델 MPC를 성공적인 시연 데이터로 학습된 행동 복제(behaviour-cloning, BC) 정책과 비교한다. BC 정책은 확률적(stochastic) 행동 선택 하에서만 MPC의 평균 리턴과 대등한 성능을 보이며, 동일한 20개 에피소드에서 MPC에는 없는 하나의 치명적인(catastrophic) 에피소드가 발생한다. 이어서 우리는 선형화된 잠재 동역학(latent dynamics)의 관측 가능한 부분공간(observable subspace) 내에서 보상 그래디언트(reward gradient)의 유클리드 비율(Euclidean fraction)인 보상 관찰 가능성 비율(Reward Observability Fraction, ROF)을 도입하고, 이후 H개의 관측(observation)이 이 부분공간 내의 모든 방향에 대해서는 피셔 정보(Fisher information)를 가지지만 그와 직교하는 방향에 대해서는 전혀 가지지 않음을 보인다. 그러나 ROF 자체는 잠재 변수(latent)가 어떻게 스케일링(scaling)되는지에 의존한다. 즉, 잠재 변수를 재스케일링(rescaling)하면 모델은 변하지 않지만 ROF는 변하므로, 원시(raw) 수치 수준은 모델 간에 직접 비교할 수 없다. 보상 헤드(reward head)를 사후분포로 보정된(posterior-corrected) 잠재 변수 z에 강제로 연결하면 ROF가 상승하며, 이 상승은 우리가 테스트한 두 실행(run) 쌍에 대한 좌표 불변성(coordinate-invariant) 검증을 통과한다. 마지막으로, 우리는 ROF 또는 다른 오프라인 지표(metric)가 MPC의 폐루프 붕괴(collapse)를 예측할 수 있는지를 검증한다. 붕괴는 동일한 데이터와 설정(configuration)을 가진 학습 실행들 사이에서도 서로 다르게 나타난다. ROF는 이를 예측하지 못하며, 우리가 선별(screening)한 108개의 오프라인 요약 지표(summary) 중 어느 것도 순열 검정(permutation test)을 통과하지 못했고, 가장 유력한 후보조차 새로운 실행에서는 실패한다. 모델과 로그 데이터만으로 붕괴를 오프라인에서 예측하는 문제는 여전히 미해결 과제로 남아 있다.
본 논문에서는 이산 선택 모델(discrete choice model) 명세 과정을 지원하기 위한 심층 강화학습(deep reinforcement learning) 프레임워크인 Delphos를 소개합니다. Delphos는 데이터 기반의 자동화된 모델 명세 제안을 제공하여 모델러를 지원하고, 이를 통해 효용 함수(utility function)를 개발하고 개선하는 데 필요한 노력을 줄이는 것을 목표로 합니다. Delphos는 인간 선택 모델러가 일련의 논리적 명세 결정을 통해 모델을 반복적으로 구축하는 방식에서 영감을 얻어, 모델 명세를 순차적 의사결정 문제로 개념화합니다. 이러한 환경에서 에이전트(agent)는 대안별 상수(alternative-specific constants) 추가, 일반 및 대안별 선호 파라미터 수용, 속성에 대한 비선형 변환 적용, 공변량과의 상호작용 포함 등 일련의 모델링 작업을 선택하여 후보 모델 명세를 지정하는 법을 학습합니다. 그 결과 도출된 각 후보 모델은 통계적 모델 적합도뿐만 아니라 행동적 기대를 반영할 수 있는, 모델러가 정의한 보상(reward) 함수를 사용하여 추정 및 평가됩니다. 구체적으로 Delphos는 심층 Q 네트워크(Deep Q-Network)를 활용하여 개별 명세 결정이 최종 모델의 결과적 품질에 어떻게 기여하는지, 그리고 어떤 모델링 결정 시퀀스가 우수한 성능의 후보를 도출하는 경향이 있는지를 학습합니다. 저자들은 대안적 보상 함수를 사용하여 시뮬레이션 및 실증 데이터셋 모두에서 Delphos를 평가합니다. 시뮬레이션 사례에서 학습 곡선, Q-값 패턴 및 성능 지표는 Delphos가 실행 가능한 모델링 공간의 극히 일부만을 탐색하면서도 효과적인 명세 전략을 학습함을 보여줍니다. 또한 벤치마크 및 실제 활용성을 입증하기 위해 두 개의 실증 데이터셋에 이 프레임워크를 적용합니다. 이러한 실험은 경쟁력 있고 행동적으로 타당한 모델을 생성하는 Delphos의 능력을 입증하며, 모델 명세 과정을 지원하는 이 적응형 학습 기반 프레임워크의 잠재력을 강조합니다.
음성 및 오디오 대규모 언어 모델(LLM)은 파형(waveform) 기반 예측과 자동 음성 인식(ASR) 전사본 기반 예측을 비교하여 평가됩니다. 정해진 폐쇄형 집합(closed-set) 작업의 경우, 이러한 방식은 음향적 증거와 생성 오디오 모델 호출의 필요성을 혼동하게 만듭니다. 본 연구에서는 호출 전 증거를 공유하는 매칭된 선택기(matched selector)를 통해 증분 호출 가치(incremental call value)를 추정합니다. 각 정책은 전사본 레이블을 유지하거나, 로컬 인코더를 사용하거나, 생성 모델을 호출할 수 있습니다. 매칭된 대조군은 생성 동작을 배제하되 호출 전 증거 및 개발 선택은 보존합니다. VocalSound에서 전사본만 사용한 정확도는 0.296인 반면, 지도학습된 CLAP 및 WavLM 대조군은 호출 없이도 각각 0.850과 0.854에 도달합니다. 전체 선택기는 12.5%의 호출 비율에서 0.925에 도달하며, 이는 매칭된 무호출(No-call) 선택기의 0.921과 비교됩니다(차이 0.004, 95% CI [-0.025, 0.033]). 따라서 결과는 전사본 및 인코더 증거를 사용할 수 있게 된 이후에는 호출로 인한 이득이 나타나지 않음을 보여줍니다. 유의미한 수치는 파형과 전사본 간의 격차가 아니라 호출을 허용함으로써 얻는 증분 정확도입니다.
수작업으로 설계된 인스턴스 특징 대신 사전학습(pre-training)된 텍스트 임베딩(embedding)을 활용하는 특징 없는 알고리즘 선택 접근법인 ZeroFolio를 제안합니다. 이 방법은 원시 인스턴스 파일을 일반 텍스트로 읽어 사전학습된 임베딩 모델로 임베딩한 후, 가중치 적용 k-최근접 이웃(weighted k-nearest neighbors)을 통해 알고리즘을 선택합니다. 우리의 접근법은 사전학습된 임베딩이 어떠한 도메인 지식이나 태스크별 학습(training) 없이도 문제 인스턴스를 구별할 수 있다는 관찰에 기반합니다. ZeroFolio는 텍스트 기반 인스턴스 형식을 가진 모든 문제 도메인에 적용할 수 있습니다. 7개 도메인(SAT, MaxSAT, QBF, ASP, CSP, MIP 및 그래프 문제)에 걸친 11개 ASlib 시나리오에서 접근법을 평가합니다. ZeroFolio는 11개 시나리오 중 9개에서 수작업 특징으로 학습된 랜덤 포레스트(random forest)보다 우수한 성능을 보이며, 종종 큰 폭의 성능 향상을 기록하고, 그중 8개 시나리오에서는 모든 직렬화 시드(serialization seed)에 대해 뛰어난 성능을 보입니다. 시나리오별로 튜닝된 랜덤 포레스트를 상대로도 11개 시나리오 중 8개에서 승리합니다. 2015 ICON 챌린지에서 공개된 AutoFolio 결과가 있는 3개 시나리오에서, ZeroFolio는 시나리오별 튜닝 없이도 AutoFolio와 근소한 마진 내의 성능을 달성합니다. SAT12-ALL에 대한 절제 연구(ablation study)는 역거리 가중치(inverse-distance weighting)와 라인 셔플링이 성능을 향상시킴을 보여줍니다. 나아가 직렬화 시드에 대한 접근법의 민감도를 분석합니다. 랜덤 포레스트가 더 강력한 SAT12-ALL 시나리오의 경우, 소프트 보팅(soft voting)을 통해 두 방식을 결합함으로써 추가적인 성능 향상을 얻을 수 있습니다.
고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.
복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.
적응형 다중 검증기(multi-verifier) 시스템은 검증기 카탈로그, 가용성, 정산, 정보 여과(filtration) 또는 점수 산정기가 정책에 따라 변경되더라도 일반적으로 엔드포인트 품질-비용 격차를 통해 비교됩니다. 본 연구에서는 검증기 라우팅을 계약 조건부 식별 문제로 정형화합니다. 해당 계약은 요청 지원, 검증기 카탈로그, 실현된 가용성, 자원 정산, 온라인 여과, 추적 후 점수 산정을 기록하며, 매칭된 경로 대비는 정책 좌표만을 변경합니다. ROUTEAUDIT은 이 계약에 세 가지 측정 가능한 객체를 추가합니다. 계약 격자(contract lattice)는 모든 허용 가능한 브리지 순서에 대해 좌표 증분을 평균화하고 결과 기여도와 경로 민감도를 함께 보고합니다. 정책 독립적 응답 테이프는 적응형 정책이 서로 다른 관측치를 드러낼 때 쌍체 순차 대비를 식별합니다. 불완전 매칭의 경우, 요청 수준 경계는 관측된 상태로 남아 있는 잠재적 결과를 활용하여 엄밀한 유한 모집단 구간을 제공합니다. 이 프로토콜은 오라클 조인 전에 유료 관측치와 원장 이벤트를 커밋하고 각 비교에 대한 기여도 인증서를 반환합니다. 보류된 두 개의 원시-꼬리(raw-tail) 캐시에서 매칭된 정적 SF+SA는 캐스케이드와 동일하며, 전체 정적 대비 0.1797 및 0.1250의 외견상 이득을 검증기 세트 에지에 귀속시킵니다. 1,319개의 보류된 작업 요청에 대해, 학습 기반 및 RLVR 연구는 매칭된 정적의 0.9484 대비 각각 0.9522 및 0.9553의 품질을 보고합니다. RLVR-정적 쌍체 차이는 +0.0068이며 요청 쌍체 구간은 $[0.0015, 0.0122]$, 요청별 학습 시드 계층적 구간은 $[0.0006, 0.0131]$입니다. 통제된 기여도 복원은 경로 평균 절대 오차 0.0011 및 엔드포인트 재구성 오차 0.0004를 산출합니다. 요인, 브리지 순서 및 확률적 제공자 연구를 통해 인증서 인터페이스를 평가하며, RLVR은 동일한 식별 계약 하에서 학습된 정책 스트레스 테스트를 제공합니다.
동적 대규모 언어 모델(LLM) 라우터는 각 질의를 올바르게 답변할 수 있는 가장 저렴한 모델로 보내 추론(inference) 비용을 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 8개 작업 범주를 아우르는 다양한 벤치마크를 기반으로 14개 설정에서 6개의 상용 라우터를 분석하였으며, 그 어떤 라우터도 동일한 비용 조건에서 잘 선택된 두 모델 중 하나를 무작위로 선택하는 라우터보다 우수한 성능을 내지 못함을 확인했습니다. 일부 라우터는 성능이 10%p 이상 낮았습니다. 연구진은 이러한 격차의 원인을 라우터 전반에서 만연한 네 가지 패턴, 즉 난이도 맹목성(difficulty blindness), 길이 역전(length reversal), 의미적 매칭(semantic matching), 명단(roster)의 비최적성으로 추적했습니다. 본 연구는 앞의 세 가지 패턴이 표준 목적 함수가 보상하는 바임을 보여줍니다. 즉, 실현된 비용에 기반한 비용-정확도 파레토 효율성은 가장 어려운 질의보다 적당히 어려운 질의를, 긴 질의보다 짧은 질의를 더 상위 모델로 전달(escalate)하도록 유도하며, 질의의 난이도보다는 출처에 따라 라우팅하도록 만듭니다. 또한 대규모 모델 명단을 정당화하는 두 가지 가정인 모델 세분성(granularity)과 모델 전문화(specialization)가 실증적으로 성립하지 않는다고 주장합니다. 연구진은 이러한 패턴에 보상을 주지 않는 대안 평가 방법론을 제안하고, 개념 증명(proof of concept)으로서 이 네 가지 패턴을 모두 피하는 단순한 2개 모델 라우터를 설계했습니다. 그럼에도 불구하고 잘 구성된 모델 명단에서는 라우팅할 여지가 거의 남지 않기 때문에, 무작위 라우팅 대비 성능 향상은 제한적입니다.
에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.
현대 엔터프라이즈 에이전트(agent) 배포는 다양한 역량과 비용을 지닌 대규모 언어 모델(LLM)들의 이종 풀로 구성됩니다. 기존 모델 라우팅 전략은 요청 수준의 정적 결정을 제공하면서 품질-비용 간의 절충(trade-off)을 최적화합니다. 보다 최근의 솔루션들은 직렬 검증기(verifier) 기반 라우터 피드백 루프를 갖춘 태스크 수준의 선택으로 에이전트 라우팅을 다룹니다. 그러나 동종 워크로드에 적합한 이들의 고정된 검증기는 이종 에이전트 태스크 배치(예: 코딩, 일반 대화형)에 일반화되지 않을 수 있습니다. 또한 루프의 임계 경로(critical path)에 검증기가 배치되어 있어, 여러 동시 요청이 라우팅되는 동안 서빙 품질에 영향을 줄 수 있습니다. 이러한 문제를 완화하기 위해 저자들은 ORACLE을 제시합니다. 이는 피드백을 위해 적응형 라우팅을 적응형 검증과 정렬하는 동시성 인식 온라인 라우팅 메커니즘입니다. ORACLE은 임의의 모델 선택 정책 상에서 학습(training)이 필요 없는 드롭인(drop-in) '피드백 루프'로 작동하여, 먼저 태스크 유형을 분류한 뒤 태스크에 적합한 검증기를 동적으로 할당합니다. 나아가 디스패치 임계 경로에서 검증기 지연 시간을 크게 제거하는 동시 요청용 지연 피드백 전략을 개발합니다. 그런 다음 저자들은 라우팅 후 디스패치 스케줄러인 DISC를 제안합니다. DISC는 승인 시 각 태스크의 피크 KV 풋프린트를 예약하고, 대기 시간 감소로 인한 보상(reward) 이득이 정확도 저하로 인한 보상 손실(loss)을 초과할 때 대체 백엔드로 디스패치합니다. SWE-bench, tau2-bench, Terminal-Bench 2.0에 대한 광범위한 평가(evaluation)에 따르면, ORACLE은 최신 라우팅 베이스라인 대비 정확도-비용 프론티어를 최대 7%포인트 개선하며, DISC를 적용한 ORACLE은 프로그램 처리량을 최대 1.8배 향상시킵니다. 재현성을 촉진하고 향후 개발을 지원하기 위해 저자들은 ORACLE의 코드베이스를 https://github.com/ORACLE-org/ORACLE 에 오픈소스로 공개합니다.
의료 비전-언어 모델(VLM) 평가는 워크플로 설계, 프롬프트 전략, 벤치마크 구성에 민감하지만, 대부분의 연구는 이러한 요인들을 개별적으로 다룹니다. 본 연구에서는 두 개의 균형 잡힌 데이터셋(비공개 보고서 기반 데이터셋 및 선별된 MIMIC 서브셋)을 기반으로 구축된 흉부 X선 판독을 위한 신뢰성 스트레스 테스트를 소개합니다. 세 가지 의료 VLM(CheXagent, MedGemma-4B, MedGemma-27B)을 세 가지 프롬프트 스타일과 두 가지 워크플로(단일 VLM 및 멀티 에이전트)에 걸쳐 평가하여 총 36개의 구성을 생성했습니다. 본 연구는 정확 일치(exact-match) 정확도만으로는 기본적으로 "정상(Normal)" 예측을 내놓는 보수적인 모델의 유효성이 과장될 수 있음을 보여줍니다. 진단 신뢰성 또한 모델 계열과 규모에 크게 의존하는데, 멀티 에이전트 추론은 일부 구성에는 도움이 되지만 다른 구성에는 오히려 해가 됩니다. 이러한 관찰을 바탕으로, 유익한 경우에만 멀티 에이전트 추론으로 선택적으로 이관하여 고정된 워크플로 대비 비용-품질 트레이드오프를 개선하는 결정 시점 라우팅(decision-time routing) 프레임워크를 제안합니다. 본 연구 결과는 임상 배포 전에 프롬프트 민감도, 실패 모드의 다양성, 워크플로 선택을 종합적으로 고려하는 평가 프로토콜의 필요성을 강조합니다.
약형 비선형 동역학 희소 식별(WSINDy)은 수치 미분을 요구하지 않고 데이터로부터 동역학계를 학습하기 위한 노이즈에 강건한 접근법을 제공합니다. 그러나 고차원 시스템의 경우, 후보 함수의 텐서 곱 라이브러리가 상태 차원에 따라 지수적으로 증가하여 표준 WSINDy는 연산 및 메모리 측면 모두에서 비용이 많이 듭니다. 다차원 비선형 동역학 근사(MANDy)는 후보 라이브러리의 텐서 트레인(TT) 표현을 통해 이러한 스케일링 문제를 해결하지만, 희소 모델 선택 메커니즘을 제공하지는 않습니다. 본 연구에서는 이러한 접근법들을 결합하여 약형 변환, 회귀, 희소화를 모두 TT 형식으로 수행하는 TT-WSINDy를 개발합니다. 본 논문에서는 TT 정식화가 이에 상응하는 WSINDy 회귀 문제를 복원함을 보이고, 텐서 트레인 희소화 과정에 대한 다항 시간 및 메모리 복잡도 경계를 유도합니다. 수치 실험을 통해 측정 노이즈에 대한 강건성과 고차원 시스템에서의 연산량 절감 효과를 입증합니다.