모델 기반 강화학습(MBRL)은 시뮬레이션된 경험을 활용할 수 있지만, 시뮬레이터와 타깃 간의 분포 변화(shift)로 인해 모델 선택 문제가 발생합니다. 제한된 타깃 데이터 환경에서는 시뮬레이터를 보정하는 방식과 타깃에 직접 적합(fitting)시키는 방식 모두 실패할 수 있습니다. 본 논문에서는 초기 타깃 데이터를 서로 겹치지 않는 적합, 선택, 보정(calibration) 분할로 나누고 표준화된 보정 위험이 더 낮은 모델 패밀리를 배포하는 모델 보정 월드 모델(MC-WM)을 소개합니다. 학습된 신뢰도 신호와 결정론적 유효성 술어(predicate)는 물리적 보상을 다시 작성하지 않고도 1단계 가상 정책 업데이트에 가중치를 부여합니다. 우리는 제어된 세 가지 MuJoCo(Multi-Joint dynamics with Contact) 변화 전반에 걸쳐 보고된 540개의 고유 실행 셀을 평가했으며, 배포 전 아티팩트 게이트를 거친 후 정확한 라우팅 셀 하나를 재실행하여 총 541개의 완료된 실행을 얻었습니다.
에이전트(agent) 시스템을 선택한다는 것은 언어 모델(language model)과 해당 모델이 동작하는 하네스(harness)를 모두 선택함을 의미한다. 본 연구에서는 강력한 모델, 하네스 또는 그 조합이 환경이 바뀌어도 강력함을 유지하는지 묻는다. 설정 가능한 네 가지 하네스(OpenHands, DeepSeek Harness, PI, openJiuwen)를 다섯 가지 모델과 결합하여 TUA-Bench, ALE-CLI, Terminal-Bench 4에서 평가하고, 기본(native) 조합인 Codex-GPT 및 Claude Code-Claude를 더해 총 66가지 구성을 평가한다. 모델 순위는 하네스에 따라 뒤바뀐다. Terminal-Bench 4에서 Claude는 OpenHands 환경에서 GPT를 7.94점 앞서지만, PI 환경에서는 30.16점 뒤처진다. 다섯 개 모델 중 네 개에서 벤치마크마다 최적의 하네스가 달라졌으나, 특정 조합은 일관되게 유지되었다. openJiuwen은 세 벤치마크 모두에서 Kimi에게 5.61점에서 11.11점 차이로 최고 점수를 제공했다. 모델 자체 벤더의 하네스가 항상 최적은 아니며, 비용이 높다고 해서 반드시 더 높은 점수를 얻는 것도 아니다. Terminal-Bench 4에서 GPT는 DSH보다 PI 환경에서 태스크당 비용을 4분의 1 미만으로 쓰면서도 더 높은 점수를 기록했다. 매칭된 궤적(matched trajectories) 분석은 적합성이 달라지는 이유를 시사한다. 모델은 거의 모든 복구 작업을 스스로 시작하므로, 하네스가 모델이 활용할 수 있는 형태로 실패 정보를 다시 넘겨주는지에 크게 좌우된다. GPT는 PI의 간결한 스캐폴드(scaffold)에서 가장 우수한 성능을 보인 반면, 기형적인 도구 호출(tool call)을 자주 생성하는 Kimi는 openJiuwen에서 가장 우수한 성능을 보였다. 우리는 모델, 하네스, 태스크를 함께 평가해야 한다고 주장하며, 하네스 어댑터, 평가 코드 및 점수가 매겨진 6,204개 궤적 전체를 https://github.com/liyix/finding-the-right-fit 및 https://huggingface.co/datasets/yixuanli97/finding-the-right-fit 에 공개한다.
에이전트(agent) 하네스는 프론티어 대규모 언어 모델(LLM) 플래너 주변의 마이크로태스크(셸 명령어 자동 승인, 메모리 작성, 도구 선택, 이전 턴 순위화)에 소형 언어 모델(SLM)을 실행하고자 하는 경향이 커지고 있습니다. 본 논문에서는 상용 SLM이 실무자가 정의한 임계값을 충족하는지, 실패한다면 그 이유는 무엇인지, 그리고 양자화(quantization)가 그 결과를 바꾸는지 질문합니다. 이를 위해 고정된 프롬프트(prompt)와 자동 평가 지표를 갖춘 4개의 마이크로태스크로 구성된 벤치마크를 구축했습니다. 각 태스크는 저렴한 비-LLM 기준선(baseline)에 고정된 사전 지정 임계값 $τ$와 신뢰구간(CI) 인식 적격성 규칙(신뢰 한계가 $τ$를 넘어야만 구성이 통과됨)을 가집니다. 최상의 조건(FP16, 그리디, 단일 고정 프롬프트, 튜닝 없음)에서 Qwen3 0.6/1.7/4/8B 모델들을 전수 조사한 결과, 적격성 격차(eligibility gap)를 발견했습니다. 16개 구성(4개 태스크 $\times$ 4개 모델) 중 통과한 구성은 0개였습니다(원시 출력과 파서 동작 검증 완료). 로그 확률(logprob) 결정 임계값 진단(T1/T3/T4; T2는 컨텍스트 길이/캐스케이드 프로브를 통해 수행)을 통해 실패 원인을 역량 부족과 디코딩 임계값 변경으로 해결 가능한 실패(4가지 영역)로 분류했습니다. 4비트 양자화(RTN/GPTQ/AWQ)는 모델 크기에 따라 손상을 입히며 어떤 구성도 적격 상태로 전환하지 못했으므로(재구성 가능한 하드 라벨 태스크 T1/T3에서 검증, T2/T4에서 진단/윈도우 강건성 확인), 격차는 정밀도(precision)보다 모델 크기에 더 크게 좌우됩니다. 이 결과는 Llama-3.x에서도 재현되었으며(12/12 부적격), 앵커 선택($τ$ 탐색) 및 프롬프트 문구(원문 및 셀당 3개의 중립적 패러프레이징에 걸쳐 0/112 적격)에 대해서도 강건했습니다. 실질적인 시사점은 다음과 같습니다. CI 기반 임계값을 충족하는 기준선 뒤에 SLM을 배치하고, 기준선이 임계값을 충족하지 못하는 경우에만 SLM을 사용하는 것입니다. 예를 들어 BM25 후보군에 대한 4B 재순위화 모델은 자체적으로 적격성을 입증하지 못하더라도 BM25보다 우수한 성능을 보였습니다($+0.047$ [0.020, 0.073]).
언어 모델 벤치마크는 실제 다운스트림(downstream) 성능을 평가하기 위해 널리 사용되는 계산 효율적인 대리 지표입니다. 그러나 최근 많은 연구에 따르면 이러한 벤치마크가 실제 다운스트림 유용성을 제대로 예측하지 못하는 경우가 많은 것으로 나타났습니다. 일부 연구에서 이러한 불일치의 원인을 진단하기 시작했으나, 벤치마크 점수를 실제 다운스트림 활용과 일치하도록 체계적으로 업데이트하는 방법은 아직 부재한 상황입니다. 이러한 간극을 좁히기 위해, 본 연구에서는 다운스트림 모델 성능 정보를 활용하여 벤치마크를 자동으로 업데이트하는 \textit{벤치마크 정렬(benchmark alignment)}을 제안하고 연구합니다. 특히 정적 벤치마크를 업데이트하여 새로운 쌍별 선호도(pairwise preferences)에 따라 모델들의 순위를 일반화 가능하게 매길 수 있도록 하는 것을 목표로 합니다. 4,576개의 언어 모델과 6개의 벤치마크를 활용한 실험 결과, 벤치마크 항목의 가중치를 재조정(reweighting)함으로써 평가에 포함되지 않았던 새로운 모델의 순위를 성공적으로 매길 수 있었으며, 대부분의 경우 모델 규모 전반에 걸쳐 일반화됨을 확인했습니다. 또한 단순한 정렬 방식은 예상대로 방대한 수의 모델과 벤치마크 질문을 필요로 하지만, 오라클(oracle) 실험 결과 잘 선택된 20개 정도의 모델만으로도 이를 줄일 수 있음을 시사합니다. 전반적으로 본 연구는 벤치마크 개발을 다운스트림 태스크에 효율적으로 정렬하는 방향으로 나아가는 한 걸음을 제시합니다.\footnote{모든 코드, 모델, 데이터는 공개되어 있습니다.
비전-언어 모델(VLM)은 미세한 지각을 위해 더 많은 시각 정보를 처리하는 것과 복잡한 추론을 위해 더 큰 언어 백본을 사용하는 것 사이에서 고정된 예산 트레이드오프(trade-off)에 직면합니다. 기존 연구들은 특히 고해상도 배포 환경에서 백본 크기와 입력 해상도를 어떻게 조합하여 배포해야 하는지 알려주지 못합니다. 이러한 공백을 해결하기 위해, 본 논문은 언어 백본 크기와 시각적 토큰(visual token) 수에 따라 VLM 성능이 어떻게 변화하는지 설명하는 '분리 가능 법칙(Separable Law)'을 제안합니다. 저자들은 언어 백본 크기가 1B에서 72B에 이르는 26개의 InternVL 및 QwenVL 모델을 대상으로 224픽셀부터 8K 해상도에 이르는 4개의 고해상도 벤치마크에서 측정한 데이터를 바탕으로 이 법칙을 적합(fitting)했습니다. 연구 결과, 스케일링에 반응하는 질문은 해당 질문이 요구하는 능력(skill)을 통해 예측할 수 있는 반면, 상당한 비율의 질문은 스케일링에 전혀 반응하지 않는다는 것을 발견했습니다. 또한 두 모델 패밀리가 더 큰 백본으로부터 얻는 이득은 유사하지만, 더 많은 시각적 토큰으로부터 얻는 이득은 크게 다르다는 점을 확인했습니다. 비용 법칙(cost law)과 결합된 분리 가능 법칙은 백본 크기와 시각적 토큰 간의 계산 자원을 할당하기 위한 닫힌 형식(closed-form) 규칙을 제공합니다. 가용 구성에 제약이 있는 배포 환경에서도 이 법칙은 동일한 예산 내에서 실현 가능한 최선의 선택에 근접한 성능을 내는 모델과 이미지 크기를 찾아냅니다. 본 연구가 모델이 추론해야 할 대상에 맞춰 고해상도에서 얼마나 많은 것을 보게 할지 결정하는 원칙적인 방법을 제공하기를 기대합니다.
LLM 리더보드에서의 성능 향상은 비공개로 평가된 여러 모델 변형 중에서 이루어진 선택을 반영할 수 있지만, 변형의 수와 이들 간의 의존성은 모두 공개되어 있지 않다. 본 연구는 공개된 마진(margin)이 고정된 비교 대상에 대한 제공자의 우위를 뒷받침하는 통계적 증거를 유지하면서 몇 개의 숨겨진 변형까지 지지할 수 있는지를 묻는다. 고정된 후보 모델군에 대해 가우시안 마진 모델을 가정하고, 모델군 내 상관관계의 하한에 대한 함수로서 이 최대 개수를 나타내는 민감도 곡선을 유도한다. 관련 상관관계는 순위 산정에 사용된 점수와 표본추출 모델에 부합해야 한다. 통제된 모델군에서 문항 단위를 통합한(pooled) 문항 상관관계는 0.90인 반면, 종합 점수(composite-score) 상관관계는 문항을 재표집할 때 0.46, MMLU 과목을 재표집할 때 0.92이다. Open LLM Leaderboard의 인접 순위 주장 394건에 대한 문항 기반 감사 결과, 391건은 선택을 고려하기 전부터 이미 통계적 뒷받침이 부족한 것으로 나타났다. 보정 전 검정을 통과한 주장들 중에서도, 인증 여부는 숨겨진 모델군의 상관관계에 대한 가정에 좌우될 수 있다. 이렇게 얻어진 곡선은 관측되지 않은 탐색 규모를 추정하지 않으면서 이러한 가정을 명시적으로 드러낸다.
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
예측변수마다 계수 공유 방식이 달라질 수 있는 멀티태스크 회귀를 연구한다. 주어진 예측변수에 대해 많은 과제는 동일한 계수를 갖고 일부만 다를 수 있으며, 예외가 되는 과제는 다른 예측변수에서 반드시 같을 필요는 없다. 이 구조는 활성 예측변수의 수와, 각 예측변수에서 가장 흔한 값과 다른 과제 계수의 총 개수라는 두 양으로 기술한다. 계수 행렬은 과제 전반에 걸친 모든 쌍별 계수 차이에 페널티를 두어 추정하고, 예측변수 선택이 필요한 경우 추가 그룹 페널티를 부과한다. 도출된 상한과 하한은 이 두 양에 대해 동일한 의존성을 갖는다. 또한 많은 과제 집합이 하나의 전체 계수 벡터를 공유하는 더 강한 설정도 고려한다. 명시적인 표본 크기 조건 하에서, 동일한 쌍별 추정량은 해당 과제들을 정확히 풀링하면서 나머지 과제는 달라질 수 있게 한다. 시뮬레이션과 가구 에너지 데이터는 광범위한 공유와 과제별 계수 사이의 전환을 보여 준다.
본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.
희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.
가중치 공간 사후 학습(post-training) 양자화(PTQ)는 완성된 양자화 모델이 출력 분포 드리프트를 드러내기 전에 유한 형식, 세분화(granularity), 양자화기(quantizer) 계열, 변환, 비트 수를 정해야 한다. 기존 PTQ 방법은 재구성 오류, 헤시안 민감도, 변환 효과, 하류 손실 등 이러한 성능 저하의 중요한 요소를 예측하지만, 이러한 요소는 보통 양자화 기하(geometry)를 고정한 뒤 또는 서로 다른 구성군(configuration family) 안에서 따로 점수화된다. 우리는 가중치 공간 PTQ를 가격이 매겨진 층 출력 오류를 이용한 배포 전 구성 선택 문제로 형식화한다. 각 허용 가능한 층 구성은 배포 비용을 지닌 오류 생성기로 취급되며, 이는 층 출력 오류 공분산 $\boldsymbol{\Sigma}_l(\alpha_l)$을 유도하고, full-precision 모델은 하류 곡률(curvature)로 그 공분산에 가격을 매긴다, $\widehat{\rho}_l(\alpha_l)=\frac{1}{2}\operatorname{Tr}\left(\widehat{\mathbf{H}}_l\,\widehat{\boldsymbol{\Sigma}}_l(\alpha_l)\right)$. 이 가격은 full-precision에서 양자화 모델로의 순방향 KL에서 유도되며, 1차 항은 기준(reference) 모델에서 상쇄된다. 이를 통해 재구성 및 대각(diagonal) 점수는 가격 인수를 떨어뜨린 축약 프록시가 되고, 유한 형식, 코드북(codebook), 세분화, 동등(equivalent) 변환은 유도하는 공분산과 지불하는 비용을 통해 비교 가능한 후보가 된다. trace 축약(reduction)은 보정(calibration) 시점 가격 테이블과 예산 제약 가격 안내(price-guided) 선택기를 산출하며, 고정 기하 비트 할당을 조직화 문제가 아니라 특수한 경우로 만든다.
튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.
어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.
예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.
시계열 파운데이션 모델(TSFM)은 운영 의사결정을 위한 예측을 제공하지만, 정확도만으로는 그 가치를 판단할 수 없다. 이러한 모델을 사용하는 에이전트를 평가하려면 의사결정 품질과 예측 비용을 측정해야 한다. FWBench는 고정된 예측 도구와 시뮬레이션된 용량 계약을 사용하여 전력 및 자전거 대여 사례 1,251건에 대해 이 역량을 평가한다. 에이전트는 모델, 이력(history) 및 예측 구간(horizon)을 선택한 뒤, 명시된 손실-비용 목적을 최소화하도록 용량을 제출한다. 호스팅 2종과 소형 언어 모델을 포함한 로컬 8종 구성을 평가했으며, TSFM 유무에 따른 로컬 모델도 시험했다. GPT-6 Astra는 예산의 2.5%만 사용해 저렴한 단기 예측을 선택적으로 구매했으며, 절감된 의사결정을 세 가지 손실-비용 가중으로 채점했을 때 고정 정책을 능가했다. FWBench는 비용 제약 하에서 언어 모델이 시계열 예측을 어떻게 선택하고 활용해 의사결정하는지 재현 가능하게 평가할 수 있게 한다.
이상(anomaly)은 드물며, 개발 단계에서는 이상 데이터를 구하기 어려워 어떤 이상 탐지 모델과 설정이 보지 못한 이상에 일반화될지 판단하기 어렵다. 최근 접근법은 이 문제를 의사 이상(pseudo-anomaly)을 생성하고 ROC 곡선 아래 면적(area under the ROC curve, AUC)의 달성 가능 상한(bound)을 이용해 유한한 후보 집합에서 최적 설정을 고르는 방식으로 다룬다. 이와 달리 우리는 AUC 상한을 미분 가능한, 이상 데이터에 의존하지 않는(anomaly-free) 목적 함수로 사용하여 이상 탐지 시스템의 연속 매개변수를 직접 최적화한다. 이 프레임워크를 앙상블 가중치 최적화와 의사 이상 점수에 적응하는 학습 가능한 점수 재조정(score-rescaling) 메커니즘 도입을 통해 보이며, 사전 정의된 후보 집합을 넘어서는 최적화를 가능하게 한다. 여러 데이터셋과 임베딩 모델에 걸친 실험에서 AUC 상한 최적화는 기존 모델 선택 및 개발 집합 기반 매개변수 선택 방식보다 유의미한 성능 향상을 달성한다. 결과는 또한 직접 최적화가 의사 이상 구성 선택에 덜 민감함을 보여준다.
신경망(neural network) 크기는 대개 학습(training) 전에 결정되어 아키텍처 선택과 가중치(weight) 최적화(optimization)가 분리됩니다. 본 논문에서는 모델(model)이 몇 개의 순서화된 구조적 컴포넌트를 사용해야 하는지 학습하기 위한 미분 가능한 매개변수화 기법인 신경발생 네트워크(Neurogenesis Network, NGN)를 소개합니다. 순서가 지정된 각 컴포넌트 그룹에 대해 하나의 학습 가능한 경계가 모델 파라미터가 학습되는 동안 활성 접두사(active prefix)를 선택합니다. 이 경계는 컴팩트한 초기화(initialization) 상태에서 확장될 수 있으며, 학습된 경계를 넘어선 컴포넌트를 폐기하여 배포할 수 있습니다. 통제된 실험을 통해 학습된 경계의 수렴(convergence), 배포된 접두사의 성능, 그리고 고정 크기 모델 및 용량 학습을 위한 대안적 접근법들과의 비교를 검토합니다. 이후 동일한 메커니즘을 MLP, 합성곱 및 그래프 네트워크, Transformer, 상태 공간 모델(state-space model), LoRA, 어댑터(adapter)에 적용합니다. 이러한 다양한 설정 전반에서 학습된 접두사만 배포해도 대개 성능 변화가 거의 없으며, 선택된 아키텍처는 동일한 크기로 학습된 고정 크기 모델과 유사한 성능을 보입니다. 이러한 결과는 구조적 용량이 카운트 형태로 직접 최적화될 수 있음을 보여줍니다.
스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.
많은 머신러닝 문제에서 근본적으로 서로 다른 내부 논리에 의존하면서도 거의 동일한 예측 성능을 달성하는 여러 모델이 존재할 수 있습니다. 그러나 표준적인 학습(training) 절차는 단일 모델만을 생성하므로, 다운스트림 요구에 더 적합할 수 있는 대안들을 탐색할 실질적인 방법을 제공하지 못합니다. 이처럼 동등하게 정확한 모델들의 집합을 라쇼몽 집합(Rashomon set)이라고 합니다. 라쇼몽 집합을 탐색하는 것은 중간 단계의 인간이 이해할 수 있는 개념을 통해 예측을 수행하여 컴퓨터 비전(CV) 분야에서 널리 사용되는 개념 병목 모델(Concept Bottleneck Models, CBMs)과 같이 크고 복잡한 가설 공간에서 특히 어렵습니다. 본 논문에서는 CBM의 라쇼몽 집합을 효율적으로 탐색하는 방법을 제시합니다. 제안하는 프레임워크는 특화된 병렬 매개변수 효율적 적응 모듈을 체크포인팅 기법 및 개념 다양성 목표와 결합하여, 단 한 번의 학습 과정에서 동등하게 정확한 다수의 CBM을 생성합니다. 실증적 결과는 제안하는 방법이 훨씬 적은 메모리를 사용하면서도 베이스라인보다 다양성이 더 뛰어난 모델들을 찾아냄을 보여줍니다. 나아가 이렇게 다양하면서도 정확한 CBM들에 접근할 수 있게 됨으로써 신뢰할 수 있는 모델 선택, 클래스 간 혼동 해소, 의사결정 시 신뢰성 있는 기권(abstention)이 가능해짐을 입증합니다.
언어 모델 에이전트는 이제 양적 팩터 연구 전 과정을 수행한다. 투자 팩터를 제안하고, 백테스트하며, 생존자를 선별하고 은퇴시킨다. 우리는 그 일 가운데 에이전트가 어떤 역할을 유지해야 하는지 묻는다. 우리의 답은 통제된 자기 진화(governed self-evolution)이다. 에이전트는 제안할 수 있고, 에이전트가 건드릴 수 없는 고정(frozen) 통계 심판이 판단해야 한다. 심판은 제출 이후에 공개된 시장 결과만을 베팅(betting)으로 각 후보를 채점하므로, 어떤 제안 정책에 대해서든 모든 정지 시점(stopping time)에서 허위 발견(false-discovery) 보장이 성립한다. 우리는 세 가지 제안자(스크립트, 밴딧, 언어 모델)와 이 심판 및 의도적으로 누수가 있는(leaky) 세 가지 심판을 교차한다. 실험은 심재 진실(planted truth)이 있는 합성 세계, 프로브 작성 환경, CSI 500에 대한 10년 워크포워드(walk-forward)에서 수행한다. 누가 판단하는지가 허위 채택(false admissions) 수를 정한다. 고정 심판은 스크립트 제안자 하에서 누수 심판보다 임계값 미만(sub-threshold) 팩터를 5–11배 적게 채택하며, 어떤 제안자도 그 격차를 메우지 못한다. 누가 제안하는지가 수확(yield)을 정한다. 언어 모델은 스크립트를 능가하고 밴딧과 맞먹으며, 밴딧에는 없는 유일한 능력인 자체 진단 프로브 작성을 더한다. 인증(certificate)의 대가는 시간이다. 채택된 진짜 팩터는 약 500 거래일을 기다리며, 따라서 인증 포트폴리오의 Sharpe 비율은 게이트 없는(ungated) 포트폴리오에 뒤진다. 판단은 절차(procedure)에 속하고, 제안과 도구(instrument) 제작은 에이전트에 속한다.