본 논문은 예측 모델을 보정하여 손실 제어 예측을 수행하기 위한 학습 프레임워크를 제안하며, 이는 우리가 앞서 제안한 컨포멀 손실 제어 예측 프레임워크를 더 일반적인 설정으로 확장한 것이다. 기존 방법과 달리 제안한 접근법으로 구축한 예측기는 집합값 예측기로 제한되지 않으며, 손실 함수는 단조성 가정 없이 임의의 가측 함수일 수 있다. 이 접근법은 예측기가 중첩 성질을 갖는 집합값 예측기이고 손실이 단조일 때 컨포멀 손실 제어 예측으로 귀착되므로, 그 자연스러운 확장이다. 제안한 프레임워크의 손실 제어 보장은 점근적 설정에서 확립되며, 선택적 회귀와 고영향 기상 예보에서 경험적으로 검증되어 일반적인 손실 제어 예측이 필요한 분야에서의 효과를 입증한다.
데이터와 레이블의 특성이 시간에 따라 변하는 온라인 환경에서 기계학습 모델 예측의 불확실성을 정량화하는 것은 어려운 일이다. 온라인 컨포멀 예측(OCP) 방법은 각 관측치에 대한 구간을 생성하고 그중 일정 비율이 해당 레이블을 포함하도록 보장함으로써 이 문제를 다루며, 이러한 성질을 주변 커버리지라 한다. 그러나 OCP 방법은 연령이나 인종과 같은 속성으로 정의되는 집단에 속한 관측치를 체계적으로 과소 커버할 수 있어 공정성 문제를 야기한다. 집단 조건부 OCP(G-OCP) 방법은 여러 집단에 대해 커버리지를 제공하는 구간을 생성함으로써 이를 해결한다. 기존 접근법은 데이터 스트림의 변화에 반응하는 방식을 제어하는 학습률에 의존하는데, 온라인 환경에서는 이를 조정하기가 어려울 수 있다. 학습률이 필요 없는 방법론의 발전을 활용하여, 선행 연구에서 요구되던 것보다 약한 가정 하에서도 성립하는 강력한 집단 커버리지 보장을 갖춘 학습률 불필요 G-OCP 알고리즘을 개발한다. 실험 결과, 제안 방법은 집단 커버리지를 제공하고, 표준 방법과 경쟁력 있는 구간 길이를 생성하며, 고정 학습률 방법보다 데이터의 변화에 더 효과적으로 반응함을 보인다.
본 보고서는 코드 기호 시퀀스를 장르 국소 화성 모델링을 위한 해석 가능하고 제어 가능한 시계열로 다룬다. 고정된 Music Transformer 베이스는 팝 중심의 Phase-0 기준선과 가중치가 동일하다. 나는 이를 블루스, 보사노바, 바흐 코랄, 컨트리, 일렉트로닉, 포크, 펑크, 가스펠, 힙합, R&B/소울, 록의 열한 개 목표 장르에 적응시킨다. 주요 그리드는 11개 장르와 3개 시드(165개 셀)에 대해 LoRA, IA3, BitFit, 프리픽스 튜닝, 전체 미세조정을 비교한다. 다섯 가지 방법 모두 보류된 코드 예측에서 고정 베이스보다 향상된다(매크로 이득 +2.89~+3.61%p). Top-1은 각 시퀀스의 세 개 헤더 토큰도 채점하는데, 이는 전체 실행 결과를 좌우한다. 일치하는 어댑터만이 자신의 장르 마커를 예측하며, 실행이 모든 Chordonomicon 곡의 자리표시자 C장조 조성을 예측하는지는 거의 임의적이다. 헤더 토큰을 제외하면 매크로 이득은 +1.64~+2.38%p이며, 바흐 코랄을 제외하면 LoRA, IA3, 프리픽스 튜닝, 전체 미세조정은 동일한 이득(+1.30~+1.34%p)을 준다. 이 이득은 고정 베이스의 불리한 조건을 반영하는데, 록을 제외한 모든 목표에서 베이스는 학습 중 한 번도 읽지 못한 장르 마커를 읽는다. 대신 팝 마커를 주면 코랄이 아닌 모든 장르에서 공개된 일치 어댑터와 0.12%p 이내로 근접한다. 잘못된 장르의 어댑터는 베이스가 그러한 마커를 읽는 경우에만 고정 베이스를 능가하며, 바흐 코랄을 제외하면 일치 어댑터가 가장 좋은 불일치 어댑터에 대해 갖는 우위는 0.2%p 이내이다. 바흐 코랄에서만 적응이 분명히 더 큰 효과를 더한다(팝 마커를 준 베이스 대비 LoRA +9.6%p). 추가 진단(랭크 스윕, 크기 일치 및 동일 가중치 대조군, 코드 전용 분류, 실제 곡)은 한정된 결론을 뒷받침한다. 즉 베이스가 이미 다루는 장르에서 코드 기호 적응은 주로 사용 가능한 장르 마커를 제공하며, 코드 기호만으로는 장르 정체성을 온전히 담지 못한다. 지각된 장르 진정성은 통제된 청취자 평가에 맡긴다.
벤치마크의 품질은 특히 사전 학습 모델이 부상하는 가운데 시계열 예측에서 의미 있는 평가와 지속적인 발전을 위해 매우 중요하다. 기존 벤치마크는 도메인 범위가 제한적이거나 공변량이 있는 과제와 같은 실제 환경을 간과하는 경우가 많다. 이들의 집계 절차는 통계적 엄밀성이 부족한 경우가 잦아, 관찰된 성능 차이가 실제 개선을 반영하는지 우연한 변동을 반영하는지 불분명하다. 많은 벤치마크는 일관된 평가 인프라가 없거나 기존 파이프라인에 통합하기에는 지나치게 경직되어 있다. 이러한 공백을 해소하기 위해 우리는 공변량이 있는 46개를 포함하여 7개 도메인에 걸친 100개의 예측 과제로 구성된 벤치마크 fev-bench를 제안한다. 이 벤치마크를 뒷받침하기 위해, 재현성과 기존 워크플로와의 통합을 강조하는 경량 파이썬 예측 평가 라이브러리 fev를 소개한다. fev를 사용하는 fev-bench는 부트스트랩 신뢰구간을 갖춘 원칙적인 집계를 통해 승률과 스킬 점수라는 두 차원에서 성능을 보고한다. 우리는 사전 학습 모델, 통계 모델, 기준 모델에 대한 fev-bench 결과를 보고하고 유망한 향후 연구 방향을 제시한다.
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
우리는 FI-2010에서 지정가 주문서 예측에 대한 경험적 추론-연산 프런티어를 규명한다. 저연산 및 중연산 모델에 적합시킨 멱법칙은, 해당 적합에서 가장 큰 예산의 $56$--$2{,}515$배에 달하는 연산량을 가진, 제외된 MLPLOB 방식의 믹서 계열까지 외삽된다. 아홉 개의 폴드와 다섯 개의 예측 수평선에 걸쳐, 실현된 목표 프런티어에서 통합 $R^2$는 $0.934$이며 상수 종점 외삽보다 RMSE가 59\% 낮고, 제외된 모든 운용점에서는 $0.731$이다. 측정된 지연 시간은 더 약한 관계를 보이며 모델 계열의 순위를 바꾼다. 따라서 우리는 연산을 조밀한 시간 및 특징 혼합에 집약하도록 FastBiNLOB을 설계한다. H120은 다섯 개의 시드 모두에서 네 개의 수평선 중 두 개에서 발표된 최첨단 macro-F1을 능가한다. 우리의 CPU/MPS 프로토콜에서 H96은 W128 MLPLOB 기준 대비 중앙값 지연 시간을 23.6\% 줄이고, H120은 TLOB에서 착안한 이중 축 어텐션 기준 대비 60.2\% 줄인다.
경도인지장애(MCI)를 가진 사람 중 누가 치매로 진행할지 예측하는 것은 조기 치료 시작에 중요하지만, 구조적 뇌 영상에 대한 계산적 연구는 거의 전적으로 단일 스캔에만 의존해 왔다. 우리는 기준선(baseline) 스캔과 후속 추적(follow-up) T1-weighted 스캔을 결합하는 시간적 어텐션(attention) 융합 네트워크인 TAFNet을 제안한다. 사전학습된 샴(Siamese) 인코더가 각 스캔을 표현하며, 융합 모듈은 해부학적 차이, 교차 시간적 어텐션, 그리고 결합 맥락(joint context)을 통해 두 표현을 결합하고, 이를 환자별로 학습된 게이트로 혼합한다. 우리는 이를 알츠하이머병 신경영상 이니셔티브(Alzheimer's Disease Neuroimaging Initiative)에서 MCI를 가진 참가자들의 짝지어진(paired) 스캔—최대 2년 간격으로 촬영됨—에 대해 평가했으며, 첫 스캔 후 3년 이내의 치매 진단을 결과 지표로 사용했다. 이 평가는 엄밀한 검토를 견딜 수 있도록 설계되었다: 전환(conversion) 여부는 기록된 진단으로부터 정의되고, 사전학습 풀은 평가 코호트와 참가자를 공유하지 않으며, 별도로 보류된(held-out) 테스트 분할은 모델 개발 과정과 분리되어 있고, 불확실성은 참가자 리샘플링을 통해 추정된다. TAFNet은 보류된 분할에서 전환자와 비전환자를 잘 구별한다. 이는 기존의 단일 스캔 네트워크 및 두 스캔을 차분(subtract)하는 모델보다 우수한 성능을 보이며, 두 차이 모두 교차 검증(cross-validation)에서 유의미하고 더 작은 보류된 분할에서도 동일한 방향성을 보인다. 다른 모든 조건을 고정한 상태에서 후속 추적 스캔을 추가하는 것은 교차 검증에서 유의미한 성능 향상을 가져온다. 동일한 인코더로 구축된 순환(recurrent) CNN-LSTM 기준선(baseline) 모델과 비교하면, TAFNet은 비슷한 성능을 보이며 어느 모델도 일관되게 우위에 있지 않다. 기본 임계값 대신 검증(validation) 데이터에서 선택한 운영점(operating point)은 임상적으로 합리적인 특이도(specificity)에서 높은 민감도(sensitivity)를 제공한다.
생성 모델링은 확률론적 시계열 예측을 용이하게 하지만, 이종의 외생적 정보(exogenous information)를 통합하는 것은 여전히 어려운 과제로 남아 있습니다. 디퓨전 트랜스포머(DiT, Diffusion Transformers)는 조건부 생성을 위한 확장 가능한 프레임워크를 제공하지만, 이를 예측 작업에 적용하려면 시계열에 맞춤화된 조건화 메커니즘이 필요합니다. 내생적 목표(endogenous targets)와 외생적 공변량(exogenous covariates)은 출처, 의미론적 특성, 통계적 특성이 서로 다르지만, 세밀한 조건부 유도를 지원하는 시간 좌표를 공유합니다. 공변량은 직접적인 회귀가 목표로 하는 조건부 평균을 넘어 미래 변동성과 시간적 의존성을 설명할 수 있습니다. 이러한 점에 착안하여, 본 논문에서는 공변량을 인식하는 예측을 위한 멀티모달 디퓨전 트랜스포머인 시계열용 디퓨전 트랜스포머(DiTS, Diffusion Transformers for Time Series)를 제안합니다. DiTS는 내생적 목표와 외생적 공변량을 서로 다른 모달리티로 모델링하며, 목표의 과거 이력과 가용한 공변량을 바탕으로 미래 생성을 공동으로 조건화합니다. 흐름 매칭(flow matching)은 노이즈가 포함된 미래 상태를 조건으로 하는 속도 예측과 공변량 의존적인 분포 정보가 유의미하게 연계되도록 만듭니다. 또한 시간 정렬 사전확률(temporal-alignment prior)을 바탕으로 AdaLN을 확장하여, 정렬된 공변량과 디퓨전 시간으로부터 패치 단위 변조 파라미터를 생성하는 시간 정렬 변조(Time-aligned Modulation)를 도입합니다. 다양한 공변량 인식 예측 태스크 전반에서 DiTS는 결정론적 예측과 확률론적 예측 모두에서 강력한 성능을 달성하여, 점 예측(point forecasting) 및 분포 예측(distributional forecasting) 모두에서 조건부 생성의 효과성을 입증합니다.
대규모 언어 모델(LLM)의 자체 설명(self-explanation)은 AI 감독(AI oversight)을 위한 유망한 도구로 자주 제시되지만, 모델의 실제 추론 과정에 대한 충실성(faithfulness)은 잘 이해되지 않고 있습니다. 기존의 충실성 평가 지표는 적대적 프롬프팅을 통해 불충실성을 식별하거나 추론 오류를 감지하는 데 주로 의존한다는 치명적인 한계가 있습니다. 이러한 방법들은 설명이 지닌 예측적 가치를 간과합니다. 우리는 충실한 설명이라면 관찰자가 모델의 의사결정 기준을 학습할 수 있게 하여 관련된 입력에 대한 모델의 행동을 더 잘 예측할 수 있어야 한다는 아이디어에 기반한 일반적이고 확장 가능한 지표인 정규화 시뮬레이션 가능성 이득(Normalized Simulatability Gain, NSG)을 소개합니다. 우리는 건강, 비즈니스, 윤리를 다루는 널리 쓰이는 데이터셋에서 추출한 7,000개의 반사실적(counterfactual) 사례에 대해 Gemini 3, GPT-5.2, Claude 4.5 등 18개의 최첨단 상용 및 공개 가중치 모델을 평가합니다. 그 결과, 자체 설명이 모델 행동 예측을 실질적으로 향상시킴을 확인했습니다(11-37% NSG). 또한 자체 설명은 외부 모델이 더 강력하더라도 해당 모델이 생성한 설명보다 더 많은 예측 정보를 제공합니다. 이는 외부 설명 방법이 모방할 수 없는 자기 지식(self-knowledge)에서 비롯된 이점을 시사합니다. 한편, 우리의 접근 방식은 모델 전반에 걸쳐 5-15%의 자체 설명이 심각한 오해의 소지가 있음을 보여줍니다. 이러한 불완전성에도 불구하고, 우리는 자체 설명에 대한 긍정적인 근거를 제시합니다. 즉, 자체 설명은 모델 행동을 예측하는 데 도움이 되는 정보를 인코딩하고 있습니다.
소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.
대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.
라벨링된 데이터의 부족은 종양학 분야에서 심층 학습(deep learning) 기반 바이오마커 개발을 제한합니다. 본 연구에서는 유방암 환자의 선행항암요법에 대한 병리학적 완전 관해(pCR)를 예측하는 2단계 AI 모델(model)을 개발했습니다. 첫 번째 단계는 32개 암종에 걸친 8,742명의 환자 데이터를 활용하여 조직병리학 이미지로부터 전사체를 학습하며, 이는 병리학자 검토와 측정된 발현량과의 공간적 일치도를 통해 입증되었습니다. 이를 통해 두 번째 단계는 추론(inference)된 발현량과 임상 변수로부터 pCR을 예측하는 것으로 단순화됩니다. 1,080명의 환자(5개 코호트)를 통해 개발되고 1,412명의 환자(9개 코호트)에서 평가된 이 모델은 풀링된 AUROC 0.79(95% CI, 0.73-0.85)를 달성하며 분자 아형 내에서 반응군을 변별합니다. 본 모델은 조직병리학적 바이오마커보다 우수한 성능을 보이며, 종양 내 표본 추출 전반 및 최소한의 생검 조직만으로도 안정성을 유지합니다. 제거 연구(ablation) 결과, 전사체 전반의 추론이 임상 변수 단독 또는 1단계 병리 모델 대비 변별력을 향상시키고 유전체 분석의 유전자 선택 제약을 피함으로써 견고성을 확보함을 보여줍니다. 이러한 결과는 생물학적 정보를 반영한 압축 방식이 정밀(precision) 종양학의 데이터 희소 응용 분야로 일반화될 수 있음을 시사합니다.
임상적 추론을 위해 대규모 언어 모델(LLM)의 활용이 점차 탐색되고 있으나, 환자의 근거가 변화함에 따라 모델이 판단을 적절하게 수정하는지는 여전히 불분명하다. 본 연구에서는 전자의무기록의 매칭된 중환자 치료 궤적을 활용하여 종단적 신념 업데이트(longitudinal belief updating)를 평가했다. 다양한 LLM 전반에서, 추정치가 변경될 때 이전 판단을 조건부로 반영하는 것은 예측 오차를 줄이기보다 오히려 증가시키는 경우가 더 많았으며, 이는 두 번째 종단점에서도 재현되었다. 통제된 개입 실험을 통해 두 가지 실패 모드가 밝혀졌다. 첫째, 이전 평가가 고정되었을 때 모델은 매칭된 호흡 개선 근거보다 악화 근거에 더 강하게 반응했으며, 이러한 비대칭성은 중간 및 강한 근거 수준에서 헤드룸 정규화(headroom normalization)를 거친 후에도 지속되었다. 둘째, 현재 근거가 고정되었을 때 사전 위험도를 10%에서 90%로 증가시키면 추정치가 26.2%포인트 이동하여 이전 모델 신념의 인과적 영향을 입증했다. 프롬프팅은 신뢰할 수 있는 업데이트를 복원하지 못했다. 근거 검증 종단적 업데이트(Evidence-Validated Longitudinal Update, EVLU)는 더 적지만 보다 신뢰할 수 있는 수정을 식별하여 신뢰성과 커버리지 간의 절충 관계(trade-off)를 드러냈다. 이러한 발견은 종단적 신념 업데이트가 LLM 신뢰성의 뚜렷한 한 차원임을 확립한다.
지속 가능한 단백질 발굴에는 신약 및 소재 발굴을 가속화하는 분자 도킹이나 밀도 범함수 이론과 유사한 빠른 계산 대리 모델(proxy)이 부재합니다. 새로운 식품이 동물성 대상 식품과 비슷한 맛을 내는지 평가하려면 비용이 많이 드는 인간 관능 평가 패널이 필요하여 설계-구축-테스트 루프의 병목 현상을 초래합니다. 본 논문에서는 두 가지 과제로 구성된 감각 예측용 멀티모달 벤치마크이자 프라이버시 보존형 경진대회인 TasteBench를 소개합니다. 두 과제는 24개 제품 카테고리의 215개 식물성 식품에 대한 2만 1천 건 이상의 인간 평가를 기반으로 구축되어 카테고리 내 935개 순위 쌍을 생성하는 식품 수준 랭킹 과제와, 1만 5천 개 향미 분자를 다루는 보조적 분자 수준 맛 분류(classification) 과제입니다. 모델(model) 성능의 엄밀한 해석을 위해 본 연구에서는 정답 레이블(ground truth)의 특성을 규명했습니다. 패널 간 평가자 간 일치도는 낮았으며(Krippendorff's $α= .077$), 패널 집계 랭킹의 반분 신뢰도 상한선은 .825로 나타나 이 벤치마크에서 머신러닝 시스템을 평가해야 하는 범위를 설정했습니다. 네 가지 입력 모달리티에 걸쳐 베이스라인을 평가한 결과, 패널이 평가한 동일한 쌍에서 최고 성능 모델은 .661의 쌍별 정확도를 기록하여 개별 패널의 중앙값(.650)과 경쟁력 있는 성능을 보였고, 모든 카테고리 내 쌍에 대해서는 .683을 달성했습니다. TasteBench는 지속 가능한 단백질 발굴을 위한 계산 스크리닝의 발전을 측정할 수 있는 평가 인프라와 베이스라인을 제공합니다.
실세계 시계열 회귀는 비정상성(non-stationarity), 이분산성(heteroscedasticity), 체제 변화(regime changes)를 수반하는 경우가 많으며, 이러한 환경에서는 최근의 예측 오차가 모델 예측과 관측값 간의 국소적 시간 불일치에 대한 구조화된 정보를 포함할 수 있습니다. 따라서 이러한 오차를 표현하고 재사용하는 방법을 학습하는 것은 이후 예측에 유용한 정보를 제공할 수 있습니다. 본 논문에서는 지도 시계열 회귀를 위한 잔차 인지 아키텍처인 변동성 인지 순환 신경망(Variability-Aware Recursive Neural Network, VARNN)을 소개합니다. VARNN은 최근의 예측 오차로부터 명시적인 잔차 메모리 상태를 학습하고, 이를 활용하여 후속 예측을 조건화합니다. 구체적으로 VARNN은 짧은 문맥에 걸쳐 스칼라 예측 혁신(innovation)을 학습된 비선형 벡터값 잔차 표현으로 매핑합니다. 에너지, 헬스케어, 환경 도메인에 걸친 9개 데이터셋 전반에서 VARNN은 비교 대상인 정적, 시차(lag) 기반 및 시퀀스 모델 베이스라인보다 더 낮은 테스트 MSE를 달성했습니다. 또한 목표 지향적 절제 연구(ablation study)를 통해 학습된 투영 잔차 메모리가 직접적인 스칼라 잔차 피드백보다 예측 정확도를 향상시킴을 보여주며, 예측 편차에 대한 학습된 비선형 표현의 이점을 뒷받침합니다.
생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.
연구 에이전트(agent)는 계획된 실험을 설명합니다. 본 연구에서는 중재, 예측 모델, 결과를 공유하면서 설명(description), 매칭된 설명(matched explanation), 기증자 맥락(donor context)을 달리하는 쌍체 예측을 통해 예측 기여도(predictive credit)를 측정합니다. 다섯 가지 검증을 통해 공약(commitment), 전달(delivery), 예측 이득(predictive gain), 정렬(alignment), 기지 신호 수용(known-signal uptake)을 추적합니다. 통제된 학습 환경의 336개 전향적 상태, 12개 Tox21 엔드포인트, 24개 OpenML 태스크 전반에 걸쳐 v5의 동결된 기여도 판정은 결정적이지 않았습니다. 사전 등록된 Tox21의 ROC AUC 구간 점수 유해성 테스트는 충족되지 않았으며($D-M=-.0026$, 95% 신뢰구간 [$-.0174$, .0104]), OpenML의 결합 형성, 점 동등성 및 반복성 규칙 역시 충족되지 않았습니다. 설명 대비 매칭된 점 정확도(point-accuracy) 향상은 확인되지 않은 상태로 남았으며, Tox21/OpenML 시드-기증자 구간은 0을 포함했습니다. 요청된 DeepSeek V4 Pro 환경에서 매칭 카드와 기증자 카드는 2차 Tox21 드리프트를 각각 64.5%와 59.1% 감소시켰습니다. DeepSeek V4 Flash 재현에서는 매칭 점 MAE가 .01823에서 .02020으로 증가했으며 매칭-기증자 구간 점수 동등성을 달성하지 못했습니다. OpenML 풀 카드 할당은 공칭 80% 구간을 21% 넓혔고, 커버리지는 설명의 51.4% 대비 49.3%였으며 144개 카드 중 66개에 내용이 포함되었습니다. Direct-text Flash는 감지 가능한 매칭 점 정확도 이득 없이 144개 노트를 모두 전달했습니다. 연구자가 직접 작성한 메커니즘 양성 대조군은 설명 대비 점 MAE를 2.60%포인트 낮췄습니다. 본 프로토콜은 연구 에이전트 벤치마크 및 과학적 예측에 대한 예측 기여도를 측정하며, 테스트된 기증자 해상도에서 자연어 설명의 기여도는 확인되지 않은 상태로 남았습니다.
장면의 변화를 예측하는 것이 제어에 유용한 표현(representation)을 형성한다는 전제 하에, 미래 예측은 비전-언어-행동(VLA, vision-language-action) 정책을 개선하는 데 점점 더 널리 사용되고 있습니다. 그러나 예측 품질 그 자체만으로는 정책이 행동을 위한 더 나은 표현을 학습했음을 보장하지 못합니다. 이러한 차이는 성공적인 제어가 익숙한 배치를 넘어 공간적 상태와 발생 가능한 장면 변화를 보존하는 것에 좌우되는 분포 변화(distribution shift) 상황에서 중요해집니다. 본 연구에서는 예측 지도(predictive supervision)가 VLA 정책에 사용되는 시각적 표현을 개선하는지 여부를 결정하는 요인을 살펴봅니다. 일치된 타깃 구성, 예측 범위(prediction horizon), 학습 조건을 갖춘 통제된 비교를 통해, 예측 인터페이스에 따라 예측 결과와 시각적 표현이 현저하게 달라지며, 여기에는 익숙한 장면을 넘어 전이되는 공간, 역학, 행동 정보의 차이도 포함됨을 확인했습니다. 이러한 차이는 예측 오차가 정책의 시각적 스트림을 어떻게 형성하는지에서 비롯됨을 추적하여 밝혔습니다. 이러한 통제된 발견과 일관되게, 더 직접적이고 장면과 일치된 미래 지도 신호로 학습(training)된 VLA 정책은 시뮬레이션 및 실제 물리 환경의 분포 변화에서 더 강한 강건성을 보입니다. 종합하면, 본 연구의 결과는 미래 예측을 표현 학습의 설계 문제로 규정하며, 제어에 대한 그 가치는 지도 신호가 정책이 행동을 수행하는 기반이 되는 표현에 도달하는지 여부에 달려 있음을 보여줍니다.
본 논문에서는 대규모 언어 모델(LLM) 앙상블에서 사고의 다양성(diversity of thought)이 제공하는 성능 향상(uplift)을 계산하기 위한 실험적으로 검증된 형식 법칙을 제시합니다. 우리는 제1원리(first principles)로부터 LLM 앙상블 성능 향상 효과(lift)를 구제 질량(rescue mass)과 손상 질량(damage mass)으로 정확히 분해하고, 이를 바탕으로 성능 향상을 계산하는 간결한 휴리스틱을 도출합니다. 이를 통해 앙상블 성능을 예측하는 지표들을 추출하는데, 이는 정확도 조정 정답 상관관계인 $φ_{\mathrm{adj}}$와 함께 모델 쌍의 정확도 격차 및 집단적 정확도(collective accuracy)입니다. 우리는 두 개의 대학원 수준 과학 벤치마크와 네트워크가 격리된 샌드박스에서 다중 턴(multi-turn) 도구 사용을 통해 디지털 포렌식 조사를 수행하는 새로운 에이전트 기반 사이버 보안 벤치마크(기권을 포함한 23,520회의 채점 시험)에서 10개의 공개 가중치 모델로 생성한 767,520회의 추론을 바탕으로 이 법칙을 테스트하였으며, 모든 투표 데이터는 공개되어 있습니다. 40:60 투표 분할 비율로 SuperGPQA에서 한 번 캘리브레이션된 휴리스틱은 캘리브레이션 세트에서 스피어만 $ρ=0.84$로 성능 향상을 예측하며, 계수를 고정한 상태에서도 캘리브레이션에 사용되지 않은 두 데이터셋으로 전이(transfer)됩니다(GPQA Diamond에서 $ρ=0.51$, 포렌식 태스크에서 $0.84$). 반면 측정된 스왑 질량(swap mass)은 전체에 걸쳐 $R^2\ge 0.96$으로 실제 실현된 성능 향상을 추적합니다. 원시(raw) $φ$는 예측력이 거의 없는 반면(전체에 걸쳐 $R^2\le 0.09$), 정확도 조정 $φ_{\mathrm{adj}}$는 현저히 우수하며(SuperGPQA에서 $R^2=0.67$), 이러한 지표들을 결합한 휴리스틱은 세 데이터셋 전반에서 가장 안정적인 풀링(pooling) 이전 예측 인자입니다.
디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.