일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정
Measuring Learned Monotone Temporal Aggregation at Matched Admissibility
한국어 초록
리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.
원문 초록
Risk regulation imposes directional constraints on scores; we adopt their strict per-input form -- the score monotone non-decreasing in every exposure input -- as a normative commitment. Deployed pipelines -- monotone hand-crafted aggregates feeding sign-constrained gradient boosting -- already satisfy it by composition, so constrained-versus-unconstrained comparisons price a guarantee the incumbent has for free. We instead hold admissibility fixed on both sides and measure what learning the aggregation is worth. Our instrument is a recurrent network whose state is classical risk statistics (an exponentially weighted moving average and a high-water mark with learned transforms), monotone by construction in every input and per MC-dropout sample. The central finding, by functional regression, is a subsumption boundary: a learned monotone channel reproduces the geometrically weighted separable family of hand-crafted statistics, one channel per member, to Spearman $ρ\ge 0.996$, approximates window statistics with measurable ceilings, and fails at consecutivity ($ρ= 0.924$) and time localization (0.628), both structural, and at the exposure floor (0.829), a learnability boundary. One explicit admissible basis repairs each failure (rank correlation 1.000). In or near the separable family, learned and engineered aggregation are substitutes, and the learned channel is never statistically behind at full sample size and specified capacity. Its advantages are incumbent-specific: a committed grid pays up to 0.019 AUC in decay regions it leaves uncovered (the learned channel stays within 0.004 of the strongest engineered consumer at every swept point); the highest-dimensional comparator degrades fastest with scarce data; and beyond the training support, grid-fed tree-ensemble scores go flat while a strictly increasing head keeps ranking. No single incumbent is dominated on all three axes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
정보 이론적 불확실성 분해의 구조적 한계
Structural Limits of the Information-Theoretic Uncertainty Decomposition
기계학습에서 불확실성 추정(uncertainty estimation)은 일반적으로 표준 정보 이론적 프레임워크를 사용하여 불확실성을 우연적 불확실성(aleatoric uncertainty, AU)과 인식론적 불확실성(epistemic uncertainty, EU)으로 분해합니다. 그러나 실제로는 두 가지 중대한 문제인 얽힘(entanglement, AU와 EU 간의 높은 상관관계)과 인식론적 붕괴(epistemic collapse, 모델 용량이 증가함에 따라 EU의 크기가 축소되는 현상)가 발생합니다. 본 연구는 이 프레임워크를 함수 수준에서 분석하여, 가정된 AU와 EU 범위의 상당 부분이 유한한 환경에서는 실현 불가능하며 어떠한 클래스 확률로도 도달할 수 없음을 발견했습니다. 우리는 이러한 실현 불가능한 영역이 클래스 수 및 몬테카를로 표본 수 $N$($N$개의 멤버를 가진 앙상블 등)에 따라 어떻게 스케일링되는지 특성화하며, 해당 영역이 $\text{AU} \leq \log(2)/N$으로 제한됨을 밝힙니다. 결정적으로, 이 실현 불가능한 영역의 경계는 인식론적 붕괴를 설명하는 데 도움이 됩니다. 즉, 모델 확신도가 높을 때 이러한 근본적인 구조적 한계로 인해 $\text{AU} > \text{EU}$가 필연적으로 보장됩니다. 우리의 연구 결과는 앙상블 크기를 늘리면 실현 불가능한 영역이 줄어들어 인식론적 붕괴가 완화됨을 보여줍니다. 마지막으로, $\text{AU} \leq \log(2)/N$일 때 AU와 EU가 결합(coupled)되어 있음을 증명하였으므로, 낮은 AU 영역에서 이 둘을 독립적인 양으로 해석하는 것에 주의를 당부합니다.
수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성
Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring
스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.
움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증
Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries
다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
플로우 매칭을 활용한 앙상블 필터 개선
Improving Ensemble Filters with Flow Matching
데이터 동화(data assimilation)는 부분적이고 잡음이 있는 관측으로부터 동역학적 상태를 추정한다. 기존의 고전적 앙상블 필터는 효율적이지만, 유한 표본 공분산과 아핀 가우시안 분포로 인해 분석 갱신이 제한된다. 본 논문에서는 조건부 플로우 매칭(conditional flow matching)을 사용하여 예측 앙상블을 고전적 기준선 필터로부터 분석 앙상블로 수송하는 Flow Ensemble Filter(FlowEF)를 제안한다. FlowEF는 학습 시에는 국소화된 가우시안 소스를 사용하고, 배포 시에는 기준선 필터의 예측 앙상블 구성원을 수송하며, 속도장(velocity field)을 해당 기준선 필터의 앙상블과 관측값에 조건화한다. 따라서 제안한 모델은 각 기준선 앙상블을 독립적으로 매핑하면서도 비선형 갱신을 학습한다. 희소하게 관측되는 동역학계에서 FlowEF는 네 가지 고전적 앙상블 필터 모두에 비해 결정론적 지표와 확률론적 지표를 모두 개선한다. 또한 최신 생성형 데이터 동화 모델 중에서도 가장 우수한 성능을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
55 pages. Companion to arXiv:2610.08869