arXiv:2606.29471v1 cs.LG

다중 클래스 분류를 위한 구조화된 적정 손실 기하학: 이론 및 통제된 실증 평가

Structured Proper Loss Geometries for Multiclass Classification: Theory and Controlled Empirical Evaluation

Soumyadip Sarkar

제출 2026-06-28

한국어 초록

엄격한 적정 스코어링 규칙(strictly proper scoring rules)은 모집단 수준에서 실제 조건부 클래스 분포를 식별하지만, 그 곡률은 최적화 및 유한 표본 동작에 영향을 미칠 수 있다. 우리는 세 가지 다중 클래스 목적 함수를 연구한다: 클래스 인식 이차 Bregman 점수(CAPM), 제약된 log-cosh 능선을 가진 강볼록 생성기(HPG), 그리고 어닐링된 확률-마진 패널티를 포함한 HPG 목적 함수(APMS). CAPM은 확립된 이차 스코어링 규칙 이론의 구조화된 사례로 다루어진다. 우리는 CAPM과 HPG에 대한 조건부 후회(conditional-regret), 곡률, 범위, 로짓-그래디언트 경계를 도출하고, APMS에 대한 정확한 패널티 범위 및 조건부 목표 변위 경계를 증명한다. 통제된 5-시드 실험은 깨끗한 레이블, 대칭 및 쌍 뒤집기 오염, 클래스 불균형, 캘리브레이션 평가, 입력 오염, 1차 적대적 섭동 하에서 Digits, Wisconsin 유방암, 합성 혼동 및 롱테일 문제를 사용한다. 후보 방법들은 깨끗한 데이터에서 교차 엔트로피와 유사한 성능을 보이며 일부 노이즈 레이블 셀에서 기술적 이득을 나타내지만, 5-시드 비교는 유의성 증거가 아닌 기술적 해석으로 받아들여야 한다. 선택된 노이즈 레이블 기준선은 40% 대칭 레이블 노이즈가 있는 Digits에서 더 나은 성능을 보이며, 명시적 사전 조정 방법은 30:1 합성 롱테일 실험에서 더 나은 성능을 보인다. 에블레이션 실험은 후보 방법에 특화된 그래프, 능선, 또는 마진 구성 요소에서 일관된 이점을 보여주지 않는다. 수학적 분석은 명시된 속성들을 확립하고, 실험은 실증적 증거의 범위를 한정하며, 종합적으로 일반적인 우월성 주장을 지지하지 않는다.

원문 초록

Strictly proper scoring rules identify the true conditional class distribution at population level, but their curvature can alter optimization and finite-sample behavior. We study three multiclass objectives: a class-aware quadratic Bregman score (CAPM), a strongly convex generator with constrained log-cosh ridges (HPG), and an HPG objective with an annealed probability-margin penalty (APMS). CAPM is treated as a structured instance of established quadratic scoring-rule theory. We derive conditional-regret, curvature, range, and logit-gradient bounds for CAPM and HPG, and prove exact penalty-range and conditional-target displacement bounds for APMS. Controlled five-seed experiments use Digits, Wisconsin breast cancer, and synthetic confusion and long-tail problems under clean labels, symmetric and pair-flip corruption, class imbalance, calibration evaluation, input corruption, and first-order adversarial perturbations. The candidates are close to cross-entropy on clean data and show descriptive gains in some noisy-label cells, but the five-seed comparisons are interpreted descriptively rather than as significance evidence. The selected noisy-label baselines perform better on Digits with 40% symmetric label noise, and explicit prior-adjustment methods perform better in the 30:1 synthetic long-tail experiment. Ablations do not show a consistent benefit from the candidate-specific graph, ridge, or margin components. The mathematical analysis establishes the stated properties, and the experiments delimit the empirical evidence; together they do not support a claim of general superiority.

요약

다중 클래스 분류를 위한 세 가지 엄격한 적정 손실 함수(CAPM, HPG, APMS)의 이론적 성질(조건부 후회, 곡률, 그라디언트 경계)을 수학적으로 분석하고 노이즈 레이블, 클래스 불균형, 캘리브레이션 등 다양한 조건에서 교차 엔트로피와 비교 실험한 결과, 제안된 방법들이 일부 노이즈 레이블 환경에서 소폭의 이득을 보이지만 전반적인 우월성은 입증되지 않았다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29471v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10597v1cs.CR공통 태그 Uncertainty Quantification, Adversarial Robustness

인증된 오염 예산: 적응형 조작 하에서 상시 유효한 리더보드 주장

Certified Corruption Budgets: Anytime-Valid Leaderboard Claims under Adaptive Rigging

AI 모델을 위한 공개 리더보드는 지속적으로 열람되며, 공격자는 공개된 모든 순위를 확인할 수 있다. 투표 조작, 비공개 변형 모델의 선택적 공개, 벤치마크 오염은 각각 순위를 뒤흔들 수 있다. 기존의 보증 방식은 기록이 조작되지 않았다고 가정하거나 단계별 오염 정도를 제한하는데, 이는 일시적으로 대량 오염을 가하는 공격자에게 무력화된다. 본 연구에서는 $t$개의 기록 이후 계산되어 각 쌍대 비교 주장과 함께 공개되는 허용 오차인 인증된 오염 예산(certified corruption budget) $\widehat{B}_t$를 제안한다. 최소 $1-α$의 확률로 모든 시점에서 동시에, 해당 주장이 정확하거나 또는 $\widehat{B}_t$개를 초과하는 기록이 오염되었음이 보장된다. 이는 예산 제한 없이 모든 인증서를 모니터링하는 공격자를 상대로도 성립한다. 위조된 기록과 확인 후 변경된 기록은 서로 다른 인증서를 필요로 한다. 위조 기록용 인증서는 이미 확인한 투표를 뒤집는 공격자에게 1에 수렴하는 확률로 실패하는 반면, 기록당 약 두 배의 비용을 부과하는 인증서는 미래를 내다보는 공격자를 상대로도 일정한 배팅을 통해 유효성을 유지하며, 모든 수준에서 이보다 더 적은 비용 부과는 성립하지 않는다. 인증된 예산은 유효한 모든 방법이 허용하는 한계에 가깝게 증가한다. 승률이 $\frac{1}{2}+δ$일 때, 각 신규 기록은 주장이 견뎌낼 수 있는 위조 기록 수에 거의 $2δ$만큼($δ$ 뒤집힘)을 추가한다. $V$개의 비공개 변형 중 최적 모델을 공개하는 데 드는 비용은 $\log V$ 수준으로만 증가한다. 180만 건의 Chatbot Arena 투표를 재현한 실험에서, 수백 건의 조작된 투표만으로도 표준 신뢰 구간은 잘못된 순위를 인증해 버린 반면, 제안 기법은 유효성을 유지했다. 실제 투표 데이터에서 본 인증서는 명확히 분리된 모델들이 약 2,000건의 위조 투표를 견뎌낼 수 있음을 보여준다.

arXiv:2609.34409v2cs.LG공통 태그 General Classification, Classification

MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기

MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series

자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.

arXiv:2610.02255v1cs.LG공통 태그 Uncertainty Quantification, Adversarial Robustness

MACTS-EM: 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측

MACTS-EM: Multi-Agent Collaborative Time Series Forecasting with Emergent Memory

시계열 예측(time series forecasting)은 여러 분야에서 여전히 중요한 과제로 남아 있다. 상당한 발전이 있었음에도, 기존 접근법들은 체제 전환(regime shift), 도메인 간 지식 전이, 멀티모달 데이터 통합과 같은 복잡한 현상을 다루는 데 어려움을 겪는다. 본 논문은 전문화된 에이전트들이 협업하여 우수한 예측 성능을 달성하는 새로운 프레임워크인 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측(Multi-Agent Collaborative Time Series Forecasting with Emergent Memory, MACTS-EM)을 소개한다. MACTS-EM 아키텍처는 다음을 통합한다: (1) 패턴 인식, 이상 탐지, 인과 추론, 불확실성 정량화를 위한 도메인 특화 예측 에이전트; (2) 동적 에이전트 할당을 위한 메타인지 층(meta-cognitive layer); (3) 도메인 간 패턴 전이를 가능하게 하는 창발적 메모리 메커니즘; (4) 멀티모달 맥락 통합; (5) 적대적 강건성(adversarial robustness) 구성 요소. 금융 시장, 기후 패턴, 에너지 소비, 전염병 확산에 대한 평가 결과, MACTS-EM은 대부분의 시나리오에서 기존 접근법을 능가하며, 예측 정확도에서 8-12%의 향상, 제로샷 전이 능력에서 22-27%의 개선, 체제 전환 시 복원력에서 16-21%의 강화, 분포 변화 이후 회복 속도에서 15-18%의 향상을 보였다. 본 연구 결과는 시계열 예측에 대한 협업적이고 에이전트 기반(agentic)인 접근법이 전통적인 아키텍처를 넘어서는 유망한 방향임을 시사하며, 다중 해상도의 시간적 이해와 맥락적 적응을 요구하는 복잡한 실세계 시나리오에서 특히 그렇다.

arXiv:2610.03142v1cs.CV공통 태그 Uncertainty Quantification, Adversarial Robustness

CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증

CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification

심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.

arXiv:2610.02005v1cs.AI공통 태그 Uncertainty Quantification, Adversarial Robustness

움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증

Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries

다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.

arXiv:2610.01409v1cs.CV공통 태그 Uncertainty Quantification, Adversarial Robustness

사전학습된 객체 검출을 위한 위치파악 인식 불확실성

Localisation-Aware Uncertainty for Pretrained Object Detection

분포/공변량 변화(distribution/covariate shift) 및 적대적 공격(adversarial attack)이 발생할 수 있는 환경에서 객체 검출기를 배포하려면 신뢰할 수 있는 불확실성 추정(uncertainty estimation)이 필수적입니다. 기존 접근 방식은 흔히 검출기 재학습, 아키텍처 수정 또는 반복적인 추론(inference)을 요구하므로, 적용이 불가능하거나 상당한 오버헤드를 유발할 수 있습니다. 본 연구에서는 기본 검출기를 동결(frozen) 상태로 유지하면서 어떤 객체 위치파악(localisation)을 불확실한 것으로 간주해야 하는지 학습하는 경량 사후 증거 기반 메타 모델(post-hoc evidential meta-model)을 소개합니다. 제안하는 접근 방식은 위치파악 관련 특징을 자동으로 식별하고, 돌출도 기반 수정(saliency-guided modification)을 활용하여 점진적으로 더 까다로운 커리큘럼을 구성합니다. 검출 수준 목표는 위치파악 오차, 수정 수준, 예측 불안정성을 결합하여 증거 기반 메타 모델이 예측된 각 경계 상자(bounding box)의 불확실성을 추정하도록 유도합니다. 본 접근 방식은 검출기에 대한 수정을 요구하지 않으며 원래의 위치파악 출력을 보존합니다. 다양한 적대적 공격과 평가된 강도 전반에서 GRACE는 분포 내(in-distribution) 검출 성능을 유지하면서 일부 사례에서는 가장 강력한 비교 대상 대비 TP-FP AUROC를 22% 향상시킵니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.