arXiv:2610.01495v1 cs.AI

어텐션 잔차 트랜스포머에서 불확실성 신호로서의 라우팅 엔트로피 감사

Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers

Wenhao Liang, Lin Yue, Wei Emma Zhang, Mingyu Guo, Olaf Maennel, Weitong Chen

제출 2026-10-01

저자 비고

arXiv Comments

36 pages (9 pages main text)

한국어 초록

동적 아키텍처는 각 예측과 함께 예제별 라우팅 추적(routing trace)을 남기며, 분산된 라우팅은 예측을 신뢰하기 어렵다는 신호로 해석하기 쉽습니다. 본 연구에서는 소프트 빈 보정 보조 손실(soft-binned calibration auxiliary loss)을 적용하여 CIFAR-10/100에서 처음부터 학습(training)된 Swin-Tiny 및 DeiT-Small의 어텐션(attention) 잔차(Attention-Residual, AR) 변형 모델(model)들을 대상으로 라우팅 엔트로피에 대한 이러한 해석을 감사(audit)하며, 해당 추적이 모델 자체의 신뢰도(confidence)가 이미 드러내는 것 이상으로 정확도에 관한 정보를 전달하는지 질문합니다. 세 가지 점검을 통해 이러한 증가분을 탐색합니다. 고정된 신뢰도에서 라우팅 신호가 나타나는지, 학습 시드 전반에 걸쳐 재현되는지, 그리고 홀드아웃 예측기가 출력 전용 및 셔플된 추적 대조군에 대항하여 이를 활용할 수 있는지를 확인합니다. 이후 민감도 감사는 알려진 크기의 효과를 주입하고 탐침(probe)들이 각각의 얼마만큼의 비율을 회복하는지 측정합니다. 고정된 30개 테스트로 구성된 구간화(binned) 패밀리에서 다중성 보정(multiplicity correction)을 거쳐 살아남은 테스트는 없었으며, 명목상 적중이나 경계선상의 결과 모두 형제 시드에서 다시 발생하지 않았습니다. 24개의 쌍을 이룬 실행 전반에 걸쳐 스칼라 라우팅 탐침은 라우팅 계층화 보정에서 풀링된 개선을 가져오지 못했고, 엔트로피 프로파일 탐침은 셔플된 프로파일이 주어진 동일 탐침보다는 정확도를 더 잘 예측했으나 이진 로그 손실(binary log-loss)과 브라이어 점수(Brier score) 모두에서 신뢰도 전용 예측기보다는 성능이 떨어졌습니다. 즉, 셔플된 추적 대비 이득이 출력 대비 이득으로 이어지지는 않았습니다. 전체 로짓(logit) 벡터에 대한 조건화는 해당 비교를 미해결 상태로 남깁니다. 감사는 이러한 비검출(non-detection) 결과가 어느 수준까지 해석될 수 있는지 한계를 정합니다. 0.010 nats의 주입된 효과에서 프로파일 탐침은 오라클 이득의 24~59%를 회복하며, 참조 보존 보정 탐침은 두 가지 CIFAR-100 환경에서 각각 8% 및 23%를 회복하여 실제 레이블에 적용하기 위해 설정한 임계값에 미치지 못했습니다. 본 결과는 조건부 라우팅 정보의 부재가 아니라, 대조군에 따른 이득과 추정량 회복의 불완전성을 입증합니다.

원문 초록

Dynamic architectures leave a per-example routing trace beside each prediction, and diffuse routing is easy to read as a sign that the prediction is unreliable. We audit that reading for routing entropy in Attention-Residual (AR) variants of Swin-Tiny and DeiT-Small, trained from scratch on CIFAR-10/100 with a soft-binned calibration auxiliary loss, asking whether the trace carries information about correctness beyond what the model's own confidence already reveals. Three checks probe this increment: does a routing signal appear at fixed confidence, does it replicate across training seeds, and can a held-out predictor exploit it against output-only and shuffled-trace controls? A sensitivity audit then injects effects of known size and measures the fraction of each that the probes recover. No test in the fixed 30-test binned family survives multiplicity correction, and neither the nominal hit nor a borderline result recurs in its sibling seeds. Across 24 paired runs a scalar routing probe yields no pooled improvement in routing-stratified calibration, and an entropy-profile probe predicts correctness better than the same probe given shuffled profiles yet worse than a confidence-only predictor in both binary log-loss and Brier score: a gain over shuffled traces does not become a gain over the output. Conditioning on the complete logit vector leaves the corresponding comparison unresolved. The audit bounds how far these non-detections can be read: at an injected effect of 0.010 nats the profile probe recovers 24-59% of the oracle gain, and a reference-preserving correction probe recovers 8% and 23% in the two CIFAR-100 settings, below the threshold we fixed for applying it to real labels. The results establish control-dependent gains and incomplete estimator recovery, not the absence of conditional routing information.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01495v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26905v1cs.LG공통 태그 Uncertainty Quantification, Image Classification, model calibration

CORE-STACK+: 심층 스택 일반화를 위한 메타 학습

CORE-STACK+: Meta-Learning for Deep Stacked Generalization

이질적인 비전 백본(CNN, ViT, 하이브리드)을 스택하는 것은 정확도, 보정(calibration), 견고성을 위한 사실상의 표준이지만, 서로 맞물린 두 가지 병리가 그 이득을 제한한다. 예측 공간 다중공선성(prediction-space multicollinearity)은 메타 학습기의 Gram 행렬 조건을 악화시켜 가중치 분산을 키우고, 얇은 매니폴드 위에서 취약한 해법을 만든다. 보정 붕괴(calibration collapse)는 단순 선형 스택을 통해 구성 모델의 miscalibration을 누적 증폭하므로, 모델을 더 추가하면 기대 보정 오차(ECE)가 나빠질 수 있다. 기존 대안인 릿지 정규화, 탐욕적 선택, model soups, SWAG는 이 문제들 중 최대 하나만 다루며, 이질적 예측 풀에서 conditioning과 calibration을 동시에 겨냥하는 방법은 없다. 우리는 CORE-STACK+를 제안한다. 네 가지 구성 요소를 갖는 사전조건화(preconditioning) 파이프라인으로, (i) Pearson 상관으로는 보이지 않는 비선형 모델 간 의존을 제거하는 커널화 중복 필터(Centered Kernel Alignment, CKA [23] 사용), (ii) 앙상블 통계에 대한 샘플별 어텐션을 학습하는 1.5만 미만 매개변수의 미분 가능 메타-특징 게이트, (iii) Marchenko-Pastur 신호-잡음 분해에서 유도한 스펙트럼 적응형 Ridge 페널티 $\lambda^{\star}=lmax(\hat{C})/\mathrm{SNR}(\hat{C})$로 중첩 교차 검증을 제거, (iv) inverse-RMSE 휴리스틱을 대체하는 Laplace 근사 베이지안 블렌더이다. 우리는 예측 공간 중복과 메타 학습기 용량을 처음으로 공동 반영하는 PAC-Bayes 초과 위험(excess-risk) 상계를 증명한다. 여섯 벤치마크에서 CORE-STACK+는 ImageNet-1K top-1 +1.8%, ImageNet-C mCE -4.2, ADE20K mIoU +0.9, COCO AP +1.3을 달성하면서 유지 모델 수를 35–57% 줄이고 추론 FLOPs를 최대 41% 감소시킨다. ECE는 사후 온도 스케일링(post hoc temperature scaling) 없이도 깊은 앙상블 대비 2.1배 개선된다.

arXiv:2610.15742v1cs.CV공통 태그 Uncertainty Quantification, Image Classification

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2610.03142v1cs.CV공통 태그 Uncertainty Quantification, Image Classification

CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증

CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification

심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.

arXiv:2610.02005v1cs.AI공통 태그 Uncertainty Quantification, model calibration

움직임을 세고 목소리의 무게를 달다: 지속적 적대자가 존재하는 환경에서 보정된 다중 LLM 협의회를 위한 베이지안 변증법적 논증

Counting Moves, Weighing Voices: Bayesian Dialectical Argumentation for Calibrated Multi-LLM Councils under Persistent Adversaries

다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.

arXiv:2609.27409v1cs.LG공통 태그 Uncertainty Quantification, Image Classification

생물 다양성 모니터링을 위한 능동 학습: 라벨 효율에서 신뢰 가능한 생태학적 추론까지

Active Learning for Biodiversity Monitoring: From Label Efficiency to Reliable Ecological Inference

전문가 어노테이션 역량의 한계는 생물 다양성 모니터링에서 흔한 제약이다. 수동 음향 기록 장치와 카메라 트랩은 전문가가 분석할 수 있는 속도보다 빠르게 데이터를 생성한다. 기계 학습(ML) 모델은 이러한 데이터를 대규모로 처리할 수 있지만, 그 신뢰성은 라벨이 붙은 표본의 품질, 양, 커버리지에 달려 있어 전문가 시간은 여전히 병목이다. 능동 학습(active learning, AL)은 고정된 어노테이션 예산 하에서 모델을 가장 크게 개선할 것으로 기대되는 표본을 선택함으로씨 이 병목을 완화하며, 발표된 근거에 따르면 목표 성능에 도달하는 데 필요한 라벨 수를 줄일 수 있다. 그러나 모니터링 프로그램은 더 넓은 질문에 직면한다: 제한된 전문가 예산을 어떻게 나누어야 모델 학습, 검증, 그리고 모델 출력에 기반한 생태 추정이 모두 신뢰 가능하게 유지되는가? AL은 표본을 비무작위로 선택하므로, 그 라벨은 검증, 보정(calibration), 또는 임계값 선택에 적합하지 않으며, 이 긴장은 드물게 인식된다. 우리는 음향 및 영상 양식에 걸친 AL 연구를 종합하고 공백과 기회를 식별한다. 대부분의 연구는 시뮬레이션 어노테이터를 사용한 사전 라벨 벤치마크에서 쿼리 전략을 평가하며, 실제 모니터링 워크플로에서의 배포는 드물고 조류와 고래류에 집중되어 있다. 박쥐, 곤충, 양서류, 어류는 과소 대표되며, 멀티모달 응용은 대체로 미탐색 상태이다. 평가는 어노테이션 노력의 헤드라인 감소에 초점을 맞추는 경우가 많고, 무작위 샘플링 베이스라인, 클래스별 결과, 또는 보정 분석 없이, 검증에 필요한 라벨을 거의 반영하지 않는다. 우리는 이러한 예산 결정을 명시적으로 드러내는 AL 루프에 대한 튜토리얼적 정리를 제공하고, 라벨 효율적 학습, 검증, 신뢰할 수 있는 하류 생태학적 추론을 지원하는 AL 방법을 향한 로드맵을 제시한다.

arXiv:2609.26489v1cs.CL공통 태그 Uncertainty Quantification, model calibration

LLM 평가에서 일급 기준으로서의 캘리브레이션

Calibration as a First-Class Criterion in LLM Evaluation

언어 모델의 캘리브레이션(calibration, 표현되거나 내재된 확신도와 실증적 정확도 간의 일치)은 자연어 처리(NLP) 분야 내에서 잘 연구되어 온 하위 분야입니다. 이를 측정하는 방법은 이미 존재합니다. 문제는 도입(adoption)에 있습니다. 이 하위 분야를 벗어난 NLP 연구에서는 모델의 확신도 점수가 유의미한지 확인하지 않은 채 정기적으로 새로운 모델, 데이터셋, 벤치마크를 도입하고 있습니다. 우리는 이러한 도입 격차가 신뢰할 수 있는 대규모 언어 모델(LLM) 평가의 주된 장애물이라고 주장합니다. 잘못된 캘리브레이션(miscalibration)은 두 가지 뚜렷한 영역에서 문제를 일으킵니다. 첫째는 과도하게 확신하는 실수가 실제 피해를 초래하는 배포 단계이며, 둘째는 LLM-as-a-judge, 합성 데이터 생성, 능동 학습(active learning)과 같은 방법들이 이를 검증하지 않은 채 캘리브레이션된 확신도에 의존하는 연구 파이프라인 내부입니다. 표준 캘리브레이션 지표는 예제당 확신도 점수와 정확도 판단이라는 두 가지 입력만을 필요로 합니다. 오늘날 널리 사용되는 대부분의 벤치마크는 이미 이 둘을 모두 제공하므로, 캘리브레이션을 즉시 보고할 수 있습니다. 그러나 개방형 생성(open-ended generation)의 경우, 이 두 입력을 정의하는 것은 여전히 미해결 과제입니다. 우리는 각 NLP 하위 분야가 주요 성능 지표와 캘리브레이션 점수를 결합해야 한다고 주장하며, 캘리브레이션을 지엽적인 주제가 아닌 모든 모델의 필수적인 속성으로 다룰 것을 촉구합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.