PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13693v1cs.LG

단 한 번의 과정으로 수행하는 캘리브레이션: 정확하고 잘 보정된 신경망의 결합 학습

Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks

신경망(NN)은 매우 유연하고 다재다능하지만 신뢰도 보정(calibration)이 제대로 이루어지지 않는 경우가 많습니다. 사후 캘리브레이션(post-hoc calibration) 방식은 별도의 캘리브레이션 데이터셋과 추가 파라미터를 사용하여 이미 학습된 모델의 출력을 조정합니다. 그러나 이러한 과정은 캘리브레이터의 독립적인 최적화와 후속 모델 선택을 필요로 하여 오버헤드를 가중시킵니다. 본 논문에서는 표준 사후 캘리브레이터를 이단계 슈타켈버그(bilevel Stackelberg) 정식화를 통해 백본과 함께 엔드투엔드(end-to-end)로 학습할 수 있음을 보입니다. 이 정식화는 교차 엔트로피를 사용해 정확도와 캘리브레이션을 결합 최적화함으로써 별도의 캘리브레이션 셋이나 전용 캘리브레이션 손실 없이도 동작하며, 캘리브레이터 학습률이라는 단 하나의 추가 하이퍼파라미터만을 도입합니다. 본 프레임워크는 온도 스케일링(temperature scaling) 및 행렬 스케일링(matrix scaling)부터 신경망 층에 이르는 다양한 캘리브레이터를 지원하지만, 실험 결과 최종 분류 층 자체를 캘리브레이터로 사용하는 것만으로도 추가 파라미터 없이 정확하면서도 잘 보정된 모델을 얻을 수 있음을 보여줍니다. 제안하는 접근법은 최소한의 복잡도 추가만으로 최신 최고 수준(SOTA)의 캘리브레이터들을 능가하며, 멀티태스크 학습과 같은 설정에서 별도 캘리브레이션 컴포넌트로 인해 발생하는 곱절의 오버헤드 또한 방지합니다.

arXiv:2607.13423v1cs.LG

온도 스케일링만으로는 부족하다: 인간 레이블 분포 하의 보정 격차

Temperature Scaling Is Not Enough: Calibration Gaps Under Human Label Distributions

온도 스케일링(temperature scaling)은 현대 심층 학습에서 지배적인 사후(post-hoc) 보정(calibration) 방법이다. 그 이론적 정당성은 드물게 명시되는 가정, 즉 정답(ground-truth) 레이블이 one-hot이며 결정론적(deterministic)이라는 것에 기반한다. 실제로 레이블은 종종 소프트(soft), 크라우드소싱(crowd-sourced), 또는 진정한 분포적(distributional) 형태이며, 이는 어노테이션 노이즈가 아니라 인간 어노테이터 간의 실제 불일치를 반영한다. 우리는 이 가정이 위반될 때 온도 스케일링이 보정 특성을 유지하는지, 그리고 그로 인한 성능 저하가 모델 규모에 따라 달라지는지를 연구한다. 인간 어노테이션 소프트 레이블 분포를 제공하는 공개 데이터셋인 CIFAR-10H와 ChaosNLI를 사용하여, hard one-hot 레이블과 soft 분포적 레이블 타깃 모두에서 모달리티당 세 가지 모델 규모를 평가한다. 아홉 가지 구성 전반에 걸쳐 양의 소프트 레이블 보정 격차를 발견한다: hard 레이블로 보정된 온도 스케일링은 soft 레이블로 직접 보정된 오라클(oracle)보다 일관되게 열위이며, Brier Score 격차는 0.002에서 0.134까지 범위에 있다. 격차는 비전(vision) 도메인과 ChaosNLI의 SNLI 유래 split에서 모델 규모에 따라 단조적으로 증가하며, 언어(language) 도메인(평균 격차 0.079)에서 비전(평균 격차 0.003)보다 실질적으로 더 크다. MNLI 유래 split에서의 규모 순서 역전은 동일 도메인(matched-domain) 학습 후에도 남아 있으며, 이를 규모 가설에 대해 결론적이지 않은(inconclusive) 것으로 간주하고 주로 해당 split에서의 거의 우연 수준(near-chance) 정확도에 기인한다고 본다. 두 번째 사후 기준선으로, 다중 클래스 isotonic regression은 동일한 정성적 결론을 보인다: 아홉 가지 구성 모두에서 양의 소프트 레이블 격차, 그리고 비전보다 언어에서 더 큰 격차. 이러한 발견은 다수결 투표(majority-vote) 레이블에 기반한 보정 프로토콜이 레이블 모호성이 구조적인 곳 어디에서든 모델 신뢰성을 체계적으로 왜곡함을 시사하며, 안전성이 중요한(safety-critical) 환경에서의 배포에 직접적인 영향을 미친다.

arXiv:2607.11542v1cs.LG

확률적 분류기에 대한 사후 교정 방법의 조건 계층화 강건성 분석

Condition-Stratified Robustness Analysis of Post-Hoc Calibration Methods for Probabilistic Classifiers

사후 교정(post-hoc calibration)은 학습된 분류기의 확률 추정값을 보정하기 위해 널리 사용되지만, 대부분의 평가는 단일 데이터셋 내의 서로 다른 운영 조건에 걸쳐 해당 성능이 유지되는지 검증하지 않고 집계 성능만을 보고한다. 우리는 네 가지 통제 조건(C1--C4)에 걸쳐 온도 스케일링(TEMP)과 등온 회귀(ISO)를 비교하는 사전 등록된 조건 계층화 강건성 분석을 제시한다. 네 가지 가설 그룹을 평가한다: Holm 교정 다중성 제어를 적용한 판별 델타(H1), 브라이어 점수 차이(H2), 교정 기울기 결과(H3), 최적 조건 설정에서의 AUROC 차이(H4). TEMP와 ISO 간 판별 델타는 모든 조건에 걸쳐 작게 유지되며(-0.0155에서 0.0139), Holm 조정 p값은 어디서나 0.9895이다. TEMP의 브라이어 점수 차이는 일관되게 음수(C1: -0.0002에서 C4: -0.0074)인 반면, ISO는 부호 반전을 보인다. TEMP의 교정 기울기는 모든 조건에서 ISO 기울기(0.1364--0.2726)보다 1에 더 가깝게 유지된다(범위 0.7597--0.9493). AUROC 차이는 C1에서 0에 가깝다가(-0.0004) C4에서 양수로 전환된다(0.0264). 이러한 결과는 데이터셋 내 강건성이 조건 의존적이며 지표별로 다름을 확인한다. 외부 이전 가능성(external transportability)에 대한 주장은 하지 않는다.

arXiv:2607.10804v1cs.LG

When does distribution shift break graph neural networks calibration?

Graph neural networks (GNNs) are increasingly deployed in real-world applications where distribution shift is un-avoidable. However, how such shifts affect model calibration, defined as the agreement between predictive confidence and actual accuracy, remains poorly understood, and existing graph calibration methods typically rely on labeled validation data from the deployment distribution. In this work, I present the first closed-form theoretical characterization of GNN calibration under distribution shift. I show that calibration is governed by a single scalar quantity that explicitly depends on structural changes between the source and target graphs, as well as feature quality. This characterization precisely identifies when a model becomes over-confident, under-confident, or remains calibrated, and directly yields the optimal temperature scaling strategy. I further extend the analysis to graph convolutional networks with symmetric normalization, multi-class classification, and covariate shift, and derive a theoretical upper bound on the expected calibration error. My analysis also reveals that, under homogeneous distribution shift, a single global temperature is theoretically optimal, providing a principled explanation for why more complex node-wise recalibration methods offer no additional benefit. Building on these theoretical insights, I propose STAC, a source-free, label-free calibration method. Experiments on synthetic benchmarks demonstrate substantial calibration improvements, while evaluations on five real-world graph datasets show that reliable calibration without target labels remains challenging despite the strong predictive power of the theory.

arXiv:2607.08377v1cs.LG

대규모 언어 모델의 의미론적 임베딩을 위한 고유값 보정

Eigenvalue Calibration for Semantic Embeddings of Large Language Models

대규모 언어 모델(LLM)의 의미론적 임베딩에서 생성되는 밀도 행렬(density matrix)의 고유값(eigenvalue)을 보정하는 새로운 프레임워크를 제안하며, LLM을 밀도 행렬 예측기로 해석하고 온도 스케일링(temperature scaling)을 고유값에 적용해 불확실성 정량화를 이론적으로 정립한다. 다양한 실험을 통해 현재 LLM들이 체계적으로 과신(overconfident) 성향을 보임을 확인하고, 고유값 보정이 기대 보정 오차(ECE)를 효과적으로 낮춤을 검증한다.

arXiv:2607.01902v1cs.CV

시맨틱 분할에서의 사후 캘리브레이션 재고

Rethinking Post-Hoc Calibration in Semantic Segmentation

시맨틱 분할(semantic segmentation) 모델의 사후 캘리브레이션(post-hoc calibration)에서 로짓(logit) 비식별성으로 인한 표현 의존성 문제와 Dice 기반 학습 목적함수와의 불일치 문제를 체계적으로 분석하고, 평행이동 불변(translation-invariant) 캘리브레이터와 의사결정 보존 클래스 조건부 어파인 캘리브레이터를 제안한다. 자연 이미지 및 의료 분할 벤치마크 실험에서 TI 변형은 캘리브레이션 지표를 개선하고, 의사결정 보존 변형은 분할 성능 저하를 방지하면서도 강력한 캘리브레이션 성능을 유지함을 확인하였다.

arXiv:2505.15437v4stat.ML

컨포멀 예측을 이용한 적응형 누적 질량 보정

Adaptive Cumulative Mass Calibration with Conformal Prediction

컨포멀 예측(conformal prediction)을 활용해 분류기의 예측 확률 보정(calibration) 문제를 해결하는 새로운 프레임워크를 제안하며, 누적 질량 보정(cumulative mass calibration) 개념과 이를 측정하는 CMCE 오류 지표를 도입한다. 입력별 온도를 이진 탐색으로 조정하는 적응형 온도 스케일링(adaptive temperature scaling) 알고리즘을 통해 보장된 주변 커버리지를 달성하며, CIFAR-100·ImageNet·iNaturalist21 등 다수 클래스 이미지 분류 태스크에서 CMCE 및 ECE 등 표준 보정 지표 모두에서 기존 기준선을 능가함을 보인다.

arXiv:2606.21749v1cs.CV

신뢰도 보정을 위한 분위수 적응형 온도 스케일링

Quantile Adaptive Temperature Scaling for Confidence Calibration

깊은 신경망은 종종 잘못 보정된 신뢰도 추정치를 생성하며, 예측이 틀렸을 때조차 확실성을 과대평가한다. Temperature Scaling은 단순함과 효과성 덕분에 가장 널리 사용되는 사후(post-hoc) 보정 방법으로 남아 있지만, logits에 대한 전역적이고 균일한 재스케일링은 신뢰도 스펙트럼 전반에서 관찰되는 보정 불량(miscalibration)의 고도로 이질적인 구조를 교정하지 못한다. 특히 설정에 따라 가장 큰 정확성-신뢰도 불일치는 서로 다른 분위수 영역에서 발생하며, 불확실성이 가장 중요한 저신뢰도 예측에서 가장 큰 정확성-신뢰도 불일치가 나타나는 경향이 있는데, 표준 TS는 이를 대부분 해결하지 못한다. 우리는 예측의 경험적 신뢰도 분위수의 함수로 온도를 적응시키는 단순하고 효율적인 사후 보정 방법인 Quantile Adaptive Temperature Scaling(QaTS)를 제안한다. 신뢰도를 분위수 공간으로 매핑함으로써 QaTS는 보정 문제를 정규화하고, 보정 불량의 구조를 명시적으로 드러내며, 분위수에 걸쳐 적응하는 단조(monotone) 온도 함수를 가능하게 하면서 잘 보정된 고신뢰도 예측은 대체로 변하지 않게 하여 고신뢰도 거동을 보존한다. 이 분위수 인식(quantile-aware) 공식화는 재매개변수화된 Expected Calibration Error(ECE) 목적함수와 자연스럽게 정렬되며, 클래스 불균형 및 분포 이동(distributional shift)과 같은 다양한 어려운 시나리오에서 견고한 샘플별 온도를 제공한다. 다양한 데이터셋, 아키텍처, 평가 시나리오 및 다양한 작업에 걸쳐 QaTS는 일관되고 상당히 최신 사후 보정 방법들을 능가하며, 모델 예측을 수정하지 않고 더 신뢰할 수 있고 믿을 만한 신뢰도 추정치를 제공한다.

arXiv:2606.13233v1cs.LG

ReSET: 단계 인식 온도 스케일링을 통한 정확한 지연 시간 민감 NVFP4 추론

ReSET: Accurate Latency-Critical NVFP4 Reasoning via Step-Aware Temperature Scaling

대규모 추론 모델(LRM)의 NVFP4 양자화(quantization)로 인한 정확도 저하 문제를 해결하기 위해, 토큰 및 추론 단계의 엔트로피(entropy)를 기반으로 온도 스케일링을 조절하는 ReSET 방법과 CUDA 기반의 최적화된 커널(kernel)을 제안한다. 제안된 방법은 기존 NVFP4 대비 정확도를 최대 2포인트 향상시키고, BF16 대비 약 2배의 추론(inference) 속도를 달성한다.