PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26839v1cs.LG

LWCal: 노이즈 보정 레이블을 갖는 표 형식 분류기를 위한 손실 가중 보정

LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels

사후 확률 보정은 보통 낙관적인 가정 아래 평가된다: 홀드아웃 보정 레이블이 깨끗하다는 것이다. 그러나 많은 AI 배포 환경에서는 레이블이 약한 annotator, 과거 결정, 휴리스틱, 또는 distant supervision에서 오므로, 학습을 손상시키는 것과 같은 레이블 노이즈가 보정도 손상시킨다. 우리는 표 형식 분류기에서 이 간과된 실패 모드를 연구하고, 베이스 모델의 홀드아웃 확률과 모순되는 노이즈 레이블을 가진 보정 예시의 가중치를 낮추는 CPU 전용 사후 보정기 LWCal을 제안한다. LWCal은 깨끗한 검증 레이블, 노이즈 비율 추정, 베이스 분류기의 재학습이 필요 없다. 두 번째 변형인 Gated-LWCal은 보수적인 불일치 게이트를 추가하여 보정 분할이 극도로 불일치해 보일 때 원시 점수 쪽으로 후퇴한다. 아홉 개의 로컬 이진 표 형식 태스크, 여섯 개의 무작위 시드, 대칭 및 비대칭 레이블 손상, 세 가지 트리 기반 베이스 학습기에서 LWCal은 평균 보정 오차가 가장 낮고 Gated-LWCal은 평균 proper score 트레이드오프가 가장 좋다. 432개의 노이즈 셀에 대한 주요 random-forest 연구에서 Gated-LWCal은 원시 분류기 대비 기대 보정 오차(ECE)를 0.188에서 0.122로, 음의 로그 가능도(NLL)를 0.438에서 0.396으로 줄인다. Gated-LWCal 대 원시, Platt, isotonic, beta 보정에 대한 paired bootstrap 구간은 ECE, Brier score, NLL에서 0을 배제한다. 아티팩트에는 모든 스크립트, 결과 표, 그림, 및 컴파일된 논문이 포함되어 있다.

arXiv:2508.09697v4cs.LG

최적 뇌 손상(Optimal Brain Damage) 마스킹을 통한 라벨 노이즈 강건 학습

Label-Noise Resistant Learning via Optimal Brain Damage Masking

실세계 멀티미디어 응용에서 노이즈 라벨은 불가피하다. 심층 신경망의 강한 암기(memorization) 용량으로 인해, 이러한 노이즈 라벨은 상당한 성능 저하를 초래한다. 기존 노이즈 강건 방법들은 주로 강건한 손실 함수와 샘플 선택 전략에 초점을 맞춰 왔으며, 동적 아키텍처 적응에 대한 탐구는 상대적으로 제한적이었다. 본 논문에서는 라벨 노이즈 하에서 분류기(classifier) 연결성의 역할을 재고한다. 직관적으로, 성능 저하는 노이즈 그래디언트의 역전파에서 비롯된다. 최종 분류기 층이 이러한 오류 전파의 주요 관문 역할을 하므로, 중복 연결을 선택적으로 제거하면 노이즈 그래디언트의 역전파 경로를 제한할 수 있다. 이에 따라 중복 연결을 식별하기 위해, 모델 압축 분야의 획기적인 최적 뇌 손상(Optimal Brain Damage, OBD) 이론을 활용한다. 이 이론은 손실 교란이 무시할 만한 수준인 파라미터는 제거할 수 있다고 본다. 이 원칙에 따라, 낮은 활성화 엣지를 마스킹하면 추정 손실 교란이 제한되어 모델의 적합 능력을 보존하면서, 노이즈로 인한 그래디언트 오류에 대한 유도된 상한을 조여준다는 것을 보인다. 이理論적 통찰과 실용적 학습을 연결하기 위해, 노이즈 강건성을 높이기 위해 fully connected(FC) 층에 대한 새로운 선택적 엣지 마스킹(Selective Edge Masking, SEM) 메커니즘을 제안한다. 이는 정보 전파를 위한 핵심 엣지를 적응적으로 유지하면서 노이즈 라벨로 인한 그래디언트 오류를 억제할 수 있다. 플러그 앤 플레이(plug-and-play) 구성 요소로서, SEM은 다양한 노이즈 강건 방법에 원활하게 통합될 수 있다. 또한 분류기로 사용되는 새롭게 등장한 Kolmogorov-Arnold Network(KAN)에 SEM을 적용하여 그 적용 가능성을 검증한다. 합성 및 실세계 벤치마크에 대한 광범위한 평가를 통해, 본 접근법이 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2607.12438v1cs.LG

Fisher Rank Inflation: 라벨 노이즈 하에서 암기화의 스펙트럴 시그니처

Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise

라벨 노이즈로 학습된 깊은 신경망은 손상된 라벨을 암기하기 전에 종종 깨끗한 구조를 먼저 학습한다. 우리는 이 전환이 예시별 마지막 층 그래디언트의 중심화된 scatter에 스펙트럴 시그니처를 남긴다는 것을 보여준다. 유효 순위(effective rank)는 암기화 동안 일시적으로 확장되고, 손상된 라벨이 맞춰진 뒤에는 수축한다. 우리는 이 현상을 Fisher Rank Inflation이라 부른다. 손상된 라벨은 저에너지 또는 이전에 사용되지 않았던 고유방향(eigendirection)에 스펙트럴 질량(spectral mass)을 주입하여 유효 순위를 높이고, 그래디언트 스펙트럼의 엔트로피를 증가시킨다. 우리는 1차 leave-one-out 기여(attribution) 공식을 유도하고, 손상된 예시가 깨끗한 예시보다 더 강하게 기여하는 조건을 밝히며, 정규화된 Fisher-그래디언트 스펙트럼이 안정화된 뒤 기여 신호가 약해지는 이유를 설명한다. 우리는 SmallCNN, ResNet18, Vision Transformer를 사용해 CIFAR-10, CIFAR-100, CIFAR-10N에서 이러한 예측을 검증한다. 모든 설정에서 Fisher 유효 순위는 암기화와 정렬된 일관된 팽창-붕괴(inflation-collapse) 궤적을 보인다. 순위가 최고인 체크포인트에서 손상된 예시는 순위 기여도가 가장 높은 샘플들 가운데 풍부하게 나타나며, 5-seed 합성 손상 실험에서는 top-100 noisy fraction이 \(69.2\%\)에서 \(96.2\%\)이고 CIFAR-10N에서는 \(94.4\%\pm1.9\%\)이다. 1차 스펙트럴 기여(attribution)는 합성곱 모델에서 정확한 leave-one-out 기여와 밀접하게 일치하며 Vision Transformer에서도 풍부함을 유지한다. 최고 유효 순위는 손상 심각도에 따라 단조 증가하며, 깨끗한 학습에서는 \(28.88\pm1.95\)에서 \(60\%\) 손상에서는 \(97.09\pm1.78\)까지 증가한다. 여러 설정에서 사후적으로 식별된 순위 팽창의 시작은 관측 가능한 테스트 성능 저하보다 앞서 나타난다. 이러한 결과는 Fisher Rank Inflation을 손상된 예시의 풍부화, 손상 심각도, 구조 학습에서 암기화로의 전환을 연결하는 스펙트럴 시그니처로 확립한다.

arXiv:2509.15120v2cs.LG

라벨 노이즈 하에서 회귀 모델을 위한 효율적인 콘포멀 예측

Efficient Conformal Prediction for Regression Models under Label Noise

의료 영상 응용과 같은 고위험(high-stakes) 시나리오에서는 회귀 모델의 예측에 신뢰할 수 있는 신뢰 구간(confidence intervals)을 부여하는 것이 매우 중요하다. 최근 콘포멀 예측(Conformal Prediction, CP)은 라벨이 있는 보정 집합(calibration set)을 기반으로 사전에 지정된 확률로 참 라벨을 포함하는 구간을 생성하는 강력한 통계적 프레임워크로 등장했다. 본 논문에서는 보정 집합에 노이즈가 있는 라벨이 포함되어 있을 때 회귀 모델에 CP를 적용하는 문제를 다룬다. 먼저 노이즈가 없는 CP 임계값을 추정하기 위한 수학적으로 견고한 절차를 확립하고, 이를 회귀 문제의 연속적 특성에서 비롯되는 어려움을 극복하는 실용적인 알고리즘으로 발전시킨다. 제안된 방법을 가우시안 라벨 노이즈가 있는 두 개의 의료 영상 회귀 데이터셋에서 평가한 결과, 기존 대안을 크게 능가하며 깨끗한 라벨(clean-label) 설정에 가까운 성능을 달성했다.

arXiv:2607.08103v1cs.LG

확률적 순서 학습: 노이즈 데이터를 활용한 순위 추정 접근법

Stochastic Order Learning: An Approach to Rank Estimation Using Noisy Data

노이즈가 포함된 순서형 레이블 하에서의 순위 추정 문제를 확률적 순서화(stochastic ordering) 문제로 재정식화하여, 각 인스턴스를 단일 결정론적 순위 대신 여러 그럴듯한 순위와 확률적으로 연관시키는 확률적 순서 학습(SOL) 프레임워크를 제안한다. SOL은 인스턴스-센트로이드 상호작용을 구조화하는 판별 손실(discriminative loss)과 인스턴스 간 확률적 순서 관계를 강제하는 stochastic order loss라는 두 가지 상호 보완적인 목표를 통해 임베딩 공간을 학습하며, 다양한 데이터셋에서 여러 유형과 수준의 레이블 노이즈 하에 신뢰할 수 있는 순위 추정 성능을 입증한다.

arXiv:2607.03436v2cs.LG

라우팅 갭의 얼마나가 실제인가? 라우터-오라클 갭을 재현 가능한 전문가 이점과 단일 샘플 레이블 노이즈로 분해하기

How Much of the Routing Gap Is Real? Decomposing the Router-to-Oracle Gap into Reproducible Specialist Advantage and Single-Draw Label Noise

LLM 라우팅 벤치마크에서 보고되는 라우터-오라클 갭의 12~36%는 확률적 디코딩에 의한 단일 샘플 레이블 노이즈임을 수학적으로 증명하고, 나머지 대부분은 단일 커밋 라우터로 회복 가능한 진정한 전문가 이점임을 보인다. 이 회복 불가능한 노이즈 하한은 어떤 단일 커밋 라우터로도 포착할 수 없지만 테스트 타임 샘플링(best-of-K)으로는 회복 가능하다는 회복 가능성 비대칭(recoverability asymmetry)을 증명하며, 이를 측정하기 위한 다중 샘플 오라클 프로토콜을 공개한다.

arXiv:2607.02594v1cs.CV

심층 학습 네트워크의 손실 함수 시퀀스를 기반으로 잘못 레이블된 이미지를 식별하는 자동화 방법

An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

심층 학습은 의료 영상 분석에 널리 적용되고 있으나, 수동으로 레이블된 이미지의 최대 10%가 잘못 표기될 수 있어 모델 성능이 저하될 수 있다. 본 논문은 여러 학습 에폭에 걸쳐 심층 학습 분류 네트워크의 손실 함수 시퀀스를 분석함으로써 잘못 레이블된 의료 이미지를 자동으로 식별하는 방법을 제안한다. 식별된 이미지는 전문가가 검토 및 재레이블링하여 데이터셋 품질과 모델 성능을 향상시킬 수 있다. 두 가지 실험을 통해 참조 가능한 당뇨병성 망막증 선별을 위한 안저 이미지 데이터셋에서 본 방법을 검증하였다. 첫 번째 실험에서는 10,788개의 골드 스탠다드 레이블 중 6%(648개)를 의도적으로 반전시켰다. 본 방법은 반전된 샘플의 75.31%(488개)를 식별하였으며, 올바르게 레이블된 샘플 중 위양성은 4.85%(492개)에 불과하였다. 두 번째 실험에서는 식별된 980개 샘플(데이터셋의 9.1%)을 검토 및 수정한 후 모델을 재학습한 결과, 독립 테스트 세트에서의 최고 정확도가 95.93%(6% 레이블 노이즈)에서 96.50%(1.5% 노이즈)로 향상되었으며, 이는 이상적인 96.57%(0% 노이즈)에 근접한 수치이다. 본 결과는 자동화된 레이블 품질 관리를 통해 모델 성능을 향상시키는 방법의 효과를 입증한다.

arXiv:2606.31446v1cs.CL

RVL-CDIP 재검토: 오류 정량화와 테스트-학습 데이터 중복 분석

Revising RVL-CDIP: Quantifying Errors and Test-Train Overlap

문서 분류 벤치마크로 널리 사용되는 RVL-CDIP 데이터셋을 전수 감사한 결과, 전체의 약 12%가 레이블 오류이고 테스트 세트의 약 35%가 학습 세트와 중복됨을 확인했다. 레이블 오류를 제거하면 분류 정확도가 향상되고 분포 외(OOD) 벤치마크인 RVL-CDIP-N에서 지도학습 모델의 정확도가 평균 8.1 퍼센트포인트 개선되었으나, 중복 제거 시에는 오히려 정확도가 하락했다.

arXiv:2606.21916v1cs.LG

데이터 가지치기: 중복, 문제적, 상호의존적 샘플

Data Pruning: Redundant, Problematic, and Interdependent Samples

심층 학습 모델의 성능은 데이터 양뿐만 아니라 데이터 품질에도 영향을 받는다. 데이터 가지치기(data pruning)는 가장 중요한 학습 데이터 포인트만 유지함으로써 데이터셋 크기를 줄이고, 이를 통해 유사한 테스트 성능을 달성하는 프로세스이다. 우리는 노이즈가 있는 조건과 없는 조건 모두에서 널리 사용되는 두 가지 데이터 가지치기 방법을 실증적으로 조사하고, 유의미한 레이블 노이즈가 존재할 경우 이러한 방법들이 실패함을 보인다. 우리는 데이터 가지치기의 성공이 세 가지 요인, 즉 데이터셋 내의 중복성, 문제적 샘플의 존재, 샘플 간 상호의존성에 의해 뚜렷하게 영향을 받음을 강조한다. 우리는 일반적으로 사용되는 벤치마크 분류 데이터셋과 신경망 아키텍처에 대해 상세한 조사를 수행한다. 우리의 관찰이 데이터 분포와 학습 프로토콜 전반에 걸쳐 일관됨을 확인한다.

arXiv:2606.19186v1cs.RO

지연 및 오탐 AEB 이벤트 주석 학습: 극심한 클래스 불균형과 비대칭 라벨 노이즈를 위한 실용적 시스템

Learning to Annotate Delayed and False AEB Events: A Practical System for Extreme Class Imbalance and Asymmetric Label Noise

자동 긴급 제동(AEB) 최적화는 정확하게 주석이 달린 실제 트리거 이벤트, 특히 시스템 결함을 드러내는 드물지만 중요한 지연 및 오탐 AEB 트리거에 의존합니다. 그러나 이러한 소수 샘플은 매일 수천 건의 트리거 중 5% 미만을 차지하여 대규모로 수동 주석을 수행하는 데 비용이 과도하게 높습니다. 우리는 이 문제를 해결하기 위한 최초의 자동화된 AEB 주석 프레임워크를 제시합니다. 개발 과정에서 우리는 지연/오탐 트리거 주석 정확도를 심각하게 저해하는 두 가지 근본적인 과제를 확인했습니다: (1) 지연/오탐 트리거가 정상 트리거에 의해 압도되는 극심한 클래스 불균형; (2) 잘못 라벨링된 다수 샘플(정상 트리거)이 소수 샘플(지연/오탐 트리거)의 학습을 억제하는 비대칭 라벨 노이즈. 이러한 과제를 극복하기 위해 우리는 두 가지 핵심 혁신을 제안합니다: (1) 초점 대상 속성을 조작하고, 자차(ego-vehicle) 동역학을 이식하며, 비초점 에이전트를 마스킹하여 현실적인 샘플을 합성하는 특화된 데이터 증강; (2) 잘못 라벨링된 정상 트리거 샘플을 정제하기 위해 안정적인 난이도 추정과 프로브 유도 적응형 임계값을 사용하는 노이즈 억제. 무엇보다 중요한 것은, 우리는 모델을 풀스택 아키텍처를 갖춘 실용적인 주석 시스템으로 배포하여 매일 수천 건의 AEB 이벤트 중에서 중요한 지연/오탐 트리거를 효율적으로 식별한다는 점입니다. 실제 운영 결과는 지연/오탐 트리거의 재현율(recall)이 80% 향상되고 수동 작업량이 50% 감소했음을 보여줍니다. 즉각적인 이득을 넘어, 이 시스템은 축적된 고품질 주석을 통해 지속적인 자기 개선을 가능하게 하여, 차량 탑재 AEB 시스템 최적화에 필요한 데이터 기반을 확립합니다.

arXiv:2606.18390v1cs.LG

MOLAR: 노이즈 라벨로부터 멀티모달 분자 표현 학습

MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

노이즈 라벨 환경에서 멀티모달 분자 표현 학습을 위해 MOLAR를 제안하며, 잠재적 깨끗한 특성(clean-property) 추론과 기록된 라벨 관찰을 분리하고 그래프·텍스트 뷰의 잔차 증거를 범주형 라벨 관찰 채널로 연결해 학습합니다. 자연적으로 노이즈가 포함된 분자 벤치마크와 제어된 라벨 플리핑(label-flipping) 벤치마크에서 대표 기준선을 일관되게 능가하며, 사후 라벨 신뢰도와 모달리티별 분자 증거 진단을 제공합니다.

arXiv:2606.07086v1cs.CV

노이즈 라벨 탐지를 위한 적응형 데이터 정제 프레임워크

An Adaptive Data cleaning Framework for Noisy Label Detection

심층 신경망(DNN)은 대규모 어노테이션 데이터셋이 주어지면 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보인다. 그러나 실제 응용에서는 라벨이 모호성, 인간 오류, 또는 동적 환경으로 인해 손상되는 경우가 많다. 과매개변수화된 DNN은 학습 중 이러한 노이즈 라벨을 쉽게 암기하여 모델 정확도와 일반화 성능을 저하시킨다. 기존 데이터 정제 및 샘플 선택 전략은 수동으로 지정된 임계값, 노이즈 비율에 대한 사전 지식, 또는 단일 지표(학습 역학 또는 기하 구조)에 의존하는 경우가 많아 복잡한 데이터 체제에서 불안정하다. 본 논문은 강건한 노이즈 라벨 탐지를 위해 국소, 전역, 학습 역학 단서를 통합하는 자기적응형 데이터 정제 프레임워크를 제안한다. 샘플은 모듈형 특징 결합 패러다임을 통해 통합된 저차원 특징 공간으로 매핑된다. 두 가지 구체화를 제공한다: 클래스 적응형 KNN 기반 국소 불일치와 k-means 기반 전역 중심점 거리를 통합한 2D 지표, 그리고 추가로 z-정규화 점수를 포함하는 3D 다중 지표. 단일 스칼라 지표에 적용되는 기존 1차원 가우시안 혼합 모델(GMM)과 달리, 본 프레임워크는 특징 공간에서 다중 지표 클러스터링을 수행하여 수동 임계값이나 노이즈 사전 정보 없이 샘플을 깨끗한 쪽이 우세한 구성요소와 노이즈가 우세한 구성요소로 적응적으로 분할한다. CIFAR-10, MNIST, ImageNet-100에서 5%부터 40%까지의 대칭 라벨 노이즈로 실험한 결과, ImageNet-100에서 40% 노이즈 시 거의 완벽한 재현율(>=98%)을 포함하여 모든 설정에서 높은 재현율을 보였다. 이후 학습에서는 평가된 모든 설정에서, 특히 ImageNet-100의 심각한 손상 조건에서 정확도 향상을 얻었다. 이러한 결과는 다중 지표 통합이 노이즈 라벨 탐지를 위한 임계값 불필요, 실용적, 저튜닝 전략을 제공함을 시사한다.