멀티모달 분류(multimodal classification)는 보다 정확한 예측을 달성하기 위해 여러 모달리티의 정보를 처리하고 연계합니다. 그러나 기존 방법들은 일반적으로 실제 환경에서 얻기 어려운 고품질의 정답 라벨에 의존합니다. 노이즈 라벨 환경에서의 학습을 위한 샘플 선택 방법들은 노이즈가 포함된 데이터에서 올바르게 라벨링된 예제를 식별하는 것을 목표로 하지만, 전통적인 방식들은 주로 단일 모달(unimodal) 설정에 초점을 맞추어 멀티모달 정보를 완전히 활용하지 못합니다. 이는 멀티모달 학습에서 더 신뢰할 수 있는 노이즈 탐지기를 구축하도록 동기를 부여합니다. 이를 위해 본 연구에서는 표현 구조와 노이즈 탐지 능력 간의 관계를 이론적으로 분석합니다. 이러한 분석을 바탕으로, 라벨 노이즈 탐지를 위해 융합된 표현과 단일 모달 표현을 함께 사용하는 멀티모달 라벨 노이즈 탐지 프레임워크인 REFINE을 제안합니다. 구체적으로, REFINE은 타깃 클래스와 배경 클래스의 판별 분석을 통해 판별 고유벡터(discriminative eigenvector)를 구성하고, 각 클래스별로 노이즈 탐지 능력이 더 우수한 신뢰할 수 있는 표현 공간을 선택합니다. 각각의 신뢰할 수 있는 공간 내에서 REFINE은 각 인스턴스 표현과 판별 고유벡터 간의 정렬(alignment)을 측정합니다. 그런 다음 이러한 공간에서 선택된 하위 집합들을 결합합니다. 결합된 집합은 멀티모달 분류기를 업데이트하기 위한 더 깨끗한 지도 신호를 제공함으로써 학습(training) 중 잘못 라벨링된 예제의 영향을 줄이고 모델(model) 일반화를 향상시킵니다. 다양한 태스크에 걸친 광범위한 실험을 통해 기준선(baseline) 방법들과 비교하여 REFINE의 우수성을 입증합니다. 소스 코드는 공개될 예정입니다.
레이블은 심층 학습(deep learning) 분할 모델의 학습과 평가 모두에서 핵심적인 역할을 하지만, 클래스 경계에서 불일치하거나 노이즈가 많거나 모호한 경우가 빈번하다. 약한 레이블로 모델을 학습시키는 다양한 접근법이 개발되어 왔으나, 신뢰할 수 없는 레이블에서 모델을 평가하는 방법은 현재까지 거의 존재하지 않는다. 이에 본 논문은 "적응형 해상도 레이블 집계(Adaptive Resolution Label Aggregation)", 즉 "ARLA"라는 방법을 소개한다. ARLA는 평가 지표를 계산하기 전에 추론(inference) 시점에서 레이블과 모델 예측의 해상도를 동적으로 조정한다. 본 논문에서는 실제 홍수 예측 모델에 ARLA를 적용한 실용적 사례를 통해 모델 동작을 더 잘 분석하는 방법을 제시하며, ARLA가 산림 지역의 레이블 불일치 문제와 짙은 구름이 낀 지역 내 레이블 오류를 극복할 수 있음을 보인다. 본 연구는 집계된 해상도를 레이블의 정밀도(precision) 또는 레이블 노이즈 수준에 맞게 조정할 수 있는 매개변수를 갖춘 분할 모델 평가의 새로운 접근법을 제시한다. 근본적으로 ARLA는 레이블이 내포한 정보를 활용하면서 레이블 오류를 최소화함으로써, 노이즈로부터 모델의 실제 성능에 대한 더 명확한 신호를 추출한다.
비디오 캡슐 내시경(Video Capsule Endoscopy) 데이터셋의 오레이블 문제를 해결하기 위해 가우시안 혼합 모델(Gaussian Mixture Model)과 CNN을 결합한 탐지-정제 파이프라인을 제안하며, Kvasir-Capsule 및 Galar 데이터셋에 적용해 소화기내과 전문의 검증을 포함한 실험에서 데이터 정제 후 이상 탐지 성능이 기존 기준선 대비 향상됨을 보였다.
실제 선호도 데이터셋에 만연한 노이즈로 인해 RLHF와 DPO 기반 정렬(alignment)이 편향될 수 있다는 문제를 해결하기 위해, 노이즈 분포를 수학적으로 역변환하는 비편향 보상 모델(URM) 손실과 비편향 직접 선호 최적화(UDPO) 손실을 제안한다. 이론적으로 노이즈 허용성 및 분류 보정성을 증명하였으며, HH, TL;DR, UFB 등 다양한 데이터셋 실험에서 최신 베이스라인 대비 우수한 성능을 달성했다.
심층 학습은 의료 영상 분석에 널리 적용되고 있으나, 수동으로 레이블된 이미지의 최대 10%가 잘못 표기될 수 있어 모델 성능이 저하될 수 있다. 본 논문은 여러 학습 에폭에 걸쳐 심층 학습 분류 네트워크의 손실 함수 시퀀스를 분석함으로써 잘못 레이블된 의료 이미지를 자동으로 식별하는 방법을 제안한다. 식별된 이미지는 전문가가 검토 및 재레이블링하여 데이터셋 품질과 모델 성능을 향상시킬 수 있다. 두 가지 실험을 통해 참조 가능한 당뇨병성 망막증 선별을 위한 안저 이미지 데이터셋에서 본 방법을 검증하였다. 첫 번째 실험에서는 10,788개의 골드 스탠다드 레이블 중 6%(648개)를 의도적으로 반전시켰다. 본 방법은 반전된 샘플의 75.31%(488개)를 식별하였으며, 올바르게 레이블된 샘플 중 위양성은 4.85%(492개)에 불과하였다. 두 번째 실험에서는 식별된 980개 샘플(데이터셋의 9.1%)을 검토 및 수정한 후 모델을 재학습한 결과, 독립 테스트 세트에서의 최고 정확도가 95.93%(6% 레이블 노이즈)에서 96.50%(1.5% 노이즈)로 향상되었으며, 이는 이상적인 96.57%(0% 노이즈)에 근접한 수치이다. 본 결과는 자동화된 레이블 품질 관리를 통해 모델 성능을 향상시키는 방법의 효과를 입증한다.
Imitation Learning is a natural framework for learning in sequential decision-making systems and has emerged as the dominant paradigm through which we understand language model training. A central puzzle is that, while in theory offline IL can be horizon-free and optimal, in practice online methods such as on-policy distillation often outperform offline methods such as supervised fine-tuning. We propose a noisy expert model to explain this gap, in which the learner only has access to a noisy version of the expert's policy, but wishes to compete against the reward achieved by a clean expert, motivated by the fact that in many applications, e.g. training language models to perform long chains of thought, the expert is often imperfect. In this setting, we show a sharp separation between offline and online IL. Offline learning from noisy trajectories is fundamentally hard: to compete with the clean expert, the sample complexity must grow exponentially, in contradistinction to the clean expert setting where no explicit horizon dependence exists. In contrast, we prove that online interaction with the noisy expert via a novel variant of OPD enables polynomial dependence on the horizon in general. We further show that, under a natural condition on the expert noise distribution, which we show to be necessary for any horizon-free sample complexity, one can obtain such a guarantee, although our proposed algorithm sacrifices statistical efficiency in its dependence on the size of the policy class. Our analysis leads to an alternative loss function that is commonly considered empirically for LM training. We further provide algorithms and lower bounds, and extend our results to the more realistic setting of unknown corruption when the clean expert is deterministic, thereby providing a theoretical foundation for why OPD can outperform SFT when training language models from imperfect teachers.
다중 클래스 분류를 위한 세 가지 엄격한 적정 손실 함수(CAPM, HPG, APMS)의 이론적 성질(조건부 후회, 곡률, 그라디언트 경계)을 수학적으로 분석하고 노이즈 레이블, 클래스 불균형, 캘리브레이션 등 다양한 조건에서 교차 엔트로피와 비교 실험한 결과, 제안된 방법들이 일부 노이즈 레이블 환경에서 소폭의 이득을 보이지만 전반적인 우월성은 입증되지 않았다.
머신러닝과 심층 학습 모델의 성능은 주로 학습 데이터의 품질에 달려 있습니다. 그러나 실제 데이터셋의 품질은 종종 노이즈 레이블(noisy labels)로 인해 저하되며, 이는 모델의 정확도와 신뢰성을 크게 떨어뜨릴 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 손상된 레이블(corrupted labels)을 탐지하고 수정하는 엔드-투-엔드(end-to-end) 데이터 중심 프레임워크인 Relabeler를 제안합니다. 손상된 레이블 탐지를 위해 Relabeler는 잠재적인 노이즈 샘플을 식별하기 위해 데이터 인스턴스 간의 지역 및 전역 관계를 모두 결합하여 활용합니다. 의심스러운 인스턴스를 탐지한 후, Relabeler는 입력 특징과 관찰된 노이즈 레이블을 모두 기반으로 각 인스턴스에 대해 가장 가능성이 높은 정제 레이블(clean label)을 추정하여 레이블 수정을 수행합니다. 다양한 데이터셋, 노이즈 유형, 노이즈 비율에 걸친 광범위한 실험을 통해 Relabeler가 최신 기준 모델(state-of-the-art baselines)을 일관되게 능가하며, 레이블 수정 정밀도에서 최대 58%, 다운스트림 태스크 성능에서 6%의 향상을 달성함을 입증했습니다.
신뢰할 수 있는 ML/DL 모델을 학습시키기 위해 고품질 레이블링 데이터는 필수적입니다. 하지만 실제 데이터셋은 종종 상당한 비율의 손상된 레이블을 포함하고 있어, 모델 성능을 심각하게 저하시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 노이즈 인식 학습과 반복적 레이블 정제를 통해 손상된 레이블을 교정하는 새로운 프레임워크인 CANOLA를 제안합니다. CANOLA는 데이터셋의 내재된 노이즈 분포를 명시적으로 추정하고 이 정보를 노이즈 인식 심층 신경망의 학습에 반영합니다. 학습 과정에서 노이즈 특성을 반영함으로써, CANOLA는 모델이 신뢰할 수 없는 감독 신호의 가중치를 낮추고 신뢰할 수 있는 패턴에 집중하게 하여 강인성과 일반화 성능을 향상시킵니다. 레이블 교정은 신중하고 반복적인 소프트 레이블 정제를 통해 수행되며, 여기서 모델 예측치는 관측된 레이블과 혼합되어 조기적이거나 잘못된 업데이트를 방지합니다. 이러한 점진적 정제는 데이터셋이 안정적이고 제어된 방식으로 복구될 수 있게 합니다. 우리는 현실적인 노이즈 레이블링 시나리오 하에서 6개의 널리 사용되는 데이터셋에 대해 CANOLA를 평가했습니다. 실험 결과, CANOLA는 최첨단 레이블 교정 방법보다 일관되게 우수한 성능을 보이며, 오류 감소율 측면에서 19%에서 52%에 이르는 상대적 개선을 달성했습니다. 더욱이, CANOLA로 교정된 데이터셋으로 학습된 모델은 상당한 다운스트림 성능 향상을 얻습니다. CANOLA의 교정된 데이터로 학습된 간단한 분류기조차도 복잡한 모델 중심 접근법을 최대 67%의 차이로 능가할 수 있습니다.
심층 신경망(DNN)은 대규모 어노테이션 데이터셋이 주어지면 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보인다. 그러나 실제 응용에서는 라벨이 모호성, 인간 오류, 또는 동적 환경으로 인해 손상되는 경우가 많다. 과매개변수화된 DNN은 학습 중 이러한 노이즈 라벨을 쉽게 암기하여 모델 정확도와 일반화 성능을 저하시킨다. 기존 데이터 정제 및 샘플 선택 전략은 수동으로 지정된 임계값, 노이즈 비율에 대한 사전 지식, 또는 단일 지표(학습 역학 또는 기하 구조)에 의존하는 경우가 많아 복잡한 데이터 체제에서 불안정하다.
본 논문은 강건한 노이즈 라벨 탐지를 위해 국소, 전역, 학습 역학 단서를 통합하는 자기적응형 데이터 정제 프레임워크를 제안한다. 샘플은 모듈형 특징 결합 패러다임을 통해 통합된 저차원 특징 공간으로 매핑된다. 두 가지 구체화를 제공한다: 클래스 적응형 KNN 기반 국소 불일치와 k-means 기반 전역 중심점 거리를 통합한 2D 지표, 그리고 추가로 z-정규화 점수를 포함하는 3D 다중 지표. 단일 스칼라 지표에 적용되는 기존 1차원 가우시안 혼합 모델(GMM)과 달리, 본 프레임워크는 특징 공간에서 다중 지표 클러스터링을 수행하여 수동 임계값이나 노이즈 사전 정보 없이 샘플을 깨끗한 쪽이 우세한 구성요소와 노이즈가 우세한 구성요소로 적응적으로 분할한다.
CIFAR-10, MNIST, ImageNet-100에서 5%부터 40%까지의 대칭 라벨 노이즈로 실험한 결과, ImageNet-100에서 40% 노이즈 시 거의 완벽한 재현율(>=98%)을 포함하여 모든 설정에서 높은 재현율을 보였다. 이후 학습에서는 평가된 모든 설정에서, 특히 ImageNet-100의 심각한 손상 조건에서 정확도 향상을 얻었다. 이러한 결과는 다중 지표 통합이 노이즈 라벨 탐지를 위한 임계값 불필요, 실용적, 저튜닝 전략을 제공함을 시사한다.