데이터 가지치기: 중복, 문제적, 상호의존적 샘플
Data Pruning: Redundant, Problematic, and Interdependent Samples
한국어 초록
심층 학습 모델의 성능은 데이터 양뿐만 아니라 데이터 품질에도 영향을 받는다. 데이터 가지치기(data pruning)는 가장 중요한 학습 데이터 포인트만 유지함으로써 데이터셋 크기를 줄이고, 이를 통해 유사한 테스트 성능을 달성하는 프로세스이다. 우리는 노이즈가 있는 조건과 없는 조건 모두에서 널리 사용되는 두 가지 데이터 가지치기 방법을 실증적으로 조사하고, 유의미한 레이블 노이즈가 존재할 경우 이러한 방법들이 실패함을 보인다. 우리는 데이터 가지치기의 성공이 세 가지 요인, 즉 데이터셋 내의 중복성, 문제적 샘플의 존재, 샘플 간 상호의존성에 의해 뚜렷하게 영향을 받음을 강조한다. 우리는 일반적으로 사용되는 벤치마크 분류 데이터셋과 신경망 아키텍처에 대해 상세한 조사를 수행한다. 우리의 관찰이 데이터 분포와 학습 프로토콜 전반에 걸쳐 일관됨을 확인한다.
원문 초록
The performance of deep learning models is affected by not only data quantity but also data quality. Data pruning is a process by which practitioners can reduce the size of a dataset by only keeping the most important training data points, thereby achieving similar test set performance. We empirically investigate two popular data pruning methods under noisy and noiseless conditions and show that these methods fail in the presence of significant label noise. We highlight that the success of data pruning is distinctly affected by three factors: redundancy in the dataset, the presence of problematic samples, and interdependence between samples. We perform a detailed investigation on commonly used benchmark classification datasets and neural network architectures. We find that our observations are consistent across data distributions and training protocols.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21916v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크
SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data
정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets
멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.
Evolving Efficient CNN Based Model for Image Classification
MARTA: a model for the automatic phonemic grouping of the parkinsonian speech
Conditional Consistency Regularization for Semi-Supervised Multi-label Image Classification
Multistage Relation Network With Dual-Metric for Few-Shot Hyperspectral Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.