텍스처 기반 시각 학습에서의 저주파 지름길
Low-Frequency Shortcuts in Texture-Driven Visual Learning
한국어 초록
신경망은 학습된 특징이 학습(training) 세트에는 잘 일반화되지만 분포 내(ID) 또는 분포 외(OOD) 테스트 세트에는 잘 일반화되지 않는 지름길 학습(shortcut learning) 문제를 겪습니다. 기존 연구들은 모두 형태 기반(shape-driven)인 소수의 표준 벤치마크(benchmark)에 기반을 두고 있습니다. 그러나 수많은 응용 분야는 텍스처 기반(texture-driven)입니다. 본 연구에서는 텍스처 기반 도메인에 대한 지름길 학습 분석을 제시하고 이를 표준 벤치마크의 분석과 비교합니다. 우리는 텍스처 기반 도메인이 저주파 지름길(low-frequency shortcuts) 문제를 겪는다는 것을 보여줍니다. 더 높은 주파수 성분(HFC)이 더 높은 예측력을 가짐에도 불구하고, 모델은 왜곡된 스펙트럼 동작을 보이는 소수의 저주파 성분(LFC)에 기반하여 대부분의 결정을 내립니다. 학습 및 테스트 세트에서 LFC를 가지치기(pruning)하면 지름길 현상이 완화되고 더 균형 잡힌 스펙트럼 동작을 제공하여, 알고리즘 및 실제 환경의 도메인 변화(domain shift) 하에서 ID 정확도를 최대 10%, OOD 정확도를 최대 40% 향상시킵니다. 우리는 범용 및 도메인 특화 파운데이션 모델 또한 저주파 지름길 문제를 겪을 수 있음을 보여줍니다. 거대 모델은 이러한 지름길을 완화할 수 있지만, 높은 연산 비용을 초래하며 지름길을 가지치기하여 처음부터 학습된 소형 모델보다 정확도가 현저히 낮을 수 있습니다. 또한 이미지 해상도가 감소하면 지름길의 정도가 증폭되고, 주파수 변환 블록 크기가 클수록 작은 블록 크기보다 저주파 지름길을 더 잘 포착하며, 저주파 지름길은 서로 다른 색 공간 전반에서도 지속됨을 보여줍니다. 우리의 발견은 새로운 미연구 도메인을 다루는 실무자들에게 유용하기를 바라는 귀중한 통찰을 제공합니다.
원문 초록
Neural networks suffer from shortcut learning, where learned features generalize well to the training set but not to in-distribution (ID) or out-of-distribution (OOD) test sets. Existing studies are all based on a few standard benchmarks, which are shape-driven. Numerous application domains, however, are texture-driven. In this work, we present shortcut learning analysis for texture-driven domains and compare it with that of a standard benchmark. We show that texture-driven domains suffer from low-frequency shortcuts. They make the majority of their decisions based on a few low-frequency components (LFCs) with a skewed spectral behavior, despite that higher-frequency components (HFCs) have higher predictive power. Pruning LFCs from training and test sets mitigates the shortcut and provides a more balanced spectral behavior, improving the ID accuracy by up to 10% and OOD accuracy by up to 40% under algorithmic and real-world domain shifts. We show that general-purpose and domain-specific foundation models can also suffer from low-frequency shortcuts. While large models can mitigate the shortcuts, they incur a high computational cost and may result in a significantly lower accuracy than shortcut-pruned from-scratch trained small models. We show that reduced image resolutions amplify the degree of shortcuts; large frequency-transformation block sizes capture low-frequency shortcuts better than small block sizes; and, low-frequency shortcuts persist across different color spaces. Our findings provide valuable insights, which we hope will be useful for practitioners working on new, understudied domains.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습
Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment
지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.
듣는 것이 더 쉬워질 때: 지름길 없는 VLA를 위한 시각적 단서 스크러빙
When Listening Becomes Easier: Scrubbing Visual Cues for Shortcut-Free VLAs
지름길 학습(shortcut learning)은 로봇 학습에서 널리 발생하는 문제입니다. 로봇 시연(demonstration) 데이터셋의 제한된 다양성은 정책이 시점이나 배경과 같은 무관한 특징과 작업 간의 가짜 상관관계(spurious correlation)를 악용하도록 오도할 수 있습니다. 충분히 다양한 로봇 시연을 수집하는 것은 비용이 많이 들고 비효율적이므로, 알고리즘적 대안이 요구됩니다. 본 연구에서는 비전-언어-행동(vision-language-action, VLA) 모델에 초점을 맞추어, 서로 다른 비전-언어 모델 백본이 시각적 지름길 학습에 대해 실질적으로 서로 다른 취약성 수준을 보임을 발견했습니다. 또한 모델의 행동이 정책 롤아웃(rollout)을 필요로 하지 않는 제안된 표현 수준 지표인 액션 마진(action margin)과 상관관계가 있음을 밝혔습니다. 시각적 지름길은 일관되게 초기 계층에서 행동 표현에 진입하며, 이후 계층에서 언어 정보를 통합하여 이를 수정하는 정도는 모델마다 달랐습니다. 모델의 언어에 대한 어텐션을 높이기 위해, 본 논문에서는 모델이 시각적 지름길을 사용할 가능도를 줄이고 VLA의 일반화를 향상시키는 새로운 도메인 적대적 학습 방법인 태스크 스크러빙(task scrubbing)을 도입합니다. 여러 VLA 및 시각적 단서에 대해 시뮬레이션과 실제 환경 모두에서 수행된 실험은 태스크 스크러빙이 분포 외(out-of-distribution) 강건성을 개선하고 종종 시각적 지름길 학습을 제거함을 보여줍니다.
연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가
Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification
최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.
대조 어텐션을 통한 스파이킹 트랜스포머의 스펙트럼 바이어스 완화
Contrastive Attention Mitigates Spectral Bias in Spiking Transformers
스파이킹 트랜스포머(Spiking Transformer)는 스파이킹 신경망(SNN)의 에너지 효율성과 셀프 어텐션(self-attention)의 표현력을 결합하여, 고성능 및 에너지 효율적 연산을 위한 유망한 아키텍처를 제시합니다. 그러나 인공 신경망(ANN) 대응 모델에 비해 여전히 성능 격차가 존재합니다. 이러한 격차를 이진 활성화(binary activation) 때문으로 보았던 선행 연구들과 달리, 본 논문은 다중 스케일 스펙트럼 분석(multiscale spectral analysis)을 통해 스파이킹 뉴런과 스파이킹 셀프 어텐션(SSA)이 모두 저주파 통과 필터(low-pass filter)로 작동함을 밝혀냅니다. 이러한 특성은 고주파 성분의 소실로 이어집니다. 이 문제를 해결하기 위해, 생물학적 시각 시스템의 에지 검출 및 차분 감지(differential sensing) 특성에서 영감을 얻은 스파이킹 대조 어텐션(Spiking Contrastive Attention, SCA) 패러다임을 제안합니다. 전역 대조 집계(global contrastive aggregation)를 통해 대조 프로토타입을 추출하고 국소 차분 정제(local differential refinement)를 적용함으로써, SCA는 고주파 정보를 효과적으로 강화합니다. 광범위한 실험을 통해 SCA가 범용적인 모듈로서 이미지 분류, 시맨틱 분할(semantic segmentation), 이벤트 기반 추적(event-based tracking) 전반에 걸쳐 스파이킹 트랜스포머의 성능을 일관되게 향상시킴을 입증합니다. 나아가 더 낮은 복잡도를 달성하여 기존 SSA 대비 뛰어난 효율성을 제공합니다. 이러한 결과는 에너지 효율적인 스파이킹 트랜스포머를 위한 기초적인 구성 요소로서 SCA의 잠재력을 입증합니다.
센터 편향은 전파되는가? 전체 슬라이드 이미지 분류에서 병리 파운데이션 모델의 강건성
Do Center Biases Propagate? Robustness of Pathology Foundation Models in Whole-Slide Image Classification
병리 파운데이션 모델(PFM)은 조직병리 이미지로부터의 강력한 표현 학습을 통해 컴퓨터 병리학(computational pathology) 분야를 혁신해 왔습니다. PFM은 전체 슬라이드 이미지(WSI) 분석을 위한 풍부하고 판별력 있는 표현을 제공하여, 다중 인스턴스 학습(MIL) 기반의 슬라이드 수준 분류와 같은 작업을 가능하게 합니다. 그러나 이러한 표현은 데이터 획득 센터와 관련된 비생물학적 신호까지 함께 인코딩할 수 있어, 다운스트림 예측에 잘못된 지름길(spurious shortcuts)을 유발할 잠재적 위험이 있습니다. 본 연구에서는 크라메르 V(Cramér's V)로 정량화된 클래스-센터 간 상관관계를 점진적으로 증가시키는 통제된 학습 환경을 사용하여 WSI 분류에서의 센터 관련 강건성을 평가합니다. 4개 데이터셋과 2개의 MIL 애그리게이터에 걸쳐 6개의 PFM을 벤치마크하는 동시에, 강건화 전략으로서 ComBat을 평가합니다. 나아가 크라메르 V 곡선하면적(AUCC)을 도입하여, 절대적인 분류 성능과 허위 상관관계(spurious correlation) 증가에 따른 성능 저하를 함께 포착합니다. 실험 결과, PFM에 의해 인코딩된 센터 관련 정보가 WSI 수준의 예측으로 전파되며, 강건성은 PFM 표현과 MIL 집계 전략 모두에 의존하는 것으로 나타났습니다. 또한 ComBat 조화(harmonization) 기법은 데이터셋 전반에 걸쳐 일관된 강건성 향상을 제공하지 못했습니다.
99% 정확도는 무엇을 측정하는가? 널리 쓰이는 가짜 뉴스 코퍼스의 숏컷 학습에 대한 재현 가능한 감사
What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus
ISOT/Kaggle "Fake and Real News" 코퍼스로 학습한 텍스트 분류기는 정확도와 F1이 0.98을 넘는다고 일상적으로 보고되는데, 이는 진위 여부를 판단하는 일의 어려움을 생각하면 어색한 수준의 성능이다. 우리는 투명한 TF-IDF 및 선형 분류기 파이프라인을 측정 도구로 사용하여, 세 가지 누수 경로와 두 가지 분포 변화 프로토콜에 따라 이 코퍼스를 감사하고, 모든 코드와 도출된 수치를 공개한다. 첫째, 이 벤치마크는 부분적으로 퇴화되어 있다. 기사 본문을 버리고 subject 메타데이터 필드만 입력받은 분류기가 F1 = 1.000을 달성하는데, 이는 두 클래스가 서로 겹치지 않는 subject를 갖기 때문이다. 둘째, 세 가지 누수 경로인 메타데이터, 실제 기사의 99.2%에 존재하는 뉴스통신사 출처 태그, 그리고 단순하게 나눈 테스트 분할의 19.4%를 오염시키는 6,251개의 중복 문서를 모두 제거해도 F1은 1.21포인트(0.9935에서 0.9814로)만 낮아진다. 남은 신호는 몇 개의 결정적인 토큰이 아니라 확산된 편집 문체이며, 가중치가 가장 높은 유니그램 1,000개를 삭제하더라도 F1은 여전히 0.926이다. 셋째, 이러한 문체 신호는 전이되지 않는다. 주제가 서로 겹치지 않는(topic-disjoint) 프로토콜에서는 평균 정밀도(average precision)가 0.9995에서 0.9475로, 실제 배포 시점의 F1이 0.9905에서 0.8067로 하락하며, 사전확률을 맞춘(prior-matched) 분석은 판별력이 실제로 5.2포인트 감소했음을 확인해 준다. 반면 시간적 전이는 거의 손실이 없다. 파인튜닝한 DistilBERT는 분포 내에서는 더 강하지만(F1 = 0.9993) 주제 변화에서는 훨씬 더 크게 저하되어, 선형 모델의 5.2포인트에 비해 평균 정밀도가 12.9포인트 감소한다. 독립적인 LIAR 벤치마크로 전이하면 세 모델 모두 무작위에 가까운 순위 성능(ROC-AUC 0.54-0.57)으로 떨어지며, 어느 것도 다수 클래스 기준선(majority-class baseline)을 넘지 못한다. 우리는 이 코퍼스 내부의 점수가 진위 여부가 아니라 출처와 주제의 분리 가능성을 정량화하며, 모델 용량을 늘리면 숏컷을 피하기보다 오히려 이용하게 된다고 결론짓고, 향후 연구를 위한 저비용 진단 수단으로 메타데이터 전용, 소규모 표본, 주제 비중첩 기준선을 사용할 것을 권고한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.