PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.03493v2cs.CV

텍스처 기반 시각 학습에서의 저주파 지름길

Low-Frequency Shortcuts in Texture-Driven Visual Learning

신경망은 학습된 특징이 학습(training) 세트에는 잘 일반화되지만 분포 내(ID) 또는 분포 외(OOD) 테스트 세트에는 잘 일반화되지 않는 지름길 학습(shortcut learning) 문제를 겪습니다. 기존 연구들은 모두 형태 기반(shape-driven)인 소수의 표준 벤치마크(benchmark)에 기반을 두고 있습니다. 그러나 수많은 응용 분야는 텍스처 기반(texture-driven)입니다. 본 연구에서는 텍스처 기반 도메인에 대한 지름길 학습 분석을 제시하고 이를 표준 벤치마크의 분석과 비교합니다. 우리는 텍스처 기반 도메인이 저주파 지름길(low-frequency shortcuts) 문제를 겪는다는 것을 보여줍니다. 더 높은 주파수 성분(HFC)이 더 높은 예측력을 가짐에도 불구하고, 모델은 왜곡된 스펙트럼 동작을 보이는 소수의 저주파 성분(LFC)에 기반하여 대부분의 결정을 내립니다. 학습 및 테스트 세트에서 LFC를 가지치기(pruning)하면 지름길 현상이 완화되고 더 균형 잡힌 스펙트럼 동작을 제공하여, 알고리즘 및 실제 환경의 도메인 변화(domain shift) 하에서 ID 정확도를 최대 10%, OOD 정확도를 최대 40% 향상시킵니다. 우리는 범용 및 도메인 특화 파운데이션 모델 또한 저주파 지름길 문제를 겪을 수 있음을 보여줍니다. 거대 모델은 이러한 지름길을 완화할 수 있지만, 높은 연산 비용을 초래하며 지름길을 가지치기하여 처음부터 학습된 소형 모델보다 정확도가 현저히 낮을 수 있습니다. 또한 이미지 해상도가 감소하면 지름길의 정도가 증폭되고, 주파수 변환 블록 크기가 클수록 작은 블록 크기보다 저주파 지름길을 더 잘 포착하며, 저주파 지름길은 서로 다른 색 공간 전반에서도 지속됨을 보여줍니다. 우리의 발견은 새로운 미연구 도메인을 다루는 실무자들에게 유용하기를 바라는 귀중한 통찰을 제공합니다.