arXiv:2604.03687v3 cs.CV

SciLT: 과학 이미지 도메인에서의 롱테일 이미지 분류

SciLT: Long-tailed Image Classification under Scientific Image Domains

Jiahao Chen, Bing Su

제출 2026-04-04

한국어 초록

롱테일 인식(long-tailed recognition)은 파운데이션 모델과 미세조정(fine-tuning) 패러다임 덕분에 발전해 왔으나, 기존 연구와 벤치마크는 사전학습과 미세조정 데이터가 유사한 분포를 공유하는 자연 이미지 도메인에 주로 국한되어 있습니다. 이와 대조적으로 과학 이미지는 뚜렷한 시각적 특성과 지도 신호를 나타내어, 이러한 환경에서 파운데이션 모델을 미세조정하는 것의 효과성에 대한 의문을 제기합니다. 본 연구에서는 순수 시각 및 미세조정 패러다임 하에서 과학 롱테일 인식을 조사합니다. 세 가지 과학 벤치마크에 대한 실험을 통해 파운데이션 모델을 미세조정하는 것이 제한적인 성능 향상만을 가져온다는 점을 보이고, 끝에서 두 번째 층(penultimate-layer)의 특징이 특히 꼬리(tail) 클래스에서 중요한 역할을 한다는 사실을 밝혀냈습니다. 이러한 발견에 착안하여, 우리는 적응형 특징 융합과 이중 지도 학습을 통해 다중 레벨 표현을 활용하는 프레임워크인 SciLT를 제안합니다. 끝에서 두 번째 층과 최종 층의 특징을 함께 활용함으로써 SciLT는 머리(head) 및 꼬리 클래스 전반에서 균형 잡힌 성능을 달성합니다. 광범위한 실험을 통해 SciLT가 기존 방법들을 일관되게 능가함을 입증하여 과학 롱테일 인식을 위한 강력하고 실용적인 기준선을 구축하고, 상당한 도메인 이동이 있는 과학 데이터에 파운데이션 모델을 적응시키기 위한 유용한 지침을 제공합니다.

원문 초록

Long-tailed recognition has benefited from foundation models and fine-tuning paradigms, yet existing studies and benchmarks are mainly confined to natural image domains, where pre-training and fine-tuning data share similar distributions. In contrast, scientific images exhibit distinct visual characteristics and supervision signals, raising questions about the effectiveness of fine-tuning foundation models in such settings. In this work, we investigate scientific long-tailed recognition under a purely visual and fine-tuning paradigm. Experiments on three scientific benchmarks show that fine-tuning foundation models yields limited gains, and reveal that penultimate-layer features play an important role, particularly for tail classes. Motivated by these findings, we propose SciLT, a framework that exploits multi-level representations through adaptive feature fusion and dual-supervision learning. By jointly leveraging penultimate- and final-layer features, SciLT achieves balanced performance across head and tail classes. Extensive experiments demonstrate that SciLT consistently outperforms existing methods, establishing a strong and practical baseline for scientific long-tailed recognition and providing valuable guidance for adapting foundation models to scientific data with substantial domain shifts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.03687v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.