PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27194v1cs.CV

설계상 다양성: 프로토타입 기반 해석 가능성을 위한 아키텍처 제약

Diverse by Design: Architectural Constraints for Prototype-Based Interpretability

프로토타입 기반 신경망은 사례 기반 추론(case-based reasoning)을 통해 본질적인 해석 가능성을 제공하지만, 프로토타입이 중복된 특징으로 수렴하고, 다양한 의미적 부분을 포착하지 못하며, 정량적 해석 가능성 평가가 부족하다는 치명적인 한계를 갖는다. 우리는 Diversity-Aware Prototype Learning(DAPL)을 제안하며, 이는 명시적 정규화보다 아키텍처 제약을 통해 프로토타입 다양성을 강제한다. 우리 접근법은 엄격한 일대일 어텐션-프로토타입 매핑을 갖춘 멀티헤드 셀프 어텐션(multi-head self-attention)을 활용하여, 각 프로토타입이 서로 다른 시각적 특징에 특화되도록 한다. 또한 프로토타입이 의미적으로 중요한 영역에 집중하도록 하는 전경 인식(foreground-aware) 학습을 도입하고, 정량적 해석 가능성 평가를 위한 포괄적 평가 지표(Coverage와 Diversity)를 개발한다. CUB-200-2011에서의 실험은 큰 개선을 보여준다: 전경 인식 학습을 적용한 DAPL은 81.69% 정확도와 0.596 Coverage, 0.427 Diversity를 달성하며, 평가된 모든 프로토타입 기반 방법 중 전반적으로 최고의 균형을 제공한다. 코드는 https://github.com/xinmiaolin/DAPL 에서 이용 가능하다.

arXiv:2609.24064v1cs.CV

종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 난초 속 식별을 위한 비전 트랜스포머 대 합성곱 신경망: 뉴기니 난초과에 대한 통제된 벤치마크

Vision Transformers versus convolutional neural networks for fine-grained orchid genus identification in a species-rich, data-poor flora: a controlled benchmark on the Orchidaceae of New Guinea

뉴기니는 세계에서 가장 풍부한 섬 식물상(난초 약 2,856종)을 보유하고 있지만, 대부분의 종은 소수의 사진으로만 대표되며, 이는 종 수준의 직접 분류에 필요한 것보다 훨씬 적다. 이처럼 종 다양성은 높지만 데이터가 부족한 식물상에서 세분화된 식별(fine-grained identification)을 위한 방법이 필요하지만, 어떤 백본(backbone) 아키텍처와 사전학습(pretraining) 전략이 이를 가장 잘 뒷받침하는지는 아직 명확하지 않다. 우리는 먼저 쿼리 사진의 속(genus)을 예측한 다음, FAISS를 이용해 후보 종의 시각적으로 유사한 참조 이미지를 검색하는 2단계 시스템을 구축했다. 우리는 사전학습된 네 가지 백본 -- 두 개의 비전 트랜스포머(Vision Transformer, ViT; DINOv2, BioCLIP 2)와 두 개의 CNN(ConvNeXt V2-L, EfficientNetV2-L) -- 을 120개 속과 1,350개 종에 걸친 16,701장의 사진으로 구성된, 종 층화(species-stratified)된 고정 분할 데이터셋에서 동일한 프로토콜로 파인튜닝(fine-tuning)하여 비교했으며, 정확도, 보정(calibration), 오류 구조, 종 검색(retrieval), 그리고 새로운 속에 대한 오픈셋(open-set) 탐지를 평가했다. DINOv2가 가장 우수한 속 수준 성능을 달성했다(매크로 top-1 66.9%, 95% 신뢰구간 63.7-70.6; 전역 top-1 88.9%). 두 ViT 모두 두 CNN보다 우수한 성능을 보였으며, 범용 자기지도학습(self-supervised) 사전학습(DINOv2)이 도메인에 특화된 생물학적 사전학습(BioCLIP 2)보다 매크로 top-1 기준 7.1점 더 높은 성능을 보였다. 오류는 오류 유인체(error attractor) 역할을 하는 두 개의 개체수가 많은 속에 집중되었다. DINOv2 임베딩(embedding)은 종 수준 재현율(Recall@5) 86.6%와 속 수준 재현율(Recall@5) 98.7%를 달성했으며, 온도 스케일링(temperature scaling)은 모든 백본의 기대 보정 오차(Expected Calibration Error)를 약 0.03까지 감소시켰다. 또한 거리 기반 오픈셋 게이트는 보지 못한 속을 탐지해냈다(평균 AUROC 0.958). 임베딩 검색과 결합된 자기지도학습 비전 트랜스포머 백본은 종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 식별을 위한 효과적이고 실용적으로 배포 가능한 전략이다. 이 시스템은 공개 웹 애플리케이션(New Guinea Orchid Identifier)으로 공개되었으며, 다른 초다양성(hyperdiverse)의 미문서화된 분류군에도 적용 가능한 실용적인 템플릿을 제공한다.

arXiv:2607.23979v1cs.CV

세밀한 타이어 패턴 인식을 위한 상호 모달리티 신뢰와 경량 재구성 정규화

Mutual Modality Trust with Lightweight Reconstruction Regularization for Fine-grained Tire Pattern Recognition

시각적 타이어 인식은 차량 안전 모니터링, 자율주행 인식, 자동차 정비 자동화를 위한 핵심 지원 기술이다. 기존의 세밀한 타이어 인식 기법은 세 가지 두드러진 한계를 갖는다. 단 하나의 시각적 소스에만 의존하는 경향이 있고, 미세한 트레드 질감 추출을 위해 공간 및 주파수 단서를 공동으로 모델링할 능력이 부족하며, 주석이 달린 타이어 이미지가 제한적일 때 심각한 과적합을 겪는다. 본 논문은 인식 성능 향상을 위해 이중 분기 독립 추론과 향상된 특징 융합을 결합한 경량의 세밀한 타이어 패턴 인식 방법을 제안한다. 해당 프레임워크는 각각 타이어 표면과 트레드 홈에 특화된 두 개의 작업 전문 분기를 사용하여 모달리티별 판별 특징을 추출한다. 각 분기는 독립적으로 예측을 수행하며, 분기 간 특징 융합은 상호 모달리티 신뢰(Mutual Modality Trust, M$^2$T)를 활용하여 두 모달리티 간 상보적 특징 강화를 실현한다. 또한 주파수 영역 계층적 가이던스 모듈을 설계하였으며, 이는 대역통과 필터(bandpass filter)를 활용해 특징 맵을 고주파 및 저주파 성분으로 분해하고 세밀한 층 간 특징 변조를 가능하게 한다. 또한 경량 재구성 정규화(Lightweight Reconstruction Regularization, LR$^2$)를 도입하여 특징 임베딩 내 풍부한 내재 정보를 보존하고, 제한된 라벨 학습 데이터 하에서 특징 안정성과 인식 견고성을 크게 향상시킨다. 아울러 세밀한 타이어 트레드 인식을 위해 표면-홈 다중 소스 데이터셋 MTire299를 구축하였으며, 이는 299개 카테고리와 총 14795쌍의 이미지 샘플을 포함한다. 두 공개 타이어 데이터셋에서 수행한 광범위한 실험을 통해 제안 알고리즘의 우수성과 효과를 검증하였다.

arXiv:2607.13437v1cs.CV

세분류를 위한 CLIP 기반 레이블 없는 판별적 영역 점수화

CLIP-Guided Label-Free Discriminative Region Scoring for Fine-Grained Classification

최근 CLIP, SAM과 같은 비전 모델은 세분류를 위한 학습 없는(training-free) 분할과 의미 인코딩을 가능하게 한다. 일반적인 접근법은 분할된 이미지 영역의 표현과 해당 레이블의 텍스트 프롬프트 임베딩을 비교하는 것이다. 그러나 정답 레이블(ground-truth labels)을 사용할 수 없을 때, 서로 다른 국소 영역과 CLIP 기반 점수화 전략이 판별적 근거의 선택에 어떻게 영향을 미치는지는 여전히 불분명하다. 본 논문에서는 세분류를 위한 통합 CLIP 기반 레이블 없는 영역 점수화 프레임워크를 제안한다. 이 프레임워크는 SAM으로 생성된 마스크와 무작위 크롭(random crops) 모두를 사용하여 코사인 유사도 기반, 마진(margin) 기반, 엔트로피 기반 점수화 전략을 평가하고, 전역 이미지 임베딩과 국소 영역 임베딩에 기반한 두 가지 레이블 없는 의사 레이블(pseudo-label) 변형을 도입한다. 5개의 세분류 데이터셋에서 실험을 수행하여 서로 다른 영역 생성 방법과 점수화 전략을 체계적으로 비교한다. 결과는 Soft Negative Margin 점수화가 가장 강한 성능을 달성하며, 의사 레이블 점수화가 실제 레이블(true-label) 성능을 밀접하게 근사한다는 것을 보여준다. SAM이 의미적으로 유의미한 마스크를 생성함에도 불구하고, 무작위 크롭 기반 의사 레이블 점수화는 모든 데이터셋에서 SAM 기반 점수화보다 꾸준히 우수한 성능을 보였으며, 이는 의사 레이블이 노이즈가 많을 때 무작위 크롭이 주변 정보를 보존하고 더 안정적인 의미적 문맥을 제공한다는 것을 시사한다. 또한 SAM 마스크는 모든 영역의 임베딩을 집계할 때 이점을 얻는 반면, 무작위 크롭은 더 작은 top-k 부분집합에서 더 나은 성능을 내는 경향이 있다. 이러한 결과는 세분류에 대한 새로운 통찰을 제공한다.

arXiv:2607.12418v1cs.CV

MQAdapter: 거칠-세밀 VLM 미세조정을 위한 다중모달 양자 어댑터

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

대규모 비전-언어 모델(VLM)은 다양한 작업 전반에 걸쳐 인상적인 전이학습 능력을 보여왔다. 퓨샷(few-shot) 분류에서 VLM은 후보 범주를 걸러내는 눈에 띄는 능력을 보여 Top-K 정확도를 높게 달성한다는 점을 관찰했다. 그러나 시각적으로 유사한 범주 간의 세밀한 구별에는 종종 어려움을 겪어, 그림 1에서 보듯 Top-1 성능이 만족스럽지 못하다. 기존 VLM 어댑터 연구는 일반적으로 특징 공간에서 시각적 표현과 텍스트 표현 간의 전역적 정렬(alignment)에 초점을 맞추지만, 의미적으로 유사한 범주를 활용해 세밀한 시각적 표현을 정제하는 데는 실패한다. 이러한 관찰에 기반해, 양자 연산을 활용한 퓨샷 학습을 위한 새로운 거칠-세밀 VLM 미세조정 접근법인 다중모달 양자 어댑터(Multi-Modal Quantum Adapter, MQAdapter)를 제안한다. 구체적으로 MQAdapter는 먼저 입력 이미지와 가장 유사한 Top-K 범주 후보를 검색하여 이를 의미적 앵커(semantic anchor)로 사용한다. 그다음 이러한 앵커의 안내 하에 시각적 특징을 정제하기 위해 교차모달 양자 학습 메커니즘을 사용한다. 이 메커니즘의 핵심은 시각적 및 텍스트 특징을 양자 상태(quantum state)로 인코딩하는 것이다. 고차원 Hilbert 공간에서 양자 얽힘(entanglement)과 중첩(superposition)을 활용함으로써, MQAdapter는 고차 교차모달 상호작용을 효과적으로 모델링하여 전통적인 유클리드(Euclidean) 어댑터보다 더 판별력 있는 표현을 생성한다. MQAdapter는 매개변수 효율적이며, 다양한 기존 미세조정 알고리즘과 통합하여 추가적인 성능 향상을 달성할 수 있다. 15개 데이터셋에 대한 평가는 더 적은 수의 학습 가능 매개변수로도 MQAdapter의 효과를 입증한다.

arXiv:2607.10588v1cs.AI

규제 기반 세밀 분류를 위한 제약 인식 계층적 탐색

Constraint-Aware Hierarchical Search for Regulation-Driven Fine-Grained Classification

관세 분류, 수출 통제 분류, 표준 기반 장비 코딩과 같은 태스크는 명시적인 규제 계층 구조 하에서 입력 인스턴스를 세밀한(fine-grained) 클래스에 할당할 것을 요구한다. 표준 텍스트 분류와 달리, 이러한 태스크에서 정답 레이블은 의미적 유사도만으로 결정되지 않으며, 규칙으로 정의된 경계, 임계 조건, 제외 조항, 정의, 그리고 국소적 예외에 의해 결정된다. 그 결과 매우 유사한 두 입력이 서로 다른 레이블을 요구할 수 있고, 관련성 있어 보이는 검색된 구절이 적용 규칙 하에서는 여전히 적용 불가능할 수 있다. 기존의 평면 분류기(flat classifier), 계층적 텍스트 분류 방법, 검색-증강 생성(RAG) LLM 시스템은 계층적 유효성, 규칙 일관성, 세밀한 경계 추론을 함께 적용하도록 설계되어 있지 않다. 본 논문에서는 이 설정을 규제 기반 세밀 계층 분류(regulation-driven fine-grained hierarchical classification)로 정식화하며, 이 설정에서 외부 인스턴스는 규제 계층 내의 유효한 경로를 통해 세밀한 클래스에 할당되고 감사 가능한 증거에 의해 뒷받침되어야 한다. 우리는 규제 집약적인 대표 시나리오들로부터 네 개의 벤치마크 데이터셋을 구축하고, 전문가 참여(expert-in-the-loop) 프로세스를 통해 어노테이션을 검증한다. 또한 규제 문서를 탐색 가능한 트리로 변환하고, 유효한 로컬 후보 노드만을 검색하며, 구조화된 규제 필드와 증거 스니펫을 활용하여 각 다음 단계 결정을 안내하는 제약 인식 계층적 탐색(constraint-aware hierarchical search) 프레임워크를 제안한다. 실험 결과, 우리의 방법은 네 개의 데이터셋 모두에서 최고의 평균 정확도를 달성하고 해석 가능한 결정 경로를 제공하며, 세밀한 인접 카테고리와 규칙 기반 경계 조건이 포함된 사례에서 가장 큰 성능 향상을 보인다.