arXiv:2211.12277

Semantic Guided Level-Category Hybrid Prediction Network for Hierarchical Image Classification

Peng Wang, Jingzhou Chen, Yuntao Qian

제출 2022-11-22

원문 초록

Hierarchical classification (HC) assigns each object with multiple labels organized into a hierarchical structure. The existing deep learning based HC methods usually predict an instance starting from the root node until a leaf node is reached. However, in the real world, images interfered by noise, occlusion, blur, or low resolution may not provide sufficient information for the classification at subordinate levels. To address this issue, we propose a novel semantic guided level-category hybrid prediction network (SGLCHPN) that can jointly perform the level and category prediction in an end-to-end manner. SGLCHPN comprises two modules: a visual transformer that extracts feature vectors from the input images, and a semantic guided cross-attention module that uses categories word embeddings as queries to guide learning category-specific representations. In order to evaluate the proposed method, we construct two new datasets in which images are at a broad range of quality and thus are labeled to different levels (depths) in the hierarchy according to their individual quality. Experimental results demonstrate the effectiveness of our proposed HC method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12881v1cs.CV공통 태그 image-classification, Image Classification

억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화

Inhibited Self-Attention: Sharpening Focus in Vision Transformers

비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.

arXiv:2607.10851v1cs.CV공통 태그 image-classification, Image Classification

집중 학습: 의료 이미지 분류를 위한 해부학 유도 어텐션 정규화

Learning To Focus: Anatomy-Guided Attention Regularization for Medical Image Classification

의료 이미지 분류 모델은 예측 시 진단적으로 관련된 영역을 식별하는 것이 이상적으로 기대되지만, 표준 분류 손실은 공간적 감독을 거의 제공하지 않는다. 과제 관련 해부학의 분할 마스크와 같은 해부학적 형태 정보를 통한 명시적 감독은 네트워크를 목표 예측에 관련된 영역으로 유도하는 것으로 나타났다. 그러나 이러한 마스크를 획득하는 데는 상당한 수동 어노테이션 노력과 계산 오버헤드가 수반된다. 다양한 영상 모달리티에서 해부학적 구조를 강력하게 위치 파악하는 분할 파운데이션 모델의 등장으로, 우리는 전용 분할 모델을 학습하는 부담 없이 해부학적 형태 사전 정보를 추출하기 위해 이 능력을 활용한다. 본 논문에서는 사전학습된 분할 파운데이션 모델을 활용하여 다양한 영상 모달리티에서 분류기의 어텐션을 진단적으로 의미 있는 해부학적 구조로 유도하는 해부학적 어텐션 정규화 프레임워크인 Locus를 제안한다. 파운데이션 모델에서 도출된 마스크와의 픽셀 단위 정렬을 강제하는 대신, 해부학적(전경) 영역과 배경 영역 사이의 어텐션을 적응적으로 균형 조정하는 정규화 항을 도입하여 배경 어텐션이 지배적일 때 분류기에 페널티를 부여한다. 우리는 피부경검사, X선, 조직병리학, 심장 MRI를 포괄하는 8개의 다양한 의료 영상 데이터셋에서 Locus를 검증하여, 향상된 해부학적 근거 어텐션과 함께 분류 성능의 일관된 향상을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.