arXiv:2206.09068

Attention-based Dynamic Subspace Learners for Medical Image Analysis

Sukesh Adiga V, Jose Dolz, Herve Lombaert

제출 2022-06-18

원문 초록

Learning similarity is a key aspect in medical image analysis, particularly in recommendation systems or in uncovering the interpretation of anatomical data in images. Most existing methods learn such similarities in the embedding space over image sets using a single metric learner. Images, however, have a variety of object attributes such as color, shape, or artifacts. Encoding such attributes using a single metric learner is inadequate and may fail to generalize. Instead, multiple learners could focus on separate aspects of these attributes in subspaces of an overarching embedding. This, however, implies the number of learners to be found empirically for each new dataset. This work, Dynamic Subspace Learners, proposes to dynamically exploit multiple learners by removing the need of knowing apriori the number of learners and aggregating new subspace learners during training. Furthermore, the visual interpretability of such subspace learning is enforced by integrating an attention module into our method. This integrated attention mechanism provides a visual insight of discriminative image features that contribute to the clustering of image sets and a visual explanation of the embedding features. The benefits of our attention-based dynamic subspace learners are evaluated in the application of image clustering, image retrieval, and weakly supervised segmentation. Our method achieves competitive results with the performances of multiple learners baselines and significantly outperforms the classification network in terms of clustering and retrieval scores on three different public benchmark datasets. Moreover, our attention maps offer a proxy-labels, which improves the segmentation accuracy up to 15% in Dice scores when compared to state-of-the-art interpretation techniques.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02755v1cs.CV공통 태그 Clustering, Medical Image Analysis

FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.

arXiv:2610.01533v1cs.AI공통 태그 Clustering, Recommendation Systems

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2609.26924v1cs.CV공통 태그 Medical Image Analysis, Image Retrieval

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2609.24057v1cs.AI공통 태그 Medical Image Analysis, Image Retrieval

다중모달 대규모 언어 모델을 활용한 의료 영상 해석을 위한 표현 유도 문맥 내 학습

Representation-guided in-context learning for medical image interpretation with multimodal large language models

의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.

arXiv:2609.22562v1cs.CV공통 태그 Clustering, Image Retrieval

AdaMerge: 다중 벡터 시각적 문서 검색을 위한 튜닝 불필요 패치 압축

AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval

ColPali 및 ColNomic과 같은 다중 벡터 시각적 문서 검색(Visual Document Retrieval, VDR) 모델은 각 문서를 수백에서 수천 개의 패치 수준 임베딩(embedding)으로 표현하여 높은 정확도를 달성하지만, 상당한 저장 공간과 지연 시간 비용을 초래합니다. 기존 압축 방법은 중요하지 않은 패치를 가지치기(pruning)하거나 유사한 패치를 클러스터로 병합합니다. 최근 최고 성능의 병합 방법인 PtM(Prune-then-Merge)은 고압축 환경에서 가지치기 전용 베이스라인을 일관되게 능가하지만, 그리드 탐색을 통해 데이터셋(dataset)별 클러스터 예산 m을 튜닝해야 합니다. 본 연구에서는 계층적 군집화에 의해 생성된 병합-코사인 시퀀스가 병합 가능한 중복성과 두드러진 신호를 구분하는 급격한 절벽(cliff)을 보이며, 이 절벽의 위치가 14개 데이터셋의 11,000개 이상 문서에 걸쳐 좁은 대역에 집중되어 있음을 관찰했습니다. 이는 병합 경계를 데이터셋별로 튜닝하는 대신 문서별로 탐지할 수 있음을 시사합니다. 이러한 관찰을 바탕으로, 우리는 (i) 병합-코사인 궤적에 대한 갭 분석을 통해 각 문서 자체의 절벽을 탐지하고, (ii) 두드러진 신호를 보존하기 위해 어텐션(attention) 가중 클러스터 중심을 구축하는 플러그 앤 플레이 압축 방법인 AdaMerge를 제안합니다. 긴 문서 벤치마크인 ViDoRe-V2(4개 데이터셋, 2개 백본)에서 AdaMerge는 전체 작동 범위에 걸쳐 튜닝된 PtM을 유의미하게 능가하며(p < 10^-4), 모든 병합 방법이 이미 거의 무손실에 가까운 짧은 문서 벤치마크 ViDoRe-V1(10개 데이터셋, 2개 백본)에서는 데이터셋별 튜닝 없이도 튜닝된 PtM과 동등한 성능을 달성합니다. AdaMerge는 문서당 약 10ms만 추가하며, 모든 데이터셋과 백본에서 공유되는 단 하나의 전역 하이퍼파라미터(hyperparameter)만을 가집니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.