Deep Metric Learning-based Image Retrieval System for Chest Radiograph and its Clinical Applications in COVID-19
원문 초록
In recent years, deep learning-based image analysis methods have been widely applied in computer-aided detection, diagnosis and prognosis, and has shown its value during the public health crisis of the novel coronavirus disease 2019 (COVID-19) pandemic. Chest radiograph (CXR) has been playing a crucial role in COVID-19 patient triaging, diagnosing and monitoring, particularly in the United States. Considering the mixed and unspecific signals in CXR, an image retrieval model of CXR that provides both similar images and associated clinical information can be more clinically meaningful than a direct image diagnostic model. In this work we develop a novel CXR image retrieval model based on deep metric learning. Unlike traditional diagnostic models which aims at learning the direct mapping from images to labels, the proposed model aims at learning the optimized embedding space of images, where images with the same labels and similar contents are pulled together. It utilizes multi-similarity loss with hard-mining sampling strategy and attention mechanism to learn the optimized embedding space, and provides similar images to the query image. The model is trained and validated on an international multi-site COVID-19 dataset collected from 3 different sources. Experimental results of COVID-19 image retrieval and diagnosis tasks show that the proposed model can serve as a robust solution for CXR analysis and patient management for COVID-19. The model is also tested on its transferability on a different clinical decision support task, where the pre-trained model is applied to extract image features from a new dataset without any further training. These results demonstrate our deep metric learning based image retrieval model is highly efficient in the CXR retrieval, diagnosis and prognosis, and thus has great clinical value for the treatment and management of COVID-19 patients.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화
MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders
고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.
대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색
Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale
대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.
POI-Loc: 세밀한 POI 로컬라이제이션 벤치마크 및 비대칭 전역-지역 매칭 기법
POI-Loc: A Fine-Grained POI Localization Benchmark and an Asymmetric Global-to-Local Matching Method
관심 지점(POI, Point-of-interest) 로컬라이제이션은 사용자가 제공한 매장 전면 근접 촬영 사진을 위치 태그(geo-tagged)가 지정된 차량 탑재 광각 스트리트 뷰 내 동일한 매장과 매칭한다. 주변 장면은 유사하게 유지되는 반면 POI는 변경될 수 있으므로, 장면 수준의 인식만으로는 POI의 동일성을 확립할 수 없다. 또한 대상 스케일 및 촬영 도메인의 차이는 매칭을 더욱 어렵게 만든다. 우리는 우리가 아는 한 이 비대칭적이고 세밀한(fine-grained) POI 로컬라이제이션 작업을 전담하는 최초의 벤치마크인 POI-Loc을 소개한다. 많은 시각적 장소 인식 방법들은 각 이미지를 단일 전역 벡터로 표현하는데, 이는 복잡한 배경 속에서 작은 매장 전면의 세밀한 특징을 희석시키는 경향이 있다. 우리는 전역 및 지역적 근거를 결합하기 위해 GLAM(Global-to-Local Asymmetric Matching)을 제안한다. 1단계에서는 학습 가능한 소프트 top-k 상호작용을 통해 단일 어텐션 풀링(attention-pooled) 쿼리 프로브를 압축된 참조 영역 토큰과 매칭하고, 그 결과로 도출된 지역 유사도를 검색을 위한 전역 유사도와 융합한다. 2단계에서는 어텐션 풀링 이전의 쿼리 영역 토큰과 저장된 참조 토큰을 재사용하여 상호 최근접 이웃 재순위화를 수행한다. GLAM은 Recall@1/5/10 및 mAP에서 전역 및 2단계 베이스라인을 모두 능가하며, FoL 대비 재순위화 특징은 약 $5\times$ 더 작고 쌍별 매칭 비용은 $280\times$ 더 낮다. 벤치마크와 코드는 https://github.com/roadhan/glam 에서 공개될 예정이다.
M3GA-Wild: 산림 환경에서의 멀티모달 멀티세션 지상-항공 장소 인식을 위한 대규모 데이터셋 및 벤치마크
M3GA-Wild: A Large-Scale Dataset and Benchmark for Multi-Modal Multi-session Ground-to-Aerial Place Recognition in Forests
본 논문에서는 산림 환경에서의 멀티모달(multi-modal), 멀티세션(multi-session) 지상-항공 장소 인식(ground-to-aerial place recognition)을 위한 최초의 벤치마크인 M3GA-Wild를 제시한다. M3GA-Wild는 기존의 산림 위치 추정(localization) 데이터셋을 통합 및 확장하여, 36km에 달하는 지상 주행 경로에서 동기화된 RGB 영상 및 LiDAR, 370헥타르를 포괄하는 정렬된 고해상도 항공 영상 및 다중 고도 LiDAR, 그리고 정밀한 평가를 위한 정확한 지리 참조(geo-referenced) 6-DoF 포즈를 제공하는 포괄적인 벤치마크이다. M3GA-Wild는 다양한 시점, 차폐, 환경 조건을 지닌 다채로운 산림 장면을 포착하여 시각(visual), LiDAR, 교차 모달(cross-modal) 및 멀티모달 방법론에 대한 체계적인 평가를 가능하게 한다. 기준선(baseline) 실험 결과에 따르면 극심한 시점 차이가 존재하는 상황에서 LiDAR 기반 접근법이 비전 전용 방법보다 성능이 현저히 우수했던 반면, 현재의 멀티모달 융합 전략은 미흡한 교차 모달 정렬로 인해 이득이 제한적인 것으로 나타났다. 또한, M3GA-Wild는 항공 RGB 영상과 지리 참조된 항공 LiDAR를 결합함으로써 산림 영상으로부터 3D 기하 정보를 얻는 저비용 원천으로서의 단안 깊이 추정(monocular depth estimation) 기반 파운데이션 모델(foundation model) 평가를 가능하게 하며, 초기 실험을 통해 현재 방법들의 한계를 밝혀냈다. 이러한 결과는 모달리티 불일치 및 극심한 도메인 격차(domain gap)를 포함한 크로스 플랫폼 위치 추정의 핵심 과제들을 부각한다. M3GA-Wild는 비정형 자연 환경에서의 강건한 멀티모달 위치 추정 및 장기 자율성을 위한 연구를 지원하는 새로운 벤치마크를 정립한다. 데이터셋과 코드는 논문 채택 시 공개될 예정이다.
종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 난초 속 식별을 위한 비전 트랜스포머 대 합성곱 신경망: 뉴기니 난초과에 대한 통제된 벤치마크
Vision Transformers versus convolutional neural networks for fine-grained orchid genus identification in a species-rich, data-poor flora: a controlled benchmark on the Orchidaceae of New Guinea
뉴기니는 세계에서 가장 풍부한 섬 식물상(난초 약 2,856종)을 보유하고 있지만, 대부분의 종은 소수의 사진으로만 대표되며, 이는 종 수준의 직접 분류에 필요한 것보다 훨씬 적다. 이처럼 종 다양성은 높지만 데이터가 부족한 식물상에서 세분화된 식별(fine-grained identification)을 위한 방법이 필요하지만, 어떤 백본(backbone) 아키텍처와 사전학습(pretraining) 전략이 이를 가장 잘 뒷받침하는지는 아직 명확하지 않다. 우리는 먼저 쿼리 사진의 속(genus)을 예측한 다음, FAISS를 이용해 후보 종의 시각적으로 유사한 참조 이미지를 검색하는 2단계 시스템을 구축했다. 우리는 사전학습된 네 가지 백본 -- 두 개의 비전 트랜스포머(Vision Transformer, ViT; DINOv2, BioCLIP 2)와 두 개의 CNN(ConvNeXt V2-L, EfficientNetV2-L) -- 을 120개 속과 1,350개 종에 걸친 16,701장의 사진으로 구성된, 종 층화(species-stratified)된 고정 분할 데이터셋에서 동일한 프로토콜로 파인튜닝(fine-tuning)하여 비교했으며, 정확도, 보정(calibration), 오류 구조, 종 검색(retrieval), 그리고 새로운 속에 대한 오픈셋(open-set) 탐지를 평가했다. DINOv2가 가장 우수한 속 수준 성능을 달성했다(매크로 top-1 66.9%, 95% 신뢰구간 63.7-70.6; 전역 top-1 88.9%). 두 ViT 모두 두 CNN보다 우수한 성능을 보였으며, 범용 자기지도학습(self-supervised) 사전학습(DINOv2)이 도메인에 특화된 생물학적 사전학습(BioCLIP 2)보다 매크로 top-1 기준 7.1점 더 높은 성능을 보였다. 오류는 오류 유인체(error attractor) 역할을 하는 두 개의 개체수가 많은 속에 집중되었다. DINOv2 임베딩(embedding)은 종 수준 재현율(Recall@5) 86.6%와 속 수준 재현율(Recall@5) 98.7%를 달성했으며, 온도 스케일링(temperature scaling)은 모든 백본의 기대 보정 오차(Expected Calibration Error)를 약 0.03까지 감소시켰다. 또한 거리 기반 오픈셋 게이트는 보지 못한 속을 탐지해냈다(평균 AUROC 0.958). 임베딩 검색과 결합된 자기지도학습 비전 트랜스포머 백본은 종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 식별을 위한 효과적이고 실용적으로 배포 가능한 전략이다. 이 시스템은 공개 웹 애플리케이션(New Guinea Orchid Identifier)으로 공개되었으며, 다른 초다양성(hyperdiverse)의 미문서화된 분류군에도 적용 가능한 실용적인 템플릿을 제공한다.
DSCH-Loss: 심층 의미 해싱을 위한 동적 의미 채널 목적 함수
DSCH-Loss: A Dynamic Semantic Channel Objective for Deep Semantic Hashing
고차원 데이터 공간에서 효율적인 근사 최근접 이웃 검색을 가능하게 하는 짧은 이진 해시 코드를 생성하는 의미 해싱 방법은 최근 몇 년간 광범위한 관심을 받아왔다. 심층 학습 기반 방법은 수동 특징 공학에 의존하는 전통적 접근법보다 더 나은 의미 포착 능력을 제공한다. 또한 이들은 다양한 데이터 모달리티에 걸친 의미 해싱에 대한 데이터 기반 접근을 가능하게 하며, 공유 해밍 공간 내에서 고품질 교차 모달 해시 코드를 생성한다. 이전 연구는 이 해밍 공간의 특성을 조사하고, 고정된 폭과 레이블 유사도에서 유도된 해밍 거리를 갖는 미리 정의된 소위 의미 채널에 기반한 손실 함수를 도입했다. 그러나 이러한 공식화는 손실 경관에 불연속성을 도입하기도 하여 최적화를 복잡하게 만들었다. 이러한 관찰에 기반하여, 우리는 손실 경관의 불연속성을 피하기 위해 동적으로 크기와 위치가 조정되는 의미 채널을 사용하는 새로 설계된 손실 함수인 동적 의미 채널 해싱(DSCH)을 제안한다. 또한, 해시 코드 거리의 이산성에서 발생하는 샘플 검색 순서의 모호성을 해결하기 때문에 tie-aware 평균 정밀도(mAP)를 평가 지표로 사용할 것을 권장한다. 마지막으로, 두 개의 인기 있는 데이터셋에서 수행되고 두 가지 서로 다른 모델 아키텍처를 포함하는 다양한 실험 설정은 DSCH 목적 함수를 사용한 학습이 다른 최신 손실 함수를 사용한 학습보다 우수함을 강력히 뒷받침한다. 총 40개의 교차 모달 및 모달 내 검색 작업 중 35개에서, DSCH로 학습된 모델은 테스트된 네 가지 해시 코드 길이 전반에 걸쳐 유의미하게 더 높은 tie-aware mAP 점수를 달성하며, 모델 아키텍처와 사용된 데이터셋 전반에 걸쳐 설득력 있는 결과를 보여준다. mAP 점수 향상은 일관되며, 각각의 2위 대비 최대 1.75퍼센트포인트에 이른다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.