arXiv:2111.08772

Computer Vision for Supporting Image Search

Alan F. Smeaton

제출 2021-11-16

원문 초록

Computer vision and multimedia information processing have made extreme progress within the last decade and many tasks can be done with a level of accuracy as if done by humans, or better. This is because we leverage the benefits of huge amounts of data available for training, we have enormous computer processing available and we have seen the evolution of machine learning as a suite of techniques to process data and deliver accurate vision-based systems. What kind of applications do we use this processing for ? We use this in autonomous vehicle navigation or in security applications, searching CCTV for example, and in medical image analysis for healthcare diagnostics. One application which is not widespread is image or video search directly by users. In this paper we present the need for such image finding or re-finding by examining human memory and when it fails, thus motivating the need for a different approach to image search which is outlined, along with the requirements of computer vision to support it.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26924v1cs.CV공통 태그 Medical Image Analysis, Image Retrieval

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2609.24057v1cs.AI공통 태그 Medical Image Analysis, Image Retrieval

다중모달 대규모 언어 모델을 활용한 의료 영상 해석을 위한 표현 유도 문맥 내 학습

Representation-guided in-context learning for medical image interpretation with multimodal large language models

의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.

arXiv:2607.11962v1cs.CV공통 태그 Medical Image Analysis, Image Retrieval

구조적 MRI 표현 학습을 위한 대조적 결합 임베딩 예측

Contrastive Joint-Embedding Prediction for Representation Learning in Structural MRI

자기지도 학습은 라벨 데이터가 부족하고 취득 비용이 높은 의료 영상에 매력적인 접근법을 제공한다. COJEPA를 제시한다. 이는 볼륨 뇌 MRI를 위한 자기지도 학습 프레임워크로, 결합 임베딩 예측 아키텍처(JEPA)와 대조 손실(CO)을 결합하여 지역적 예측성과 전역적 판별 가능성이라는 두 가지 상보적 특성을 목표로 한다. 모델은 두 코호트(HCP-YA 및 AABC, $N{=}2286$, 연령 22~90세)의 T1 강조 구조적 MRI에서 라벨 없이 학습되며, 전경 인식 블록 마스킹, 계층적 합성곱 패치 임베딩, 월드 공간 사인파 위치 인코딩을 통해 I-JEPA를 3D로 확장한다. 제로샷 쌍둥이 검색, 뇌종양 분할(BraTS 2024), 연령 회귀(OpenBHB)에서 세 가지 목표를 모두 평가한다. COJEPA는 rank@1 일란성 쌍둥이 재현율(0.84)에서 최고를 달성하고, 파인튜닝 연령 MAE(OpenBHB 3.0T에서 2.55년)에서 최고를 기록하며, BraTS 전체 종양 Dice에서 CO와 동등한 성능을 보여, 결합 목표가 동시에 판별적이고 지역적으로 구조화된 표현을 산출함을 입증한다.

arXiv:2607.12818v3cs.CV공통 태그 Image Retrieval

데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사

Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.

arXiv:2607.21186v2quant-ph공통 태그 Medical Image Analysis

OCT 및 치매 영상에서 에뮬레이션된 양자 레이어가 CNN의 성능과 설명 가능성에 미치는 영향

On the effects of emulated quantum layers on CNN performance and explainability for OCT and dementia imaging

하이브리드 양자-고전 합성곱 신경망은 고전 딥러닝 모델의 대안으로 제안되어 왔다. 그러나 양자 하드웨어에서 신경망 구성 요소를 실행하면 반복 측정을 통한 기울기 추정과 같은 근본적인 제약이 따르며, 큐비트 수를 늘리면 불모 고원(barren plateau)과 같은 학습 가능성 문제가 발생할 수 있다. 더욱이 이러한 하이브리드 신경망의 보고된 성공은 고전 컴퓨터에서 효율적으로 시뮬레이션될 수 있는 양자 구조와 연관되어 있다. 본 연구는 작고 고전적으로 시뮬레이션되는 양자 회로가 순수 고전 레이어를 대체하여 더 큰 모델 내의 유용한 구성 요소로 기능할 수 있는지를 조사한다. 하이브리드 양자 영감 CNN(HQiCNN)과 표준 CNN 구조를 체계적으로 비교하며, 두 모델은 단 하나의 중간 레이어에서만 다르다. HQiCNN에서는 에뮬레이션된 양자 회로이고 CNN에서는 그에 대응하는 고전 레이어이다. 모델은 두 개의 의료 영상 데이터셋에서 학습 집합 크기, 학습률, 배치 크기, 회로 얽힘, 관측량 집합을 달리하며 평가된다. 엄격한 매개변수 예산 하에서 HQiCNN은 고전 기준 모델보다 우수한 성능을 보인다. 고전 레이어에 더 많은 매개변수를 부여하면 전반적인 성능은 비슷해지며, HQiCNN은 중간 규모 데이터 영역에서만 향상을 보인다. 얽힘을 제거해도 성능은 비슷하고, 더 풍부한 관측량 집합도 성능 향상을 가져오지 않는다. 마지막으로 모델 설명을 비교하기 위한 두 가지 SHAP 기반 지표인 $|$SHAP$|$IoU와 EMD$_{\mathrm{pos}}$를 도입한다. 이들은 모든 구조가 해부학적으로 타당한 영역에 주목하며, 구조 간 공간적 주의 일치도가 학습 집합 크기에 따라 증가함을 보여준다. 이러한 결과는 특정 데이터 영역에서 양자 영감 하이브리드 모델이 의료 영상 분류에서 고전 CNN에 대한 경쟁력 있는 대안임을 시사한다.

arXiv:2607.12075v3eess.IV공통 태그 Medical Image Analysis

데이터셋 이동 하에서 갑상선 결절 초음파 분류를 위한 딥 앙상블 기반 보정된 선택적 예측

Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift

배경: 딥러닝은 초음파에서 갑상선 결절을 분류할 수 있으나, 판별 성능만으로는 임상적 신뢰성이 확립되지 않는다. 우리는 불확실성 인지 선택적 예측과 보수적인 영상 기반 선별을 갖춘 보정된 딥 앙상블 프레임워크를 개발하였다. 방법: 3겹 내부 아키텍처 선택을 포함한 중첩 5겹 교차 검증으로 squeeze-and-excitation 블록을 갖춘 ConvNeXt-Tiny를 선택하였고, 이를 이용해 결정론적 5개 구성원 앙상블을 구축하였다. 각 폴드 내에서 학습, 조기 종료, 보정, 임계값 부분집합을 분리하였으며, 외부 테스트 데이터는 격리된 상태로 유지하였다. 상호 정보량(MI), 예측 분산, 최대 소프트맥스 확률(MSP) 불확실성을 위험-커버리지 및 선별 분석과, 가정한 악성 유병률 5%-70%에 걸친 예측값으로 비교하였다. 고정된 TN5000 앙상블을 재보정 없이 TN3K에 적용하였다. 결과: TN5000에서 풀링된 out-of-fold AUC-ROC는 0.9377, 평균 정밀도는 0.9708, 기대 보정 오차는 0.0138, Brier 점수는 0.0827이었다. MI 기반 주 정책에서 영상의 8.86%가 No-FNA 제안을, 60.00%가 FNA 권고를, 31.14%가 영상의학과 의사 검토를 받았으며, 악성 영상 3574건 중 14건(0.39%)이 No-FNA, 708건(19.81%)이 검토를 받았다. 예측 분산과 MSP가 MI보다 오류를 더 잘 순위화하였고(AURC, AUGRC), 모든 선별 결과를 최적화한 척도는 없었다. 유병률 5%-70% 전반에서 NPV는 99.95%-97.93%, PPV는 29.28%-94.75%였다. TN3K에서 AUC-ROC는 0.7870, 평균 정밀도는 0.7254, 기대 보정 오차는 0.1899, 영상의학과 의사 검토율은 83.7%였다. 결론: 앙상블은 내부적으로 강한 판별 및 보정 성능을 보였으나 TN3K에서는 성능이 크게 저하되어, 데이터셋 이동 하에서 이식성이 제한적임을 나타냈다. 임상 사용 전에 다기관 검증, 기관별 재보정, 임계값 검증, 전향적 평가가 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.