arXiv:2609.23026v1 cs.CV

BrainIAC: 온라인 적응을 통한 이종 MRI 모달리티 전반에서의 대화형 3D 뇌 병변 분할

BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation

Wentian Xu, Anthony P Addison, Ziyun Liang, Harry Anthony, Guang Yang, Konstantinos Kamnitsas

제출 2026-09-22

한국어 초록

뇌 병변 분할은 의료 영상 분석의 핵심 과제로, 진단, 치료 계획 수립, 장기적인 질환 모니터링에서 결정적인 역할을 수행합니다. 그러나 기존 모델들은 스캐너 하드웨어, 이미징 프로토콜(다양한 MRI 모달리티 조합)의 차이 및 새로운 병리적 특성으로 인해 발생하는 데이터 분포 변화(distribution shift)가 존재하는 실제 임상 현장의 요구 조건을 충족하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 다음 요소들을 통합한 단일 프레임워크인 BrainIAC(Brain lesion Interactive Adaptive Continuously learning segmentation)를 제안합니다: (i) 제로 필링(zero-filling) 및 무작위 모달리티 드롭(random modality dropping)을 통해 다양한 유형의 뇌 병변을 분할하고 이종 모달리티 조합을 처리하도록 학습(training)된 멀티모달 백본 네트워크, (ii) 프롬프트(prompt)가 주어지지 않을 때 완전 자동 예측을 유지하면서 바운딩 박스 및 클릭 프롬프트를 활용하는 3D 대화형 분할(interactive segmentation), (iii) 네트워크 자체의 예측값을 의사 라벨(pseudo label)로 활용하여 지도 학습을 수행하고 추가적인 클릭 중심 가우시안 손실(Click-Centered Gaussian loss)의 안내를 받는 상호작용 중(Mid-Interaction) 적응과 상호작용 후(Post-Interaction) 적응을 결합한 온라인 적응 메커니즘. 저자들이 아는 한, 이는 대화형 분할을 위한 최초의 3D 온라인 적응 방법 중 하나이며, 이종 모달리티 조합 처리와 온라인 적응을 결합한 최초의 연구입니다. 7개의 뇌 MRI 데이터셋(dataset)을 활용한 실험을 통해 제안된 구성 요소들이 상호 보완적이고 시너지 효과를 내는 이점을 제공함을 입증했습니다. 제안 방법은 기존 접근 방식들을 지속적으로 능가하며, 학습 중 보지 못한 모달리티를 포함한 이종 이미징 모달리티 전반은 물론 이전에 보지 못한 뇌 병리 유형에 대해서도 우수한 일반화 성능을 보입니다. 코드 및 3D Slicer 플러그인은 논문 게재 시 https://github.com/WenTXuL/BrainIAC 에 공개될 예정입니다.

원문 초록

Brain lesion segmentation is a fundamental task in medical image analysis, playing a critical role in diagnosis, treatment planning, and longitudinal disease monitoring. Yet existing models still struggle to meet the demands of real clinical use, where deployments contain data distribution shifts, arising from differences in scanner hardware, imaging protocol (varying MRI modality sets), and new pathologies. We present BrainIAC (Brain lesion Interactive Adaptive Continuously learning segmentation), a unified framework that integrates (i) a multi-modal backbone network trained to segment multiple types of brain lesions and handle heterogeneous sets of modalities via zero-filling and random modality dropping; (ii) 3D interactive segmentation with bounding-box and click prompts that preserves fully automatic prediction when no prompt is given; and (iii) an online adaptation mechanism combining Mid-Interaction adaptation and Post-Interaction adaptation, supervised by the network's own predictions as pseudo labels and guided by an extra Click-Centered Gaussian loss. To our knowledge, this is one of the first 3D online adaptation methods for interactive segmentation, and the first to combine handling of heterogeneous modality sets with online adaptation. Experiments across seven brain MRI datasets demonstrate that the proposed components provide complementary and synergistic benefits. The method consistently outperforms existing approaches and generalizes well across heterogeneous imaging modalities, including those unseen during training, as well as previously unseen brain pathology types. The code and a 3D Slicer plug-in will be released at https://github.com/WenTXuL/BrainIAC upon publication.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23026v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.17068v2cs.CV공통 태그 Medical Image Analysis, Domain Adaptation, Domain Generalization

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

arXiv:2610.15757v1cs.CL공통 태그 Domain Adaptation, Domain Generalization

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2610.10912v1cs.RO공통 태그 Domain Adaptation, Domain Generalization

듣는 것이 더 쉬워질 때: 지름길 없는 VLA를 위한 시각적 단서 스크러빙

When Listening Becomes Easier: Scrubbing Visual Cues for Shortcut-Free VLAs

지름길 학습(shortcut learning)은 로봇 학습에서 널리 발생하는 문제입니다. 로봇 시연(demonstration) 데이터셋의 제한된 다양성은 정책이 시점이나 배경과 같은 무관한 특징과 작업 간의 가짜 상관관계(spurious correlation)를 악용하도록 오도할 수 있습니다. 충분히 다양한 로봇 시연을 수집하는 것은 비용이 많이 들고 비효율적이므로, 알고리즘적 대안이 요구됩니다. 본 연구에서는 비전-언어-행동(vision-language-action, VLA) 모델에 초점을 맞추어, 서로 다른 비전-언어 모델 백본이 시각적 지름길 학습에 대해 실질적으로 서로 다른 취약성 수준을 보임을 발견했습니다. 또한 모델의 행동이 정책 롤아웃(rollout)을 필요로 하지 않는 제안된 표현 수준 지표인 액션 마진(action margin)과 상관관계가 있음을 밝혔습니다. 시각적 지름길은 일관되게 초기 계층에서 행동 표현에 진입하며, 이후 계층에서 언어 정보를 통합하여 이를 수정하는 정도는 모델마다 달랐습니다. 모델의 언어에 대한 어텐션을 높이기 위해, 본 논문에서는 모델이 시각적 지름길을 사용할 가능도를 줄이고 VLA의 일반화를 향상시키는 새로운 도메인 적대적 학습 방법인 태스크 스크러빙(task scrubbing)을 도입합니다. 여러 VLA 및 시각적 단서에 대해 시뮬레이션과 실제 환경 모두에서 수행된 실험은 태스크 스크러빙이 분포 외(out-of-distribution) 강건성을 개선하고 종종 시각적 지름길 학습을 제거함을 보여줍니다.

arXiv:2609.35943v2cs.CV공통 태그 Medical Image Analysis, Domain Generalization

HERO: 종양학 분야의 강건한 표현 학습을 위한 조직병리학 인코더

HERO: Histology Encoder for Robust Representation in Oncology

대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.

arXiv:2610.03193v1cs.CV공통 태그 Medical Image Analysis, Domain Generalization

연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가

Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification

최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.

arXiv:2610.01625v1cs.CV공통 태그 Domain Adaptation, Domain Generalization

도메인 수준 적응을 넘어서: 개인화된 연합 비전-언어 모델을 위한 마진 지향적 의미-외형 상호작용 보정

Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models

연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.