arXiv:2609.24732v1 cs.CV

GraphSVR: 확산 MRI를 위한 q-공간 인지 그래프 기반 슬라이스-볼륨 정합

GraphSVR: q-Space--Aware Graph-Based Slice-to-Volume Registration for Diffusion MRI

Noga Kertes, Daphna Link Sourani, Alex M. Bronstein, Moti Freiman

제출 2026-09-22

한국어 초록

확산강조영상(DWI)은 특히 시간 효율적인 프로토콜과 움직임이 발생하기 쉬운 피험자 집단에서 피험자의 움직임에 매우 취약합니다. 슬라이스-볼륨 정합(SVR)이 슬라이스 간 및 스택 간 불일치를 완화할 수 있지만, 확산 MRI는 확산 방향에 따른 대조도와 수십 개의 측정값을 공통 기준 좌표계 내에 정렬해야 하는 요구사항으로 인해 추가적인 복잡성을 유발하며, 실질적으로 4D 정합 문제를 낳습니다. 기존 접근 방식은 주로 순차적 모델링이나 쌍별 유사도에 의존하며, 희소한 그래디언트 샘플링이나 심한 움직임 환경에서 종종 성능이 저하됩니다. 본 연구에서는 DWI의 4D SVR 정합을 위한 q-공간 인지 그래프 기반 프레임워크인 GraphSVR을 소개합니다. GraphSVR은 획득 구조화된 그래프에서 슬라이스 그룹을 노드로 표현하며, 에지는 시간적 근접성, 공간적 슬라이스 기하구조, 확산 인코딩 관계를 인코딩합니다. 그래프 신경망은 전역적으로 일관된 스택 단위 강체 운동을 예측하며, 쌍을 이루는 정답 움직임 없이 해부학적 참조 영상만을 사용하여 자기지도, 제로샷(zero-shot) 방식으로 최적화됩니다. 제어 가능한 움직임 심각도와 그래디언트 희소성을 갖는 실제 획득 기반의 사실적인 재조합 시뮬레이션 및 완전 합성 확산 시뮬레이션 모두를 사용하여 GraphSVR을 평가합니다. 성능은 알려진 정답 변환 대비 그리드 오차(mm) 및 회전 오차를 사용하여 정량화됩니다. 심각한 움직임 하에서 GraphSVR은 표준 DWI 움직임 보정 방법인 FSL eddy에 비해 그리드 오차와 회전 오차를 73% 감소시키며, 가장 큰 개선 효과는 희소 방향 영역에서 관찰됩니다. 이러한 결과는 그래프 기반 추론을 통해 획득 구조를 명시적으로 모델링하는 것이 4D DWI 움직임 추정에서 견고성과 전역적 일관성을 향상시킨다는 점을 보여줍니다. 코드는 https://github.com/nogakertes/GraphSVR.git 에서 이용할 수 있습니다.

원문 초록

Diffusion-weighted imaging (DWI) remains highly vulnerable to subject motion, particularly in time-efficient protocols and in motion-prone populations. While slice-to-volume registration (SVR) can mitigate inter-slice and inter-stack misalignment, diffusion MRI introduces additional complexity due to diffusion-direction-dependent contrast and the requirement to align dozens of measurements within a common reference frame, effectively yielding a 4D registration problem. Existing approaches rely primarily on sequential modeling or pairwise similarity and often degrade under sparse gradient sampling or severe motion. We introduce GraphSVR, a q-space-aware graph-based framework for 4D SVR registration in DWI. GraphSVR represents slice groups as nodes in an acquisition-structured graph, with edges encoding temporal proximity, spatial slice geometry and diffusion encoding relationships. A graph neural network predicts globally consistent stack-wise rigid motion, optimized in a self-supervised, zero-shot manner using only an anatomical reference image, without requiring paired ground-truth motion. We evaluate GraphSVR using both fully synthetic diffusion simulations and realistic recombination-based simulations from real acquisitions with controllable motion severity and gradient sparsity. Performance is quantified using grid error (mm) and rotation error relative to known ground-truth transforms. Under severe motion, GraphSVR reduces grid error and rotation error by 73% compared to FSL eddy, the standard DWI motion-correction method, with the largest gains observed in sparse-direction regimes. These results demonstrate that explicitly modeling acquisition structure through graph-based reasoning improves robustness and global consistency in 4D DWI motion estimation. Code is available at https://github.com/nogakertes/GraphSVR.git.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24732v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Medical Image Analysis, Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.13637v1eess.IV공통 태그 Self-Supervised Learning, Medical Image Analysis

약하게 주석된 바이오이미징 데이터를 위한 모델 무관 지식 증강 머신러닝

Model-agnostic Knowledge Augmented Machine Learning for Weakly Annotated Bioimaging Data

현미경 및 세포형태학 이미지와 같이 약하게 주석된(weakly annotated) 바이오이미징 데이터로부터 자동 특징 추출을 수행하기 위해 머신러닝 모델의 활용이 점차 증가하고 있습니다. 그러나 자동 특징 추출에만 전적으로 의존하기 때문에, 기존 기법들은 약하게 주석된 데이터셋 전반에서 일관되지 않은 분류 성능을 보입니다. 본 연구에서는 머신러닝 모델이 자동 특징 추출로 포착할 수 있는 범위를 넘어 도메인 지식을 활용할 수 있도록 지원하는 모델 무관(model-agnostic) 지식 증강 기법을 제안합니다. 제안된 접근 방식은 7가지 머신러닝 아키텍처 전반에서 분류 성능을 향상시킵니다. 마스크 오토인코더(MAE) 기반 자기지도학습과 통합했을 때 본 기법은 전반적으로 가장 강력한 성능을 달성하여, 3개의 사내 현미경 데이터셋에서 차순위 방식 대비 정밀도를 2.9% 향상시켰으며 3개의 공개 세포형태학 벤치마크에서는 평균 6.8% 향상시켰습니다. 본 연구에서는 인간 유도만능줄기세포 유래 운동 신경세포에 대한 세 가지 독립적인 현미경 데이터셋을 활용하여, 근위축성 측삭 경화증(ALS)과 연관된 표현형인 핵에서 세포질로의 TAR DNA 결합 단백질 43(TDP-43) 이소(mislocalization) 현상을 기반으로 세포핵 수준의 분류를 수행합니다. 대규모 환경에서 이 표현형을 정확히 정량화하는 것은 여전히 어려우며, 이는 연구 간 불일치를 초래하는 원인이 될 수 있습니다. 성능이 가장 우수한 모델을 이들 현미경 데이터셋에 적용한 결과, 프로테아좀 스트레스원인 MG132와 산화 스트레스원인 아비산나트륨(SA)이 TDP-43 이소에 미치는 농도 의존적 영향, 산발성 및 가족성 ALS 공여자의 운동 신경세포에서 나타나는 다양한 병리 양상, 그리고 약리학 화합물인 에다라본과 니클로사마이드가 SA 유도 TDP-43 이소에 대해 보호 효과를 제공하지 못한다는 점 등을 포함하여 ALS와 관련된 생물학적 해석을 도출했습니다. 종합적으로, 본 파이프라인은 생체 외(in-vitro) 세포 이미지 분석을 가능하게 하여 ALS 관련 병리와 잠재적 치료법에 대한 이해를 증진하는 데 기여합니다.

arXiv:2610.13915v1cs.CV공통 태그 Self-Supervised Learning, Medical Image Analysis

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2609.12035v3cs.AI공통 태그 Self-Supervised Learning, Medical Image Analysis

심장 전체 읽기: 다중모달 심장 표현 학습을 위한 잠재 어텐션 마스크 오토인코더

Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

심혈관 질환의 진단과 치료는 심전도(electrocardiogram), 심초음파(echocardiography), 흉부 X선(chest X-rays)과 같이 심장 병태생리의 서로 다르지만 상호보완적인 측면을 포착하는 상호보완적 모달리티들의 통합에 기반합니다. 그러나 대부분의 의료 파운데이션 모델은 여전히 특정 모달리티에 국한되어 있으며, 파인튜닝(fine-tuning)이나 사후 학습(post-training) 단계에서만 모달리티들을 결합합니다. 이는 임상의들이 자연스럽게 통합하는 교차 모달 증거를 버리고 각 모달리티 내부의 구조를 무시합니다. 본 논문에서는 자기지도 사전학습(self-supervised pre-training) 과정에서 환자 수준의 표현을 공동으로 학습하는 다중모달(multimodal) 구조 인식 마스크 오토인코더인 Latent-Attention Masked Autoencoder(LAMAE)를 제안합니다. 사후에 모달리티를 융합하는 대신, LAMAE는 검사-뷰-개체(study-view-entity) 계층 구조에 걸쳐 작동하는 공유 잠재 어텐션(latent-attention) 모듈을 통해 잠재 공간에서 직접 정보를 교환함으로써 다양한 관찰 결과의 집계와 누락된 모달리티 처리를 가능하게 합니다. 50만 건 이상의 MIMIC-IV 입원 기록을 대상으로 사전학습된 LAMAE는 원내 사망률, ICD-10 및 DRG 코딩, 입원 기간과 같은 다중모달 입원 과제 전반에서 모달리티별 사전학습과 강력한 대조 학습 및 비전-언어 베이스라인을 능가하는 동시에, 단일 모달 과제에서도 경쟁력 있는 성능을 유지합니다. 이러한 구조를 모델링하는 것은 단일 모달리티 내에서도 효과를 발휘하여, 교차 모달 정보가 없더라도 잠재 어텐션 모듈은 모달리티별 사전학습 대비 표현력을 향상시킵니다.

arXiv:2610.02517v1cs.LG공통 태그 Self-Supervised Learning, Graph Neural Network

잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법

Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation

그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.