Patch-to-Global: 전체 슬라이드 이미지에서 전역 일관 메가픽셀 아티팩트 인페인팅을 위한 랜덤 패치 확산
Patch-to-Global: Random Patch Diffusion for Globally Consistent Megapixel Artifact Inpainting in Whole Slide Images
한국어 초록
심층 학습이 전체 슬라이드 이미지(WSI) 분석을 발전시켰지만, 기포나 주름과 같은 조직 아티팩트는 필수 형태학을 가려 침묵 실패(silent failures)를 자주 유발한다. 현재 병리학 이미지 복원 방법은 대부분 작은 패치에 국한되어 메가픽셀 규모에서 전역 구조적 일관성을 유지하기 어렵다. 우리는 조직학적 이미지에서 진단 구조를 재구성하여 잘못된 고신뢰도 예측을 방지하고 오류율을 낮추는, 전역 일관 메가픽셀 규모 인페인팅을 위한 프레임워크 RestorePath를 제안한다. 우리 모델은 병리학 파운데이션 모델(PFM) 임베딩을 조건으로 하는 잠재 확산 모델(LDM)을 활용하며, 랜덤 패치 확산 동안 장거리 의존성을 다루기 위해 Large Kernel Attention(LKA)를 통합한다. Distance-Weighted Interpolation(DWI)과 Adaptive Guidance Scale(AGS)로 강화된 RestorePath는 주변 패치의 정보를 조절하여 구조적 일관성과 충실도를 보장한다. 512~4608픽셀 범위의 이미지에 대해 TCGA-BRCA, BACH, Camelyon16 데이터셋에서의 평가는 조직학적 일관성 유지에서 최신(state-of-the-art) 성능을 보여준다. RestorePath는 하류 계산 병리학(CP) 과제를 유의미하게 개선하며, 원본 아티팩트 이미지와 기존 Detect-and-Discard(D&D) 접근법 모두를 능가한다. 코드는 https://github.com/PathfinderLab/RestorePath 에서 이용 가능하다.
원문 초록
Although deep learning has advanced Whole Slide Image (WSI) Analysis, tissue artifacts like bubbles and folds often cause silent failures by concealing essential morphology. Current pathology image restoration methods are mostly restricted to small patches, struggling to maintain global structural coherence at a megapixel scale. We introduce RestorePath, a framework for globally consistent megapixel scale inpainting that reconstructs diagnostic structures in histological image to prevent incorrect high-confidence predictions and lower error rates. Our model utilizes a Latent Diffusion Model (LDM) conditioned on Pathology Foundation Model (PFM) embeddings, integrating Large Kernel Attention (LKA) to manage long-range dependencies during random patch diffusion. Enhanced by Distance-Weighted Interpolation (DWI) and an Adaptive Guidance Scale (AGS), RestorePath ensures structural consistency and fidelity by modulating information from surrounding patches. Evaluations across TCGA-BRCA, BACH, and Camelyon16 datasets for images ranging from 512 to 4608 pixels demonstrate state-of-the-art performance in maintaining histological consistency. RestorePath significantly improves downstream Computational Pathology (CP) tasks, outperforming both raw artifact images and the conventional Detect-and-Discard (D&D) approach. The code is available at https://github.com/PathfinderLab/RestorePath
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24116v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VoxelSynth3D: 쌍을 이룬 합성 CLINIC-Metal 벤치마크를 활용한 해석 가능한 3차원 영상 도메인 금속 아티팩트 저감 기법
VoxelSynth3D: Interpretable Volumetric Image-Domain Metal Artifact Reduction with a Paired Synthetic CLINIC-Metal Benchmark
수술 후 근골격계 CT에서 발생하는 금속 아티팩트는 뼈-임플란트 및 인접한 연조직 경계면을 가립니다. 많은 금속 아티팩트 저감(MAR) 방식은 획득하기 어려운 원시 투영 데이터(raw projection)를 필요로 하거나, 스캐너 및 임플란트 종류에 따라 성능 변화(shift)가 발생할 수 있는 학습(training) 기반 모델을 사용합니다. 본 논문에서는 재구성된 CT를 위한 학습 불필요(training-free) 3차원 영상 도메인 프레임워크인 VoxelSynth3D를 제시합니다. 이 프레임워크는 지지 마스킹(support masking), 정규화된 조직 합성, 편차 게이팅(deviation gating), 제한적 에지 정제를 결합합니다. 탐지된 임플란트 복셀(voxel)은 출력에서 그대로 보존되는 반면, 보정은 주변 조직의 금속 유발 아티팩트를 대상으로 수행됩니다. 또한 우리는 깨끗한 타깃, 금속/아티팩트 마스크, 고정된 시드, 환자 수준의 분할을 갖춘 금속 없는 CTPelvic1K 볼륨으로부터 통제된 쌍을 이룬 합성 평가 리소스인 Synthetic CLINIC-Metal을 구축하였으며, 75개의 쌍을 이루지 않은 실제 금속 케이스는 정성적/무참조(no-reference) 평가만 거칩니다. 동작 지점은 거의 평탄한 검증(validation) 영역 내에서 고정되었습니다. 정확한 마스크 오라클 위치 지정을 통해 모든 방법은 금속이 제외된 조직 ROI를 공유합니다. 40개의 홀드아웃(held-out) 케이스에서 VoxelSynth3D는 RMSE를 801.48 HU에서 786.18 HU로 감소시켰으며(쌍체 이득 15.30 HU, 95% CI 11.68-19.23), 모든 케이스에서 성능을 개선하여 평가된 3D 가우시안 평활기보다 13.58 HU 더 뛰어난 성능을 보였습니다. 깨끗한 에지 일치도는 금속 바로 인접부에서는 감소했으나 5 mm를 벗어난 영역에서는 입력을 상회했습니다. 따라서 VoxelSynth3D는 국소적 구조적 트레이드오프를 수반하면서도 케이스 전반에 걸쳐 일관된 분포 내 조직 오차 감소를 제공합니다. 간격 인지 민감도 분석은 종합적인 광역 개선을 유지하면서 금속 근접 캘리브레이션을 개선 목표로 식별했습니다.
SENSE 가속 뇌 MRI에서 해부학적으로 충실한 아티팩트 억제
Anatomically Faithful Artifact Suppression in SENSE Accelerated Brain MRI
배경: 4배 가속 sensitivity encoding(SENSE4)은 뇌 MRI 촬영 시간을 단축할 수 있으나, 노이즈를 증폭하고 기존 재구성 후 잔여 aliasing 아티팩트가 남을 수 있다. 목적: 이미지 도메인 정제(refinement) 프레임워크가 정량 측정에 필요한 해부학적 정보를 보존하면서 SENSE4 뇌 MRI 품질을 개선할 수 있는지 평가한다. 방법: 본 전향적 paired 연구에서 80명의 참가자가 fully sampled 및 4배 가속 SENSE T1-weighted MRI를 시행했다. 우리는 generalized self-attention과 상관 기반 잔차 아티팩트 정규화(regularization)를 통해 가속 재구성을 정제하는 Anatomy-aware Residual Attention Network(ART-Net)를 개발했다. 참가자 단위 분할로 학습, 검증, 독립 시험 코호트(45/5/30명)를 구성했다. 독립 시험 코호트에 대해 이미지 품질 및 해부학적 보존에 대한 정량, 분할 기반, 맹검 방사선과 평가를 시행했다. 결과: ART-Net은 평가된 방법 중 최고 수준의 재구성 성능을 보였으며, peak signal-to-noise ratio(31.03 +/- 2.88 dB)와 structural similarity index(0.963 +/- 0.022)를 달성했다. 또한 해부학적 충실도가 개선되어, 위축(atrophy) 평가와 관련된 medial temporal 구조(0.8824 +/- 0.0827) 및 whole-brain 영역(0.8857 +/- 0.0885)에 대해 수치상 최고 Dice 계수를 보였다. 더불어 ART-Net은 그래디언트(gradient) 충실도, 국소 대비 보존, 방사선과가 평가한 구조적 품질을 개선했다. 결론: ART-Net은 단일 기관 held-out 시험 코호트에서 SENSE4와 fully sampled T1-weighted 영상 간 일치를 개선하면서 분할 기반 해부학적 측정을 유지했다. 이러한 결과는 ART-Net이 영상 충실도를 높이고 신뢰할 수 있는 하위 해부학적 분석을 가능하게 함으로써 가속 뇌 MRI를 지원할 수 있음을 시사한다.
소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망
Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives
배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
깊이 조건부 적응을 통한 참조 효율적인 멀티모달 비트스트림 손상 비디오 복원
Reference-Efficient Multimodal Bitstream-Corrupted Video Recovery via Depth-Conditioned Adaptation
손상된 비디오 비트스트림에서 시각적으로 충실한 콘텐츠를 복원하는 것은 신뢰할 수 있는 멀티미디어 통신 및 저장에 매우 중요합니다. 기존 방식들은 입력 비디오 시퀀스의 국소적 잔차(local residuals)와 비국소적(non-local) RGB 참조를 활용하지만, 두 원천 모두 디코딩 후 신뢰할 수 없게 될 수 있으며, 추가적인 참조를 처리하는 것은 수신측의 연산 및 메모리 부담을 증가시킵니다. 본 논문에서는 수신된 외관 정보가 손상되었을 때 전송 전 깊이(depth) 기반 기하학적 정보가 재구성을 돕는 RGB 및 깊이 정보를 활용한 멀티모달 비트스트림 손상 비디오 복원(MBSCVR)을 연구합니다. 우리는 더 높은 성능을 달성하기 위해 복원 윈도우당 단 하나의 선택된 비국소적 RGB 참조만을 선별하여 효과적으로 활용하는 새로운 MBSCVR 프레임워크를 제안합니다. 이 프레임워크는 참조 인코딩 전에 유효한 외관 정보와 깊이 호환성을 결합하는 신뢰성 인식 멀티모달 선택기를 통합합니다. 깊이 조건부 참조 적응(DCRA)은 선택된 RGB 단서를 특징(feature) 완성 및 콘텐츠 생성에 도입하는 한편, 프레임 정렬된 깊이는 완성 쿼리를 조건화합니다. 오라클 마스크를 적용한 완전한 BSCV 벤치마크에서, MBSCVR은 단 하나의 선택된 참조만을 사용하여 YouTube-VOS에서 32.30 dB, DAVIS에서 28.93 dB를 달성함으로써 전체 참조를 사용하는 B2SCVR을 각각 0.27 dB 및 0.33 dB 앞서고 두 서브셋 모두에서 SSIM을 향상시켰습니다. 동일 조건의 수신측 순방향 측정 결과에서는 지연 시간이 36.8% 감소하고 최대 메모리가 40.8% 감소한 것으로 나타났습니다. 이러한 결과는 간결한 기하학적 유도와 적응형 외관 처리가 멀티미디어 복원의 품질과 자원 간의 절충(trade-off)을 어떻게 개선하는지 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.