Neural Radiance Fields in Medical Imaging: A Survey
원문 초록
Neural Radiance Fields (NeRF), as a pioneering technique in computer vision, offer great potential to revolutionize medical imaging by synthesizing three-dimensional representations from the projected two-dimensional image data. However, they face unique challenges when applied to medical applications. This paper presents a comprehensive examination of applications of NeRFs in medical imaging, highlighting four imminent challenges, including fundamental imaging principles, inner structure requirement, object boundary definition, and color density significance. We discuss current methods on different organs and discuss related limitations. We also review several datasets and evaluation metrics and propose several promising directions for future research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 의료 장면 완성을 위한 심층 학습 접근법: 기하학적 모델링부터 생성 패러다임까지
Deep Learning Approaches for 3D Medical Scene Completion: From Geometric Modeling to Generative Paradigms
3차원 장면 완성(3D scene completion)은 컴퓨터 비전과 로보틱스에서 주요 문제로 발전해 왔으며, 자율 주행 및 증강 현실을 포함한 다양한 분야에 응용되고 있다. 본 연구에서는 2016년부터 2026년까지 최근 10년간의 연구 성과를 체계적으로 정리하는 문헌 조사를 수행하였으며, 이 기간 동안 해당 분야는 SSCNet으로 대표되는 복셀(voxel) 의미론적 완성 패러다임에서 Gaussian splatting 기법을 활용한 실시간 렌더링과 생성적 확산(diffusion) 사전 지식을 결합한 최신 패러다임으로 혁신적으로 변화하였다. 본 연구에서는 복셀 그리드, 포인트 학습, 암묵적 신경장(implicit neural fields), 트랜스포머 네트워크, 확산 네트워크, 그리고 렌더링 인식 3D 가우시안 프리미티브 기반의 최신 패러다임에 이르기까지 표현 패러다임의 발전 과정을 논의하였다. 지난 10년간의 연구 성과에 대한 포괄적인 분석을 수행하고, 해당 분야의 기여를 명확히 파악할 수 있는 분류 체계(taxonomy)를 개발하였다. 또한 해당 분야의 연구 성과와 함께 여전히 해결이 필요한 과제들을 논의하였다. 마지막으로, 차세대 시스템 개발에 있어 나아가야 할 방향을 명확히 제시하는 연구 아젠다를 제안하였다.
모달 경계의 흐림: 단일 모달에서 다중 모달 인물 재식별(ReID)에 대한 통합 서벡
Blurring Modal Boundaries: A Unified Survey from Single- to Multi-Modal Person Re-ldentification
인물 재식별(ReID)은 지능형 감시 시스템의 핵심 구성 요소로, 분리된 카메라 네트워크 간 신원을 매칭하는 것을 목표로 한다. 전통적인 방법은 주로 단일 모달 RGB 영상에 의존하지만, 낮은 조도와 가림(occlusion)과 같은 환경적 도전 과제에 종종 제약을 받는다. 이러한 한계를 극복하기 위해 해당 분야는 교차 모달(cross-modal) 및 다중 모달(multi-modal) 패러다임으로 빠르게 발전하고 있다. 본 서벡은 이러한 전환에 대한 포괄적인 개요를 제시하며, 직접 가시성을 넘어 지각을 확장하는 신흥 비시선(NLOS, Non-Line-of-Sight) ReID를 포함하여 가시-적외선(VI-ReID), 텍스트-이미지(TI-ReID), 스케치 기반(Sketch-ReID) 등 주요 교차 모달 과제를 체계적으로 검토한다. 또한 3분광(tri-spectral) 및 다중 모달 융합 ReID를 살펴보고, 다양한 센서의 상보적 정보가 어떻게 견고성(robustness)을 향상시키는지 논의한다. 데이터셋, 과제, 방법론을 요약하는 것을 넘어, 모달리티 불변(modality-invariant) 특징을 효과적으로 포착하도록 설계된 가시-적외선 ReID용 트랜스포머 기반 기준선 프레임워크를 제안한다. 마지막으로, 현재 연구 환경을 바탕으로 향후 연구를 위한 여러 유망한 방향을 제시한다.
정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델
Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes
최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.