SBF-SEM에서 3D 수상돌기 인스턴스 분할을 위한 완전 자동화 파이프라인
A Fully Automatic Pipeline for 3D Dendrite Instance Segmentation in SBF-SEM
한국어 초록
연속 블록면 주사전자현미경(SBF-SEM)에서 개별 수상돌기(dendrite)의 정확한 3차원(3D) 재구성은 뇌의 구조적 가소성을 정량화하는 데 필수적이지만, 대규모 수작업 어노테이션은 실현하기 어렵습니다. 본 논문에서는 다운샘플링된 슬라이스에 대한 YOLOv6 유도 기반 Segment Anything Model(SAM) 프롬프팅, 반복적 2차원 마스크 정제, 랜덤 포레스트(random forest) 기반 3D 인스턴스 연결, 그리고 원본 해상도에서 nnU-Net을 활용한 인스턴스 인지 고해상도 정제를 하나의 시스템으로 통합하여 추론 시 수동 프롬프팅이 전혀 필요하지 않은 3D 수상돌기 인스턴스 분할(instance segmentation) 완전 자동화 파이프라인을 제시합니다. 대조군 쥐와 필로카르핀 유도 간질 모델 쥐의 해마 CA1 SBF-SEM 데이터셋에 적용한 결과, 본 파이프라인은 높은 의미론적 정확도(Dice 0.93 및 0.91)와 대조군 조직에서의 우수한 인스턴스 수준 성능으로 일관되고 잘 분리된 수상돌기를 재구성하는 한편, 더 까다로운 간질 조직 분석을 통해 밀집 영역에서의 인스턴스 인식이 주요 잔여 한계점임을 밝혀냈습니다. 고해상도 정제 단계는 얇은 수상돌기 돌출부를 복원하여 후속 가시(spine) 수준 분석의 기반을 제공합니다. 코드는 https://github.com/ZE-WEN/dendrite-3d-instance-seg 에서 확인할 수 있습니다.
원문 초록
Accurate three-dimensional (3D) reconstruction of individual dendrites in serial block-face scanning electron microscopy (SBF-SEM) is essential for quantifying structural plasticity in the brain, yet manual annotation at scale is infeasible. We present a fully automatic pipeline for 3D dendrite instance segmentation that unifies YOLOv6-guided Segment Anything Model (SAM) prompting on downsampled slices, iterative two-dimensional mask refinement, random forest 3D instance linking, and instance-aware high-resolution refinement using nnU-Net at native resolution into a single system requiring no manual prompting at inference. Applied to hippocampal CA1 SBF-SEM datasets from a control rat and a pilocarpine- induced epileptic rat, our pipeline reconstructs coherent, well- separated dendrites with high semantic accuracy (Dice 0.93 and 0.91) and strong instance-level performance on control tissue, while analysis of the more challenging epileptic tissue identifies instance recognition in dense regions as the principal remaining limitation. The high-resolution refinement stage recovers thin dendritic protrusions, providing a basis for downstream spine- level analysis. Code is available at https://github.com/ ZE-WEN/dendrite-3d-instance-seg.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크
ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion
지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.
TomoTransformer: CT 재구성을 위한 파운데이션 모델을 향하여
TomoTransformer: Towards a Foundation Model for CT Reconstruction
지도 심층 학습(supervised deep learning)은 희소 뷰 단층 촬영 재구성(sparse-view tomographic reconstruction) 분야를 발전시켰습니다. 그러나 일반적으로 여과 역투영(FBP) 이미지나 사이노그램(sinogram)을 깨끗한 재구성 이미지로 매핑하는 기존 모델들은 분포 변화(distribution shift)에 취약합니다. 투영 횟수 및 각도, 검출기 해상도 또는 데이터 분포가 변경될 때마다 재학습이 필요하기 때문에, 실제 응용 분야에서의 배포는 여전히 제한적입니다. 이를 해결하기 위해 본 논문에서는 각 국소(local) 여과 투영을 개별 토큰으로 취급하고 셀프 어텐션(self-attention)을 통해 누락된 뷰를 예측하는 트랜스포머 기반 아키텍처인 TomoTransformer를 소개합니다. 결정적으로, TomoTransformer는 공간적 위치 전반에 걸쳐 투영을 분리하는 역투영 공간(back-projection space)에서 작동하므로, 뷰 보간이 기하학적으로 적절한 조건(well-posed)을 갖추고 검출기 크기에 불변하도록 만듭니다. 이러한 설계를 통해 재학습 없이도 임의의 각도 위치 및 검출기 크기에서 임의의 개수의 입력 투영을 처리하고, 임의의 개수의 목표 각도를 쿼리할 수 있는 단일 파운데이션 모델이 구현됩니다. 다양한 의료 CT 해부학적 구조와 자연 이미지를 포괄하는 대규모 데이터셋으로 학습된 TomoTransformer는 여러 해부학적 구조, 재료 및 해상도 전반에 걸쳐 효과적으로 일반화됩니다. 여러 벤치마크 희소 뷰 데이터셋에 대한 광범위한 평가 결과에 따르면, TomoTransformer는 ViewTrans와 같은 동시대의 다목적 모델을 크게 능가하며, 입력 및 목표 투영 수에 완전히 구애받지 않으면서도 강력한 특정 프로토콜 전용 베이스라인과 대등하거나 이를 능가하는 성능을 보입니다. 나아가 이 모델은 X선 방사광 가속기에서 수집된 실제 실험 나노스케일 뇌 데이터에서 강력한 제로샷(zero-shot) 일반화를 입증하여 실제 응용 분야에서의 실용성을 보여줍니다.
SCOPE-4D: 내시경 4D 기하학 파운데이션 모델
SCOPE-4D: Endoscopic 4D Geometry Foundation Models
기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.
FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델
FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter
생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.
ForestQuery: 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습
ForestQuery: Boundary-Aware and Spatially Anchored Query Learning for Unified Forest Point Cloud Segmentation
산림 포인트 클라우드 분할(forest point cloud segmentation)은 세밀한 3D 산림 장면 이해에 필수적이지만, 불규칙한 수목 구조, 심각한 가림 현상, 밀도 변화, 모호한 인스턴스 경계로 인해 여전히 어려운 과제로 남아 있습니다. 최근 쿼리 기반 산림 분할 방법들은 의미론적 분할(semantic segmentation) 및 인스턴스 예측의 통합에 유망한 가능성을 보여주었으나, 산림 고유의 공간 구조를 충분히 활용하지 못하고 경계 불확실성을 제대로 고려하지 못합니다. 본 논문에서는 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습 프레임워크인 ForestQuery를 제안합니다. ForestQuery는 상호 보완적인 두 가지 설계를 통해 인스턴스 및 의미론적 쿼리 학습을 강화합니다. 구체적으로, 경계 불확실성을 명시적으로 모델링하여 신뢰할 수 있는 인스턴스 쿼리 구성을 유도하고 적응형 손실(loss) 재가중치를 통해 쿼리 최적화를 조절합니다. 한편, 공간 앵커 기반 의미론적 쿼리 강화(SA-SQE)는 산림의 수직 층화 사전 지식을 인코딩하는 학습 가능한 3D 앵커를 도입하여 명시적인 공간 참조로 의미론적 쿼리를 풍부하게 만듭니다. 우리는 여러 공개 산림 포인트 클라우드 벤치마크와 자체 수집 및 주석을 추가한 실제 데이터셋에서 ForestQuery를 평가합니다. 광범위한 실험을 통해 다양한 산림 장면에 걸쳐 개별 수목 분할과 의미론적 분할 모두에서 일관된 성능 향상을 입증합니다. 코드와 데이터는 https://zhan994.github.io/ForestQuery 에서 공개적으로 이용 가능합니다.
포인트 클라우드로부터 포장 재배 옥수수의 엔드투엔드 절차적 모델링을 위한 비전-언어 모델(VLM) 기반 파이프라인
A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds
포장에서 재배된 작물의 편집 가능한 3D 모델은 대량 표현형 분석(high-throughput phenotyping) 및 인실리코(in silico) 육종 시험을 지원하지만, 스캔된 포인트 클라우드로부터 이를 구축하려면 기관 수준의 세그멘테이션(segmentation) 및 피팅(fitting)이 필요합니다. 절차적 생성기(procedural generator)는 기관 수준의 매개변수 집합을 분석에 적합한 3D 모델로 변환할 수 있으나, 해당 매개변수 집합을 얻기 위해서는 식물 개체당 수 시간의 수작업 튜닝이 필요하거나 종 특이적 라벨로 학습된 세그멘테이션 모델이 필요합니다. 본 연구에서는 수작업 튜닝이나 종 특이적 학습 데이터 없이도 원시 3D 포인트 클라우드로부터 절차적 옥수수 모델을 재구성하는 자동화된 파이프라인을 제시합니다. 멀티모달 비전-언어 모델(VLM)이 렌더링된 정사영 뷰(orthographic views)에서 잎의 중심선(midline)에 주석을 답니다. 결정론적 기하학 알고리즘은 이 주석을 포인트 클라우드로 역투영하고, 뷰 간 합의(cross-view consensus)를 통해 3D 잎으로 병합하며, 방향 가중 표면 그래프 상에서 중심선을 완전한 엽신(blade)으로 확장합니다. 측정된 기관 매개변수는 비균일 유리 B-스플라인(NURBS) 기반 절차적 모델 생성기를 위한 식물 기술자(plant descriptor)를 구성합니다. 이후 각 잎 표면은 미분 가능한 NURBS 피팅을 통해 해당 스캔 포인트를 기준으로 정교화됩니다. 이 파이프라인은 MaizeField3D 데이터셋의 유전형이 다양한 100개 포장 재배 옥수수 식물체에서 중앙값 5.4 mm의 식물 전체 챔퍼 거리(Chamfer distance)를 달성했습니다. 재구성된 모델은 수동 주석 기반의 기존 반자동 파이프라인보다 스캔 데이터에 더 근접했습니다. 파이프라인은 해당 라벨을 입력으로 사용하지 않고도 0.5 이상의 IoU(intersection-over-union)에서 1,023개 중 1,017개(99.4%)의 큐레이션된 참조 잎을 복원했습니다. 이러한 결과는 하류 기하학 단계에서 보정할 수 있을 때 VLM 주석이 유용한 기관 수준의 측정값이 될 수 있음을 보여줍니다. 이를 통해 현대적인 표현형 분석 실험 규모에서 편집 가능한 3D 식물 자산의 자동 생성이 실현 가능해집니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at 2026 IEEE-EMBS Conference on Biomedical Engineering and Sciences (IECBES)