EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting
원문 초록
3D reconstruction of biological tissues from a collection of endoscopic images is a key to unlock various important downstream surgical applications with 3D capabilities. Existing methods employ various advanced neural rendering techniques for photorealistic view synthesis, but they often struggle to recover accurate 3D representations when only sparse observations are available, which is usually the case in real-world clinical scenarios. To tackle this {sparsity} challenge, we propose a framework leveraging the prior knowledge from multiple foundation models during the reconstruction process, dubbed as \textit{EndoSparse}. Experimental results indicate that our proposed strategy significantly improves the geometric and appearance quality under challenging sparse-view conditions, including using only three views. In rigorous benchmarking experiments against state-of-the-art methods, \textit{EndoSparse} achieves superior results in terms of accurate geometry, realistic appearance, and rendering efficiency, confirming the robustness to sparse-view limitations in endoscopic reconstruction. \textit{EndoSparse} signifies a steady step towards the practical deployment of neural 3D reconstruction in real-world clinical scenarios. Project page: https://endo-sparse.github.io/.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가
GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations
3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.
Physical AI Smart Spaces: 스마트 공간에서의 다중 카메라 3D 인식을 위한 대규모 벤치마크
Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces
Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.
4DCodeBench: 동적 장면의 역 그래픽스에 대한 에이전트 벤치마킹
4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
본 논문에서는 에이전트(agent)가 비디오로부터 동적 장면을 실행 가능한 그래픽스 프로그램으로 재구성하는 코드 생성 기반의 4D 역 그래픽스(inverse graphics) 벤치마크인 4DCodeBench를 소개합니다. 이를 달성하기 위해 에이전트는 시각적 관측을 장면 구조와 동역학에 대한 간결한 표현으로 변환해야 하며, 물리 시뮬레이션과 같은 추상화를 구현하여 복잡한 동작을 재현해야 합니다. 이러한 역량을 평가하기 위해 변형, 유체 흐름, 파괴를 포함한 다양한 물리적 현상을 아우르는 실제 비디오 세트를 큐레이션하고 합성 장면을 구축했습니다. 프론티어 모델을 대상으로 광범위한 벤치마킹을 수행한 결과, 뛰어난 정적 재구성 능력이 복잡한 동역학의 신뢰성 있는 재구성으로 아직 직결되지는 않는다는 점을 발견했습니다. 4DCodeBench는 코드를 통해 세상의 동역학을 해석할 수 있는 에이전트의 발전 과정을 추적하기 위한 테스트베드를 제공합니다. 벤치마크는 https://github.com/4DCodeBench/4DCodeBench 에서 확인할 수 있습니다.
ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.