본문은 희소(sparse) SfM, fitted depth, 의미 분할(semantic segmentation)로부터 구조화된 3D 와이어프레임 재구성을 위한 S23DR 2026 챌린지의 우승 솔루션을 제시한다. 해당 방법은 정점(vertices)을 조건부 집합으로 취급하고, Perceiver 스타일의 장면 토큰을 조건으로 하는 flow-matching DiT로 64개의 정점 토큰을 디노이즈한다. 전역 패스(global pass)가 거친 구조를 예측하고, hull-cropped 두 번째 패스가 이를 정제하며, 소규모 다중 샘플 합의(consensus) 단계가 확률적 샘플러(stochastic sampler)를 안정적으로 유지한다. 최종 시스템은 private 리더보드에서 1위를 차지했으며, HSS = 0.654를 달성했다.
초분광 3D 이미징은 고밀도 분광 정보와 장면 기하학을 동시에 획득할 수 있지만, 전통적으로 가시광선 범위와 같은 협대역 분광 창에 국한되어 왔다. 본 연구에서는 가시광선-근적외선 전 대역과 단파 적외선(SWIR) 스펙트럼(450-1500 nm)에 걸쳐 이 기능을 확장하는 광대역 초분광 3D 이미징(BH3D) 방법을 제안한다. 이러한 광범위한 커버리지는 상호 보완적인 물리적 단서를 포착하기 때문에 중요하다: 가시광선 파장은 표면 외관을 드러내고, SWIR 대역은 표면 하부 특성과 소재 구성에 대한 통찰을 제공한다. 그러나 BH3D를 실현하는 것은 가시광선 실리콘 센서와 SWIR InGaAs 센서 간의 근본적인 센서 제약으로 인해 복잡한 다중 분광기 설계가 필요하기 때문에 어렵다. 본 연구에서는 가시광선 카메라와 SWIR 카메라로 구성된 스테레오 설정을 사용하는 단일 분광기 BH3D 시스템을 제안하며, 이를 통해 정확한 3D 기하학과 함께 고밀도 광대역 초분광 반사율을 재구성한다. 핵심 아이디어는 단일 분광기를 사용하여 분산 구조광을 광대역 영역으로 확장하는 것이다. 광대역 분산 구조광의 화상 형성을 모델링하고 초분광 반사율과 깊이를 추정한다. 다양한 실제 장면에서 본 접근법을 검증하여, 평균 분광 각도 매퍼 0.13 rad, 평균 제곱근 오차 0.03, 평균 깊이 오차 4.5 mm의 정확한 재구성 성능을 입증한다. 또한 메타머릭 소재 식별, 불투명 층을 통한 이미징, 지폐의 숨겨진 특징 발견, 혈관 시각화 등의 응용도 시연한다.
스테레오 매칭은 0차원 점과 1차원 선 원시 요소(primitive)에 대해서는 성숙에 이르렀지만, 시차 불연속(disparity discontinuity), 스케일 변화, 학습 의존성, 낮은 일반화 등의 과제로 인해 2차원 폴리곤에 대한 대응 관계 설정은 대부분 미탐색 상태이며, 이는 포즈 추정 및 3D 재구성과 같은 하류 태스크를 제한한다. 이러한 문제를 해결하기 위해, 본 연구는 사전학습 모델을 활용한 제로샷 폴리곤 매칭(Z(PM)2) 패러다임을 최초로 제안한다. 이는 플러그앤플레이 모듈을 통해 학습된 특징과 수작업 기하 제약을 결합하여 매칭을 0차원/1차원 원시 요소에서 2차원 폴리곤으로 확장한다. 파이프라인은 세 가지 핵심 단계로 구성된다. 첫째, 검출기(detector)는 사전학습된 Segment Anything 모델을 활용하여 분할 마스크를 기하와 텍스처를 통합한 그래프 구조 폴리곤으로 벡터화한다. 둘째, 전역 매처(global matcher)는 양방향 피라미드(bidirectional-pyramid)와 다중 기하 제약을 사용하여 시점 변화를 처리한다. 셋째, 지역 매처(local matcher)는 지역-전체(local-holistic) 이분 그래프 최적화를 활용하여 시차 불연속과 위상 불일치를 해결한다. 또한, 대응 관계를 이용한 폴리곤 매칭 기반 포즈 추정을 개발하여 잘 분포되고 중복이 적은 동형 대응점(homologous points)을 얻으며, 최적 표면 생성 방법과 함께 폴리곤 클라우드 개념을 최초로 제시하여 점 클라우드와 선 클라우드를 넘어 구조적으로 완전하고 의미적으로 풍부한 3D 표현을 생성한다. 스테레오 영상에서의 폴리곤 매칭 방법이 직접 비교를 위해 이용 가능하지 않으므로, 본 태스크에 가까운 최신(SoTA) 방법을 베이스라인으로 선정했다. ISPRS, KITTI, ScanNet, SceneFlow, DTU의 다섯 가지 도전적 데이터셋에서의 광범위한 실험 결과, Z(PM)2는 68.60%의 매칭 영역 점수를 달성하여 MESA보다 약 32% 우수한 성능을 보였고, 영역 수준 포즈 추정에서 1위를 기록했으며, 학습 없이 강력한 제로샷 일반화와 경쟁력 있는 속도를 보였다.
자율 로봇은 종종 출입문을 통해 방을 부분적으로만 관찰하는데, 이때 벽과 장면 구조가 안전한 내비게이션과 목표 지향적 행동에 필요한 기하학적 정보와 작업 관련 의미 정보를 가린다. 본 연구에서는 기성 사전학습된 생성적 비전 모델이 로봇 추론을 위한 제로샷 오프라인 사전(prior)으로서 이러한 누락된 구조를 도출할 수 있는지 탐구한다. 이러한 사전은 관찰되지 않은 구조에 대한 공간-의미 쿼리를 지원해야 하며, 숨겨진 영역에서 목표 객체의 가능도(likelihood)와 해당 영역이 점유될 확률을 추정해야 한다. 자기중심적 RGB 관측값과 목표 쿼리가 주어지면, 본 파이프라인은 VLM 기반 아웃페인팅(outpainting), 단안 깊이 추정, 의미론적 분할(semantic segmentation)을 활용하여 숨겨진 방의 의미 레이블이 부착된 3D 포인트 클라우드 가설을 샘플링한다. 우리는 Matterport3D에서 파생된 출입문 차폐 실내 장면 벤치마크인 MatterDoor를 소개하고, 생성적 메트릭과 시뮬레이션된 Stretch 로봇의 객체 도달 과제를 통해 도출된 사전을 평가한다. 실험 결과, 문제별 미세조정(fine-tuning) 없이도 계획 수립에 유용한 공간-의미 사전을 도출할 수 있음을 시사한다.
프린지 투영 프로파일로메트리(FPP)는 3D 표면 복원을 위한 고정밀 구조광 센싱 기법이나, 복잡한 캘리브레이션 절차, 환경 조건에 대한 민감성, 물리적 실험의 높은 비용으로 인해 실제 배포가 종종 제약된다. 동시에, 로보틱스 연구는 확장 가능한 개발 및 검증을 위해 NVIDIA Isaac Sim과 같은 시뮬레이션 플랫폼에 점점 더 의존하고 있으나, FPP와 같은 광학 계측 센서의 정확한 가상 표현은 현재 제공되지 않는다. 본 연구에서는 NVIDIA Isaac Sim에서 구현된 프린지 투영 프로파일로메트리를 위한 최초의 엔드-투-엔드 가상 센서 모델링 프레임워크인 VIRTUS-FPP를 제안한다. 이 프레임워크는 사전 캘리브레이션된 물리 시스템에 대한 의존 없이, 구조광 투영, 이미지 형성, 캘리브레이션, 3D 복원을 포함한 전체 FPP 파이프라인의 물리적으로 근거 있는 시뮬레이션을 가능하게 한다. 프레임워크는 프로젝터 표현을 위해 역 카메라 모델을 활용하여 구조광 원리에 부합하는 기하학적 및 광도 측정 충실도를 보장한다. VIRTUS-FPP는 광학 계측과 로보틱스 시뮬레이션을 연결함으로써 고충실도 합성 데이터 생성, 센싱 파이프라인의 체계적 평가, 실제 FPP 시스템의 디지털 트윈 복제를 가능하게 한다. 실험 결과는 밀리미터 이하의 복원 정밀도와 시뮬레이션 및 물리적 측정 간의 강한 대응성을 입증하며, 지각 기반 로보틱스, 시뮬레이션-현실 전이, 확장 가능한 광학 센서 설계의 발전에 대한 프레임워크의 효과성과 잠재력을 보여준다.
자기중심 시점에서 손 표면 접촉 압력을 추정하는 것은 AR/VR 기기, 로봇 모방, 및 인간공학 분석에 매우 중요하다. 기존 방법은 종종 압력 신호를 이산화하고 프레임을 독립적으로 처리하여 양자화 오류와 시간적 불일치를 초래한다. 우리는 시각 입력으로부터 UV-압력 맵을 생성하는 조건부 비디오 디퓨전 프레임워크인 EgoPressDiff를 제안한다. 우리 접근법의 핵심은 멀티모달 조건화 전략으로, PoseNet과 Vertex Encoder를 도입하여 손 자세와 3D 메시 정점으로부터 특징을 효율적으로 추출한다. 이 신호들은 깊이 정보와 함께 생성 과정을 안내하여 압력 필드가 물리적으로 그라운딩되도록 한다. 이질적인 특징을 효과적으로 융합하기 위해, 우리는 결합 전에 통계적 특성을 정렬하는 Distribution-Calibrated Spatial Layer(분포 보정 공간 층)를 추가로 제안한다. EgoPressure 자기중심 시점 설정에서 평가한 결과, EgoPressDiff는 최신(state-of-the-art) 성능을 달성하여, 기존 기준선 대비 Volumetric IoU를 34% 이상 상대적으로 향상시키는 동시에 MAE를 감소시키고 높은 시간적 정확도를 유지한다. 프로젝트 페이지는 https://egopressdiff.github.io/ 입니다.