범용 로봇 정책은 사용자 지시를 따르면서 객체, 카메라, 로봇 동작이 3D 물리적 세계에서 어떻게 상호작용하는지 추론할 수 있어야 한다. 최근의 비전-언어-액션 모델(VLA)과 비디오 세계-액션 모델(WAM)은 대규모 파운데이션 모델로부터 강력한 의미론적 또는 시간적 사전 지식을 계승하지만, 여전히 주로 2D 이미지 프레임 또는 2D 기반 잠재 공간에서 작동하므로 접촉이 많은 조작에 필요한 3D 기하 정보가 암묵적으로만 처리된다. 우리는 기하학적 액션 모델(GAM)을 제안한다. 이는 사전학습된 기하학적 파운데이션 모델(GFM)을 지각, 시간적 예측, 액션 디코딩을 위한 공유 기반으로 직접 재활용하는 언어 조건부 조작 정책이다. GAM은 GFM을 중간 층에서 분할한다: 앞쪽 층들은 관측 인코더로 사용되고, 분할 층에 삽입된 인과적 미래 예측기는 언어, 고유 감각(proprioception), 액션 이력을 조건으로 미래 잠재 토큰을 예측한다. 예측된 미래 토큰은 이후 GFM 블록들을 통해 라우팅되어 특징 전파와 디코딩을 수행하며, 단일 백본이 미래 기하 정보와 액션을 동시에 생성할 수 있게 한다. 이 설계는 최소한의 아키텍처 수정만으로 GFM에 언어 조건부 시간적 세계 모델링 능력을 부여하면서 풍부한 기하학적 사전 지식을 보존한다. 다양한 시뮬레이션 및 실제 로봇 조작 벤치마크에서 GAM은 현재 파운데이션 모델 규모의 기준 모델들보다 더 높은 정확도, 더 강한 로버스트니스, 더 빠른 속도, 더 경량화된 구조를 보인다.
Recent advances in Neural Radiance Fields and 3D Gaussian Splatting have demonstrated strong potential for large-scale UAV-based 3D reconstruction tasks by fitting the appearance of images. However, real-world large-scale captures are often based on multi-temporal data capture, where illumination inconsistencies across different times of day can significantly lead to color artifacts, geometric inaccuracies, and inconsistent appearance. Due to the lack of UAV datasets that systematically capture the same areas under varying illumination conditions, this challenge remains largely underexplored. To fill this gap, we introduceSkyLume, a large-scale, real-world UAV dataset specifically designed for studying illumination robust 3D reconstruction in urban scene modeling: (1) We collect data from 10 urban regions data comprising more than 100k high resolution UAV images (four oblique views and nadir), where each region is captured at three periods of the day to systematically isolate illumination changes. (2) To support precise evaluation of geometry and appearance, we provide per-scene LiDAR scans and accurate 3D ground-truth for assessing depth, surface normals, and reconstruction quality under varying illumination. (3) For the inverse rendering task, we introduce the Temporal Consistency Coefficient (TCC), a metric that measuress cross-time albedo stability and directly evaluates the robustness of the disentanglement of light and material. We aim for this resource to serve as a foundation that advances research and real-world evaluation in large-scale inverse rendering, geometry reconstruction, and novel view synthesis.
Rendering holograms for holographic displays is often an iterative and computationally costly process. Emerging learned holography methods have alleviated this bottleneck by enabling fast hologram rendering with improved reconstruction quality. However, existing methods still depend on fixed display hardware and scene parameters, requiring retraining for each new configuration. This limits rapid adaptation to different visual needs, including scene brightness, user focus preference, and hardware compatibility. We introduce Configurable Holography, a learned CGH framework in which a single model adapts to diverse display-scene parameters through explicit conditioning, eliminating the need for retraining. As a prototype, we present a configurable structure and derive a family of models that continuously adapt to propagation distance, volume depth, peak brightness, pixel pitch, and wavelength. To further improve efficiency, we incorporate auxiliary monocular depth estimation for depth-aware 3D hologram synthesis from RGB-only inputs and apply knowledge distillation for interactive inference. Our extensive simulation and hardware experiments on three holographic display prototypes with different combinations of configurations show on-par reconstruction quality with existing methods, offering up to 2x speed-up in fp32. Our work represents an initial step toward flexible, general-purpose learned holography systems that can seamlessly adapt across diverse hardware and user-specific visual requirements.
Vision-language-action (VLA) models have made rapid progress in generalist robot manipulation by harnessing semantic knowledge from pretrained vision-language backbones, but their visual tokens remain grounded in 2D image coordinates rather than the calibrated geometry of the robot's cameras -- a mismatch especially pronounced in multi-camera setups, where views are coupled by known intrinsics and extrinsics yet processed as independent images. We propose G$^3$VLA, a camera-aware geometric module that injects calibrated structure into the visual-token stream of a pretrained VLA without altering its action space or imitation objective, combining intrinsic-conditioned ray embeddings, projective positional encoding (PRoPE), and bidirectional cross-view fusion. Geometric supervision is provided either from ground-truth point maps when available, or from confidence-gated $π^3$X teacher predictions, requiring no depth sensors or manual annotations. Instantiated on $π_0$, G$^3$VLA yields consistent gains across the LIBERO suites, RoboCasa24, RoboTwin2.0, and real-robot settings, with the largest improvements on spatially and object-sensitive tasks. We further validate on $π_{0.5}$ and GR00T 1.5, with results suggesting that geometric transfer is most effective when geometry-aware tokens have direct access to the action generation pathway. Our project page is at https://sites.google.com/view/g3vla
사전학습된 Vision Foundation Model(VFM)은 강력한 의미론적 표현과 뛰어난 일반화 능력 덕분에 현대 컴퓨터 비전(CV)의 핵심이 되었다. 그러나 패치화되거나 풀링된 출력은 본질적으로 저해상도이므로, 세밀한 픽셀 수준 추론이 필요한 과제에서는 효과가 제한된다. 기존 특징 업샘플링 접근법은 의미적 충실도를 저하시키거나 VFM 전용 재학습과 무거운 아키텍처에 의존하여 효율성과 확장성을 저해한다. 이를 해결하기 위해, 우리는 임의 해상도에서 고해상도 특징 맵을 재구성하는 초경량·과제 독립적·VFM 독립적 특징 업샘플링 프레임워크 RaysUp을 제안한다. 기존 2D 보간이나 어텐션 기반 방식과 달리, RaysUp은 특징 재구성을 기하 인식 레이(ray) 도메인으로 끌어올린다. 구체적으로, 방향 인식 가이던스 인코딩을 위한 Spatially Decoupled Guidance Encoder, 해상도에 유연한 재구성을 위한 Any-Resolution Cross-Attention 메커니즘, 6D Plücker 레이 좌표를 통해 암묵적 3D 기하 사전(prior)을 주입하는 새로운 Ray Positional Encoding(RayPE)을 도입한다. 마지막으로, Geometry-Aware Neighborhood Attention 모듈이 기하 일관성을 유지하면서 내용 적응형 양방향(bilateral) 집약을 보장한다. 다양한 밀집 예측(dense prediction) 과제에 대한 광범위한 실험에서 RaysUp은 AnyUp 대비 파라미터의 16%만 사용하면서 최신(state-of-the-art) 성능을 달성하고, 추론 속도는 약 7배 빠른 것으로 나타났다. 이러한 결과는 정확도-효율성 트레이드오프가 실질적으로 개선되었음을 보여 주며, RaysUp이 범용 특징 업샘플링을 위한 실용적이고 확장 가능한 해결책임을 입증한다. 코드는 https://github.com/MAP-RaysUp/RaysUp 에서 확인할 수 있다.
멀티모달 대규모 언어 모델(MMLM)은 2D 시각 태스크에서 뛰어난 성능을 달성했지만, 자율주행 차량(AV)과 같은 실제 응용을 위한 공간 지능을 향상시키는 것은 여전히 미해결 과제로 남아 있다. 기존의 기하 인식 MLLM은 일반적으로 추론 시점에 보조 3D 모델에 의존하여 파이프라인 복잡도와 연쇄적 실패 위험을 초래한다. 본 논문에서는 순수 2D 관측만으로 기하 인식 공간 추론을 수행하는 단순하면서도 효과적인 플러그 앤 플레이 패러다임인 OmniSpace를 제안한다. 현재 MLLM이 취약한 교차 뷰 대응(cross-view correspondence)과 깊이 추정에 병목이 있다는 발견에 영감을 받아, OmniSpace는 Camera Pose Injector, Multi-view Epipolar 어텐션 모듈, 그리고 3D 기하 지식 증류(distillation) 목적함수를 도입하여 기하학적 지식을 모델로 전이함으로써 이 두 한계를 공동으로 해결한다. 광범위한 실험 결과, OmniSpace는 계획(planning) 벤치마크(nuScenes, Bench2Drive), 위험 탐지(nuInstruct), 언어(Omnidrive), 일반화(DriveBench)에서 기존 방법들을 능가한다.
최근 실내 점유 예측 방법들은 계산 효율성을 위해 Gaussian primitive를 희소 3D 표현으로 채택한다. 그러나 이들의 학습은 voxel 분류에 의존하며, 이는 국소적 제약만을 부과하고 primitive 분포에 대한 전역적 supervision을 결여한다. 따라서 이들은 불가피하게 빈 영역에서 가짜 primitive를 예측하여, 표현 효율성과 계산 효율성 모두를 저해한다. 이를 해결하기 위해, 우리는 점유 예측을 voxel 분포 추정으로 재정식화하는 새로운 프레임워크인 전방향 가능도 최대화(Feed-forward Likelihood Maximization, FLM)를 제안한다. FLM에서는 네트워크가 전방향(feed-forward) 방식으로 ground-truth 점유 voxel에 대한 가능도를 최대화하는 혼합 모델(mixture model)을 예측하도록 학습된다. 네트워크와 표준 혼합 모델의 voxel화를 위한 end-to-end 학습을 가능하게 하기 위해, 혼합 가중치를 정규화된 primitive 부피로 정의하여 simplex 제약을 암묵적으로 강제하고, 새로운 voxel화 공식을 유도한다. FLM을 기반으로 한 FLM-Occ는 무작위로 초기화된 primitive를 장거리로 재배치하여 장면을 모델링할 수 있는 새로운 방법이다. Occ-ScanNet에서 FLM-Occ는 superquadric 32개만으로, 선행 SOTA의 2.7%에 해당하는 수준으로 더 높은 정확도를 달성하면서 3.7배 빠르게 동작한다.
우리는 SCOPE(Scale-Consistent One-Pass Estimation of 3D Geometry)를 제안한다. 이는 확장된 단안(monocular) 영상 시퀀스로부터 3D 기하를 추정하는 새로운 접근법으로, 기존 방법들이 수백 프레임에 걸쳐 기하학적 정확도와 시간적 일관성을 모두 유지하는 데 어려움을 겪는 문제를 다룬다. 우리 접근법은 시퀀스 전체에 공유 파라미터를 갖는 아핀 불변(affine-invariant) 3D 포인트 맵을 생성하여, 일관된 스케일 불변(scale-invariant) 표현을 가능하게 한다. 우리는 세 가지 핵심 혁신을 도입한다: 다중 시점 포인트를 통합된 참조 프레임에 정렬하는 시점 불변(viewpoint-invariant) 기하; 지수적 시간 스케일에 걸친 일관성을 강제하는 외관 불변(appearance-invariant) 학습; 그리고 학습 길이를 훨씬 초과하는 시퀀스로의 외삽(extrapolation)을 가능하게 하는 주파수 변조(frequency-modulated) 위치 지정(positioning). 다양한 데이터셋에 걸친 실험은 유의미한 개선을 보여주며, ScanNet에서 최신(state-of-the-art) 방법 대비 상대적 포인트 맵 오류를 24.2%, 시간적 정렬 오류를 34.9% 감소시킨다. 우리 접근법은 복잡한 카메라 궤적과 조명 변화가 있는 어려운 시나리오를 다루면서, 확장된 시퀀스를 단일 패스로 효율적으로 처리한다. 프로젝트 페이지: https://scope3d.github.io/.
단일 샷 줄무늬 투영 윤곽법(FPP)은 실시간 측정, 동적 객체 재구성, 움직임에 민감한 환경을 위해 활발히 연구되었다. 복합 줄무늬 패턴은 단일 샷 FPP에서 유리한데, 하나의 패턴에 여러 주파수 성분을 인코딩할 수 있어 위상 모호성 해결이 가능하기 때문이다. 기존 접근법은 주로 푸리에 변환 기반 방법이나 지도 학습 심층 학습 방법에 의존한다. 하지만 푸리에 변환 기반 방법은 정확도가 제한되고 복잡한 영역에서 성능이 저하되는 경우가 많으며, 지도 학습 방법은 dense 위상 또는 깊이 라벨이 필요하고 이를 획득하는 비용이 크다. 본 연구에서는 위상 또는 깊이 라벨이 필요 없이 단일 샷 복합 줄무늬 패턴을 위한 자기지도 위상 정제 프레임워크를 제안한다. 제안 방법은 저주파수와 고주파수 위상 기울기 사이의 크기 및 방향 관계를 활용하여 위상 분리의 신뢰성을 높인다. 또한 객체 경계와 세밀한 기하 구조를 보존하기 위해 소프트 에지 일관성 손실을 도입한다. 실험 결과, 제안 방법은 MAE_z와 RMSE_z가 각각 0.367 mm와 1.804 mm를 달성하여, 0.402 mm와 2.785 mm를 얻는 최고 성능의 변환 기반 기준선을 능가했다. 제안 방법은 또한 유효 픽셀 비율을 84.75%에서 95.07%로 향상했다. 이 결과는 ground-truth 라벨 지도 없이도 신뢰할 수 있는 단일 샷 3D 재구성을 위해 자기지도 이중 주파수 위상 정제의 효과를 보여준다.
3D Gaussian Splatting(3DGS)는 새로운 시점 합성(novel view synthesis)을 위한 유망한 기법으로 부상했다. 그러나 3DGS는 고품질 렌더링을 달성하려면 밀집된 입력 시점이 필요하다. 희소 시점(sparse-view) 시나리오에서 3DGS는 종종 과적합에 빠져 눈에 띄는 아티팩트와 저하된 렌더링 품질을 초래한다. 기존 방법들은 추가 사전(prior)(예: 깊이 사전)을 도입하거나 정규화 기법(예: 드롭아웃)을 통합하여 이 문제를 해결하려 한다. 그러나 이러한 방법들은 원칙에 기반한 가이드 없이 적용되는 경우가 많다. 특히 사전 기반 증강(augmentation)은 보통 새로운 시점을 무작위로 샘플링하고, 드롭아웃 기반 정규화는 Gaussian을 무작위로 제거한다. 이러한 무작위성의 결합은 불확실성과 불안정성을 유발하여 새로운 시점 합성의 충실도(fidelity)를 제한한다. 본 논문에서는 Fisher Information을 통합하여 기하학적 사전과 정규화의 활용을 정량적으로 가이드하는 희소 시점 3DGS를 위한 새로운 방법을 제안한다. 구체적으로, 본 방법은 두 가지 핵심 구성 요소로 이루어진다: (1) Fisher Information을 활용한 스테레오 증강(stereo augmentation). Fisher Information을 활용하여 가장 정보가 풍부한 보조 시점(supporting views)을 능동적으로 선택하고 깊이 사전을 사용하여 신뢰할 수 있는 pseudo ground truth를 구성함으로써, 증강의 무작위성을 줄이고 안정성과 렌더링 충실도를 향상시킨다; (2) 불확실성 인식 정규화(uncertainty-aware regularization). Fisher Information을 사용하여 각 3D Gaussian의 불확실성을 정량적으로 측정하고 제거 확률을 적응적으로 조정함으로써 드롭아웃 기반 정규화의 불안정성을 줄여, 더 안정적이고 효과적인 정규화를 달성한다. 이 두 구성 요소를 통해 본 방법은 희소 시점 3DGS에서 과적합을 효과적으로 완화하고 최적화(optimization)의 안정성을 향상시켜 우수한 렌더링 충실도를 달성한다. 광범위한 실험 결과, 본 방법은 희소 시점 새로운 시점 합성 벤치마크(benchmark)에서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.
멀티모달 대규모 언어 모델(MLLM)의 공간 지능을 발휘하는 것은 3D 세계를 이해하고 상호작용하는 데 매우 중요합니다. 기존의 주요 접근 방식은 일반적으로 외부 도구를 통해 공간 사전 정보(priors)를 주입하여 상당한 추론(inference) 오버헤드를 유발하거나, 해석이 불가능하고 세밀한 기하학적 제약이 결여된 잠재 특징(feature) 증류에 의존합니다. 이러한 문제를 해결하기 위해, 우리는 멀티모달 대규모 언어 모델(MLLM) 내에 강건한 3D 공간 인식을 내재화하면서 동시에 본질적인 해석 가능성을 제공하도록 설계된 SpatialSV 프레임워크를 제안합니다. 수동적인 특징(feature) 모방에서 벗어나, SpatialSV는 과제 지향 시각적 지도를 사용하여 모델이 깊이 맵(depth maps), 카메라 포즈(camera poses), 포인트 클라우드(point clouds)를 포함한 명시적인 3D 표현으로 자신의 2D 시각적 특징을 능동적으로 리프트(lift)하도록 유도합니다. 중요한 점은, 이 2D에서 3D로의 리프트 과정이 모델의 표현을 투명하게 보여주는 창구가 된다는 것입니다. 결과적으로 생성된 3D 재구성물은 모델의 내재된 공간 지식의 질을 시각화하고 진단하는 직관적인 대리 수단(proxy) 역할을 합니다. 다양한 모델과 벤치마크(benchmarks)에 걸친 광범위한 실험을 통해, 멀티모달 대규모 언어 모델(MLLM)의 공간 지능을 향상하고 해석하는 데 있어 SpatialSV의 효과를 입증했습니다. 또한, 이 프레임워크는 반지도 학습(semi-supervised) 설정에서 강력한 일반화 성능을 보여주며, 확장 가능하고 해석 가능한 공간 표현 학습을 위해 레이블이 없는 시각적 데이터를 활용할 잠재력을 입증합니다.
참조 비디오의 카메라 모션을 새로 생성된 비디오로 이전하면 크리에이터가 시네마틱한 연출을 재사용할 수 있습니다. 그러나 참조 영상과 타겟 영상은 종종 호환되지 않는 스케일(예: 은하계를 가로지르는 스윕(sweep)과 책상 위를 미세하게 밀어내는 동작)을 가지며, 복구된 궤적을 단순히 재사용하면 미미하거나 과도하게 과장된 모션이 나타납니다. 우리는 이 원인이 기하학적 사실에 있음을 밝혀냈습니다: 이동(translation)에 의한 이미지 모션은 ||T||/Z 비율로 스케일링되므로, 단안(monocular) 궤적은 깊이-스케일 게이지(depth-scale gauge)까지만 의미를 가집니다. 우리는 이를 시차 수(Parallax Number) $\Pi = ||\Delta T|| / \bar{Z}$로 정제하였습니다. 이는 카메라 움직임이 주는 느낌의 강도를 나타내는 무차원(dimensionless)이며 게이지 불변(gauge-invariant)인 디스크립터로, 스케일에 충실한 이전이 보존해야 할 양은 원시 궤적이 아닌 이 시차 수임을 증명합니다. ParaScale은 모든 참조 비디오에서 $\Pi$를 읽어내고, 회전은 그대로 둔 채 매 프레임마다 타겟 장면 자체의 깊이(depth)에 맞춰 이를 재구현하는 플러그 앤 플레이(plug-and-play) 모듈입니다. 포즈 추출(pose extraction)과 포즈 주입(pose injection) 사이에 위치하므로 재학습이 필요 없으며, 모든 포즈 조건부 생성기(pose-conditioned generator)에 즉시 적용할 수 있습니다. 또한, 우리는 시차 일관성 오류(Parallax Consistency Error, PCE)를 소개합니다. 이는 유사도 정렬(similarity-aligned)된 TransErr와 달리 장면 스케일(scene-scale) 불일치를 드러내는 스케일 대칭(scale-symmetric) 메트릭입니다. 4자릿수에 달하는 스케일 범위와 여러 백본(backbone)에 걸친 실험에서, ParaScale은 구현된 시차를 항등선(identity line) 위에 유지하며, 시각적 충실도(visual fidelity)의 손실 없이 보정되지 않은 이전(uncalibrated transfer) 대비 PCE를 3배 이상 감소시켰습니다.
멀티모달 대규모 언어 모델(MLLM)은 2D 의미 이해에 탁월하지만 내재된 3D 인식이 부족하여, 비디오 프레임 간에 기하학적 및 공간적 일관성을 유지하지 못하는 표현을 생성합니다. 대규모 3D 데이터의 희소성을 고려하여, 우리는 순수한 2D 비디오 시퀀스를 사용하여 기하학적 표현을 학습하는 새로운 프레임워크인 GeoVR을 제시합니다. 이 접근 방식은 MLLM 내부의 의미 잠재 공간을 효과적으로 재구성하여 공간 지능을 발휘할 수 있게 합니다. 표면적인 특징 혼합을 사용하는 대신, GeoVR은 사전 학습된 3D 파운데이션 모델로부터 기하학적 지식을 증류하여 MLLM의 내부 표현을 재구성합니다. 이는 네 가지 상호 보완적인 기하학적 목표에 의해 주도되는 다목적 학습 전략을 통해 달성됩니다: (1) 변화하는 관점 역학을 임베드하기 위한 프레임 간 카메라 포즈 추정, (2) 물리적 거리를 고정하기 위한 밀집 깊이 맵 회귀, (3) 실제 세계 보정을 위한 메트릭 스케일 인자 예측, (4) 중간 특징 공간을 정렬하기 위한 멀티스케일 3D 특징 증류. 이러한 명시적인 물리적 및 기하학적 제약 조건의 안내를 받아, 모델의 내부 표현은 자연스럽게 강력한 3D 인식 능력을 발달시킵니다. 공간 추론 벤치마크에 대한 광범위한 실험을 통해 GeoVR이 최첨단 성능을 달성함을 입증하며, 이는 파운데이션 모델에 공간 지능을 부여하는 새로운 패러다임을 확립합니다.
비전-언어 모델(VLM)에서 3D 장면 이해를 위한 기존 접근법은 공간 추론을 위해 복잡하고 모델 특화 기하 인코더에 의존하거나, 대규모 학습 예산을 필요로 한다. 대신 OneCanvas는 모든 뷰의 패치 특징을 단일 등거리 원통 투영(equirectangular) 파노라믹 캔버스에 집약한다. 구체적으로, 각 패치는 깊이와 카메라 포즈를 이용해 3D 세계 좌표로 역투영한 뒤, 캔버스 원점에서 본 해당 점의 연속적인 경도·위도 위치에 배치되며, 겹치는 뷰 간 래스터화(rasterization)나 집약은 수행하지 않는다. 패치의 측정 좌표(metric coordinates)에 대한 3D 위치 임베딩을 특징에 더해, 세계 위치를 각도 기반 캔버스 좌표로 축소할 때 소실된 깊이를 복원한다. 이로써 모든 프레임의 패치는 백본의 융합이나 주요 아키텍처 수정 없이 하나의 공간 좌표계를 공유한다. 사전학습된 VLM은 이 표현을 일반 이미지처럼 입력으로 사용한다. 캔버스를 관심 있는 임의의 포즈를 중심으로 둘 수 있으므로, 동일한 표현은 로봇공학과 체화 AI(embodied AI)에서 흔히 요구되는 특정 시점에서의 상황적 추론을 직접 지원한다. 이 표현 덕분에 공간 사전학습 커리큘럼도 도입할 수 있다. 실제 이미지에서 추출한 객체의 패치 특징을 절차적으로 선택한 3D 세계 위치에, 그 외에는 비어 있는 캔버스 위에 배치함으로써, 광범위한 공간 추론 과제를 아우르는 즉석 감독을 생성하고, 답 분포를 제어하여 공간 추론 지름길을 줄인다. OneCanvas는 SQA3D와 VSI-Bench에서 최신(state-of-the-art) 수준의 정확도를 달성하고 SPBench의 분포 외(out-of-distribution) 데이터에 일반화하며, 가장 강력한 경쟁 방법보다 한 자릿수 적은 학습 연산량으로 이를 달성한다.
마커 없는 단일 RGB-D 카메라 모션 캡처는 로봇 원격 조작(teleoperation)을 위해 기존 마커 기반 시스템에 대한 저렴하고 비침습적인 대안을 제공합니다. 그러나 깊이 추정(depth estimation)은 자기 가려짐(self-occlusion)이 발생할 때, 특히 상지 운동 중에 자주 저하됩니다. 본 논문은 일정한 팔 길이를 기반으로 하는 기하학적 제약 조건을 강제하여 깊이 추정을 개선하는 팔 운동학 보정(AKC) 방법을 제시합니다. 제안된 접근 방식은 피타고라스 정리를 기반으로 하는 결정론적 공식을 통해 손목 위치와 미리 정의된 팔 길이를 활용하여 가려진 관절 깊이를 재구성하며, 이를 통해 복잡한 확률적 모델링이나 매개변수 튜닝의 필요성을 피합니다. Vicon 기준 시스템에 대한 실험적 검증(validation)은 제곱 평균 제곱근 오차(RMSE)와 피어슨 상관계수를 사용하여 평가한 결과, 정적 및 동적 관절 운동 모두에 대해 신뢰할 수 있는 성능을 보여주었습니다. 또한, 시뮬레이션 및 실제 로봇 환경 모두에서 모션 매핑 원격 조작(teleoperation)이 성공적으로 시연되었습니다. 결과는 AKC가 덜 신뢰할 수 있는 시간적 필터와 함께 사용되는 경우에도 장기간의 심각한 자기 가려짐(self-occlusion) 상황에서 견고성을 향상시키고 해부학적 일관성을 유지함을 보여주며, 이는 로봇 원격 조작(teleoperation) 및 인간-로봇 상호작용(HRI)과 같은 실시간 응용 분야에서의 실용성을 강조합니다.
단일 광자 어벌란치 다이오드(SPAD) 감지에 기반한 단일 광자 라이다(SPL)는 극도의 민감도로 시간 분해 광자 측정을 가능하게 하여, 광자 부족 환경에서 능동적 3D 인식에 대한 독특한 잠재력을 제공합니다. 그러나 실제 환경의 단일 광자 인식은 독특한 측정 노이즈와 복잡한 다중 반사 과도 현상으로 인해 여전히 근본적인 어려움이 있으며, 이는 기하학적 재구성과 의미론적 장면 이해를 복합적으로 어렵게 만듭니다. SPAD 기반 감지에 대한 관심이 증가하고 있음에도 불구하고, 기존 연구는 대부분 시뮬레이션 데이터나 소규모 통제된 촬영으로 제한되어 있습니다. 그 결과, 깊이 추정, 다중 뷰 재구성 및 3D 의미론적 이해에 걸친 실제 환경 단일 광자 인식의 체계적인 평가는 여전히 충분히 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 단일 광자 인식을 위한 실제 촬영된 멀티태스크 벤치마크인 SP-TransientBench (STB)를 소개합니다. SP-TransientBench는 $256\times192$ 해상도의 고체 상태 단일 광자 라이다를 사용하여 촬영된 10개의 다양한 장면과 10,297개의 뷰로 구성됩니다. 각 뷰는 다중 반사 동작, 표준화된 메타데이터 및 다중 뷰 평가를 위한 보정된 카메라 포즈가 포함된 전체 비행 시간 히스토그램을 제공합니다. 또한 선택된 장면에 대해 13개 클래스의 3D 의미론적 주석을 제공합니다. 각 작업에 대해 전용 데이터 분할과 평가 프로토콜을 제공함으로써, STB는 여러 3D 비전 문제에 걸쳐 실제 환경 단일 광자 인식의 일관되고 재현 가능한 벤치마킹을 가능하게 합니다. 데이터셋과 코드는 논문 수락 시 공개될 예정입니다.
센서 관측값으로부터 시뮬레이션 가능한 관절형 객체(articulated object)의 디지털 트윈을 재구성하는 작업은 여전히 두 가지 지속적인 격차로 인해 제한됩니다: (i) 부품(part) 수준의 기하학적 재구성이 운동학적 매개변수 추정과 분리되어 있으며, (ii) 복원된 모델(model)은 에너지 보존과 같은 기본적인 동적 불변성을 종종 위반하여, 물리 시뮬레이터에서 URDF를 재생할 때 드리프트(drift)가 발생합니다. 본 논문에서는 KinemaForge를 소개합니다. 이는 제약 조건 기반 파이프라인으로, 짧은 RGB-D 시퀀스에서 부품 수준의 형상, 관절 위상(topology), 관절 매개변수를 공동으로 추론(inference)하고, 미분 가능한 강체 역학(rigid-body dynamics)을 기반으로 구축된 에너지 일관성 검증기를 통해 결과를 검증합니다. 이 파이프라인은 세 가지 구성 요소를 도입합니다: 관절-부품 관계를 소프트 엣지(soft edge)로 인코딩하는 운동학적 제약 그래프; 렌더링된 관측값으로부터 Featherstone의 아티큘레이티드 바디 알고리즘을 거쳐 관절 매개변수까지 역전파하는 미분 가능한 스크류 축(screw-axis) 솔버; 그리고 재구성된 모델의 비물리적 자유 응답(free response)에 페널티를 부여하는 에너지 잔차 손실(loss)입니다. 5개의 PartNet-Mobility 카테고리와 내부 RGB-D 벤치마크(benchmark)에서 KinemaForge는 가장 강력한 기하학적 기준선(baseline)인 PARIS 대비 평균 관절 축 오차를 4.52도에서 2.83도(-37.4%)로, 상호작용 기반 기준선인 Ditto 대비 5.30도에서 2.83도(-46.6%)로 감소시켰습니다. 또한 50초 롤아웃(rollout) 동안 장기 시뮬레이션 드리프트(drift)를 64%(PARIS 대비) 줄였으며, 예비 평가 결과 Ditto 대비 폐루프 조작 성공률이 14.6%p 향상된 URDF를 생성했습니다. 코드와 재구성 데이터는 논문 수락 시 공개될 예정입니다.
군집 계수는 컴퓨터 비전(computer vision)의 기본적인 과제입니다. 그러나 실제 세계에서의 실용적 중요성에도 불구하고, 저조도 환경에서의 군집 계수는 아직까지 거의 탐구되지 않았습니다. 기존 방법들은 주로 조명이 충분한 장면에 초점을 맞추거나 단일 모달 Red-Green-Blue (RGB) 표현에 의존하는데, 이는 극심한 어둠과 복잡한 비균일 조명 하에서는 종종 신뢰할 수 없게 됩니다. 이 문제를 해결하기 위해, 우리는 두 개의 합성 데이터셋(dataset)인 SHA_Dark와 SHB_Dark, 그리고 실제 세계 벤치마크(benchmark)인 LC-Crowd (Low-light Crowd Dataset)로 구성된 세 가지 새로운 저조도 군집 계수 벤치마크를 구축했습니다. Retinex 기반 물리적 모델링에서 영감을 받아, 저조도 조건에서 내재적 반사율(intrinsic reflectance) 표현을 향상시키기 위해 깊이(depth)와 Canny 에지(edge) 단서를 보완적인 기하학적 및 구조적 사전(priors)으로 도입했습니다. 우리는 RGB 외관, 깊이 기하학, 에지 구조 단서를 통합된 하이퍼 그래프 내의 노드로 공식화하고, 동적 하이퍼에지(hyperedge) 구성 및 메시지 전달(message passing)을 통해 그들의 고차원(high-order) 보완적 관계를 명시적으로 포착하는 멀티 모달 하이퍼 그래프 융합 모듈을 제안합니다. 또한, 밀집 예측(dense prediction)에서 계산을 적응적으로 할당하기 위해, 앵커 인식(anchor-aware) 추정 및 적응형 직사각형 윈도우(window) 모델링을 통해 정보가 풍부한 영역에 계산을 집중시키는 변형 가능한 직사각형 희소 어텐션(Deformable Rectangular Sparse Attention, DRSA) 모듈을 제안합니다. 이러한 설계를 바탕으로, 우리는 견고한 저조도 군집 계수를 위한 통합된 저조도 계수 네트워크(Low-Light Counting Network, LCNet)를 개발했습니다. 세 가지 벤치마크에 대한 광범위한 실험을 통해, 제안된 방법이 기존 최첨단(SOTA) 방법들 대비 최상의 전반적인 성능을 달성함을 입증했습니다. 코드는 보충 자료에 포함되어 있습니다. 데이터셋은 논문 수락 후 공개될 예정입니다.
Open Forest Observatory(OFO)는 대학 및 기타 파트너 간의 협력으로, 생태학자, 토지 관리자 및 일반 대중이 저비용 산림 지도 작성에 접근할 수 있도록 하는 것을 목표로 합니다. OFO는 지리 공간적 산림 데이터 데이터베이스뿐만 아니라 무인 항공기(UAV)를 이용한 산림 지도 작성을 위한 오픈 소스 방법과 도구를 구축하고 있습니다. 이러한 데이터는 조림 노력의 우선순위 선정, 산불 위험 감소 정보 제공, 탄소 격리 모니터링을 포함한 다양한 기후 응용 분야에 유용합니다. OFO 산림 지도 데이터베이스의 현재 반복(iteration)에서는 3D 나무 지도가 고전적인 Structure-from-Motion(SfM) 기법을 사용하여 생성됩니다. 이 접근 방식은 인공물(artifact)이 발생하기 쉽고 디테일이 부족하며, 입력 데이터(수직 촬영 이미지)의 가시성이 제한적인 지표(forest floor)에서 특히 어려움을 겪습니다. 이러한 재구성 오류는 잠재적으로 다운스트림(downstream) 과학적 작업(예: 산불 시뮬레이션)으로 전파될 수 있습니다. Neural Radiance Fields(NeRF)와 같은 방법을 포함한 3D 재구성의 발전은 희소한 뷰(sparse view)에 더 강건하고 데이터 기반 사전(prior)을 지원하는 더 고품질의 결과를 생성합니다. 우리는 OFO 데이터셋에 NeRF를 통합하는 방법을 탐색하고, 최첨단(SOTA) 3D 비전 모델을 더 많이 지원하기 위한 향후 작업을 개요하며, 임업 응용 분야에서 고품질 3D 재구성의 중요성을 설명합니다.
공간 비전-언어 모델(Spatial VLM)은 기하학적 지각에서 상당한 진전을 이루었으나, 깊이, 거리 및 장면 관계에 걸친 다단계 추론을 요구하는 복잡한 공간 추론은 여전히 어려운 과제로 남아 있습니다. 더욱이, 서로 다른 공간 질의는 근본적으로 상이한 전략을 요구합니다. 일부는 순수하게 언어적인 단계별 연역을 통해 가장 잘 해결되는 반면, 다른 일부는 정량적 추론 이전에 명시적인 3D 그라운딩(grounding)이 필요합니다. 본 논문에서는 공간 비전-언어 모델을 위한 강화학습 기반 이중 경로 공간 추론(SR-REAL)을 제시합니다. 이는 공간 비전-언어 모델에 두 가지 상호 보완적인 추론 경로를 갖추게 하는 통합 프레임워크로, 단계별 언어적 연역을 수행하는 언어 전용 추론(Language-Only Reasoning, LOR)과 명시적인 기하학적 추론 이전에 영역 토큰(region tokens)을 통해 3D 기하학적 단서(예: 중심점 또는 경계 상자)를 탐지하는 탐지 후 추론(Detect-Then-Reason, DTR)으로 구성됩니다. SR-REAL은 LOR 및 DTR의 사고의 연쇄(chain-of-thought) 지도 신호를 구성하고 영역-3D 인터페이스를 제공하는 콜드 스타트(cold-start) 지도 미세조정 단계로 시작하며, 이어 정확도와 형식 보상을 통해 정책 모델을 최적화하는 강화학습(RL) 단계가 뒤따릅니다. DTR의 경우, 이산적인 중심 기반 탐지 보상이 기하학적 정렬을 더욱 정교하게 다듬습니다. 다양한 공간 벤치마크(benchmarks)에서 SR-REAL은 기존 공간 비전-언어 모델 베이스라인을 크게 초과하는 성능을 보였습니다: (i) 단일 강화학습 학습 모델이 두 가지 추론 경로를 모두 지원하며, DTR은 정밀한 3D 지역화(localization)를 통해 영역 인식 작업에서 탁월한 성과를 보이고 LOR은 일반적인 공간 추론을 향상시킵니다; (ii) 두 경로의 공동 학습은 상호 강화 효과를 촉진합니다; (iii) 고품질의 혼합 콜드 스타트 데이터는 안정적인 강화학습 최적화에 결정적입니다; (iv) 해당 모델은 작업별 튜닝 없이도 데이터셋과 도메인 전반에 걸쳐 일반화되며, LOR과 DTR 간의 긍정적 전이(positive transfer)를 입증합니다.