범용 비전-언어-행동 시스템은 신뢰할 수 있는 로봇 궤적을 계획하기 위해 객체 중심의 3D 증거와 재사용 가능한 조작 경험이 필요합니다. GeneralVLA는 언어와 RGB-D 관찰을 3D 엔드 이펙터 경로로 변환하는 계층형 인터페이스를 제공하지만, 두 가지 병목 현상이 남아 있습니다. 첫째, 단안 SAM3D 스타일의 객체 재구성은 자세와 보이지 않는 기하학에 대해 환각을 일으킬 수 있으며, 반면 조작은 보정된 다중 뷰 관찰이 가능할 때 안정적인 객체 형상의 이점을 누립니다. 둘째, 원래의 KnowledgeBank는 주로 의미적으로 유사한 스니펫을 검색하여 새로운 지식을 추가하는 방식이므로, 메모리 품질, 충돌, 신뢰도 및 기하학적 관련성을 제어하기 어렵습니다. 첫 번째 과제를 해결하기 위해, 우리는 입력 뷰 마스크로 외부 기하학적 단서를 검증하고, 소프트 비주얼 헐 지원을 적용하며, 축별 정제를 수행하고, 외관을 보존하면서 기하학만 융합하는 기하학적 사전(prior) 안내 MV-SAM3D 재구성 분기인 GeoFuse-MV3D를 도입합니다. 두 번째 과제를 해결하기 위해, 우리는 KnowledgeBank를 명시적인 품질, 신뢰도, 수명 주기, 검증기 및 충돌 메타데이터와 함께 정밀도 지향 검색을 갖춘 통제된 장기 메모리 시스템으로 업그레이드합니다. 마지막으로, 우리는 GSO-30에서 재구성 분기를 평가하고 Terminal-Bench 2.0 및 SWE-Bench Verified에서 메모리 모듈을 평가했습니다. GeoFuse-MV3D는 CD와 LPIPS를 각각 2.20%와 2.02% 감소시키고 PSNR과 SSIM을 각각 2.36%와 1.03% 증가시켜 MV-SAM3D 기준선보다 개선되었으며, KnowledgeBank는 Terminal-Bench SR에서 4.53%, SWE-Bench 해결률에서 3.73% 향상되어 ReasoningBank보다 개선되었고, 각각 AS를 4.95%와 5.65% 감소시켰습니다. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.
스테레오 매칭은 대규모 데이터셋에서 학습된 파운데이션 모델을 통해 발전해 왔으나, 이 패러다임은 확장성 병목 현상을 겪고 있습니다. 새로운 데이터를 통합하려면 비용이 많이 드는 통합 재학습이 필요하기 때문입니다. 모델 병합(model merging)은 소스 체크포인트(checkpoint)가 확보된 후 전문화된 모델들의 지식을 통합함으로써 확장 가능한 사후 대안을 제공합니다. 그러나 기존 병합 방법은 일반적으로 사용 가능한 모든 모델을 유지하거나 탐욕적 포함(greedy inclusion)에 의존하는데, 이는 유해한 작업 벡터(task vector) 간섭을 보존할 수 있습니다. 본 연구에서는 적응형 모델 병합을 위한 coarse-to-fine 진화적 프레임워크인 StereoFactory를 제안합니다. 1단계(Stage 1)에서는 유전 알고리즘을 사용하여 모델 부분 집합의 조합 공간을 탐색함으로써 참여할 모델을 결정합니다. 2단계(Stage 2)에서는 선택된 작업 벡터에 대한 아키텍처 적응형 라우팅(architecture-adaptive routing)의 CMA-ES 최적화와 선택적 모듈 수준 스케일링을 통해 모듈 수준 지식 전문화(서로 다른 기능 모듈이 지식 소스에 대해 뚜렷한 선호도를 나타내는 현상)를 해결합니다. 두 가지 아키텍처와 네 개의 벤치마크(benchmark)에 걸친 실험 결과, StereoFactory는 동일한 체크포인트 풀(pool) 하에서 가장 우수한 4개 벤치마크 평균 성능을 일관되게 달성했습니다. 가장 강력한 통제된 기준선(baseline) 대비 NMRF에서 평균 오차를 3.80에서 3.30으로, FoundationStereo에서 2.88에서 2.19로 감소시켰습니다. 이 사후 탐색 과정은 해당 통합 재학습에 소요되는 실제 시간(wall-clock time)의 단 2.7~3.7%만을 필요로 합니다. 분석 결과, 지식 기여는 본질적으로 모듈 특화적이며, 선택된 부분 집합은 아키텍처 간 전이 시 최소한의 성능 저하만을 보이는 것으로 나타났습니다. 코드는 논문 수락 후 다음 주소에서 공개될 예정입니다: https://github.com/XiandaGuo/StereoFactory.
본 논문은 상업적으로 성공한 GelSight 센서가 개척한 비전 기반 촉각 감지(vision-based tactile sensing) 계열에 속하는 디지털 프린지 투영(DFP) 시스템을 기반으로 하는 접촉 기반 3차원 표면 측정 방법을 제시합니다. 이러한 센서들은 로봇 손가락 끝 조작 및 접촉 감지에 효과적인 것으로 입증되었습니다. 그러나 GelSight는 RGB LED를 사용하는 포토메트릭 스테레오(photometric stereo)를 사용하기 때문에 절대 깊이를 직접 측정하지 않고 추정된 표면 기울기를 적분하여 추론하며, 이로 인해 재구성 오류가 누적될 수 있습니다. 또한 감지 영역이 커질수록 보정이 점점 어려워지며, 고반사성 또는 투명 물체에 대해서는 깊이 정확도에 한계가 있습니다. 이러한 단점을 극복하기 위해, 본 연구에서는 코팅된 실리콘 접촉 표면에서 삼각측량 기반 3차원 재구성을 수행하는 프린지 투영 기반 접촉 측정 기법을 제안합니다. 이는 접촉 영역에 걸쳐 조밀한 픽셀별 표면 기하학 및 전체 영역(full-field) 3차원 형상 측정을 제공합니다. 고정밀 디지털 프린지 투영을 센서에 통합함으로써, 제안하는 접근 방식은 더 넓은 영역에 대한 보정을 단순화하고 복잡한 표면에 대한 깊이 정밀도를 향상시킵니다. GelSight Mini 센서와의 직접 비교, 구 피팅(sphere-fitting) 정확도 평가, 불확실성 분석을 포함한 실험 결과는, 제안된 방법이 구조광(structured-light) 기반 3차원 측정의 정확도와 안정성을 크게 향상시켜 다양한 광학적 특성을 가진 물체의 신뢰할 수 있는 재구성을 가능하게 함을 확인했습니다.
호흡수(RR) 모니터링은 응급 대응, 재난 복구, 전염병 시나리오에서 원격 분류(triage) 및 피해자 평가의 중요한 구성 요소이며, 여기서 물리적 접촉을 최소화하면 대응자의 위험을 줄이고 작전 안전성을 높일 수 있습니다. 그러나 비접촉 RR 모니터링의 현장 배치는 가변적인 조명, 자세 변화, 플랫폼 이질성, 그리고 위험한 환경에서 웨어러블 센서 사용의 비현실성으로 인해 여전히 어렵습니다. 본 논문에서는 온보드 엣지 컴퓨팅을 갖춘 이종 모바일 로봇을 위한 모달리티 적응형 비접촉 RR 모니터링 프레임워크를 제안합니다. 제안된 시스템은 RGB, 열화상, 근적외선(NIR), 저조도 카메라에 걸친 밝기 적응형 센서 선택, 자세 강건 모니터링을 위한 키포인트 기반 흉부 ROI 추출, 그리고 신뢰할 수 있는 호흡 추정을 위한 신호 품질 지수(SQI) 기반 필터링 메커니즘을 결합합니다. 우리는 사족 보행 및 차륜 주행을 포괄하는 세 가지 로봇 플랫폼과 다양한 엣지 컴퓨팅 아키텍처에서 프레임워크를 구현하고 평가했습니다. 다양한 조명 조건, 피험자 자세, 로봇-피험자 거리에 걸쳐 수행된 실험은 플랫폼별 알고리즘 재튜닝 없이도 프레임워크가 플랫폼 간에 일반화됨을 보여주며, 동시에 모달리티별 작동 경계를 드러냅니다. RGB는 최대 8m까지 가장 넓은 범위를 제공하고, NIR은 최대 6m까지 유효하며, 열화상은 단거리에서만 신뢰할 수 있고, 저조도 센싱은 최대 8m까지 완전한 어둠 속에서 모니터링을 지원합니다. 전반적으로, 결과는 모바일 로봇에서의 멀티모달 비접촉 RR 모니터링의 실현 가능성을 입증하며, 위험한 수색 및 구조 환경에서 자율 분류 및 피해자 평가를 위한 기초로서의 사용을 뒷받침합니다.
단안 내시경(monocular endoscopy)에서 정확한 비전 기반 내비게이션은 제한된 깊이 단서(depth cues), 약한 조직 질감, 비강체 변형(non-rigid deformation), 도메인 간의 상당한 외관 변화로 인해 어렵습니다. 이러한 요인들은 자세 추정(pose estimation), 깊이 예측(depth prediction), 이미지-해부학 정렬(image-to-anatomy alignment)을 복잡하게 만듭니다. 최근 비전 파운데이션 모델(vision foundation models)이 가능성을 보였지만, 학습된 표현은 종종 기하학적 일관성이 부족하여 안정적인 특징(feature) 대응을 방해하고 하류 내비게이션 작업에 대한 신뢰성을 제한합니다. 우리는 단안 내시경을 위해 기하학적 일관성과 도메인 강건성을 갖는 이미지 표현을 학습하는 통합 프레임워크를 제안합니다. 이 프레임워크는 정확한 기하학적 지도(geometric supervision)를 제공하는 합성 데이터 파이프라인과 Hierarchy-Aware Geometry-Semantic Adaptation을 결합합니다. 이는 표준 LoRA에 대한 구조화된 대안으로, 트랜스포머(transformer) 계층 구조 전체에 선택적으로 저순위 어댑터(low-rank adapters)를 삽입하고 층별(layer-wise) 학습 목표와 결합하여 중간 특징에서는 기하학적 대응을, 더 깊은 특징에서는 의미적 일관성을 장려합니다. 공용 및 독점 데이터셋(dataset)에 대한 실험은 개선된 기하학적 및 의미적 표현 품질을 보여주었으며, 이는 자세 추정 및 단안 깊이 추정(monocular depth estimation)을 포함한 하류 내비게이션 작업에서 더 나은 성능으로 이어졌습니다. 학습된 표현은 임상 기관지내시경(clinical bronchoscopy)에서 유리한 합성-실물 전이(synthetic-to-real transfer)를 보여주며, 제한된 지도 하에서 부비동 내시경(sinus endoscopy) 및 대장내시경(colonoscopy)으로의 적응을 위한 유용한 초기화(initialization)를 제공합니다. 이 프레임워크는 또한 모델 크기와 학습 데이터에 따라 유리한 스케일링(scaling)을 보여줍니다. 이러한 결과는 계층 인식(hierarchy-aware), 기하학적 유도(geometry-guided) 적응이 내시경 표현 학습을 위한 실용적인 접근 방식임을 뒷받침합니다.
단일 이미지에서 완전한 3D 장면을 생성하려면 본질적으로 모호한 시각적 정보로부터 전역적으로 일관된 기하학, 객체 관계 및 환경적 맥락을 추론해야 합니다. 레이아웃 및 메시 공동 생성의 최근 발전에도 불구하고, 기존 방법들은 종종 여러 요소를 동시에 결합하고 광범위한 장면 수준의 감독을 요구하는 전체적이거나 약하게 분해된 파이프라인에 의존하며, 이는 복잡한 실제 환경으로의 일반화를 제한합니다. 우리는 단일 이미지 3D 장면 생성을 장면 초기화, 환경 구축 및 다중 에이전트 정제의 세 가지 구조화된 단계로 분해하는 다중 에이전트 오케스트레이션 프레임워크를 제안합니다. 초기화 단계는 이미지 기반 객체 마스크를 추출하고, 객체 수준의 3D 표현을 구축하며, 대략적인 3D 장면을 형성하기 위해 초기 공간 레이아웃을 예측합니다. 환경 구축 단계는 이 초기화와 포인트 맵 기하학을 활용하여 지지 표면, 방 경계, 재질 및 조명으로 구성된 환경적 스캐폴드를 구축합니다. 마지막으로, 정제 단계에서 플래너 에이전트는 구조적 및 시각적 불일치를 식별하고 간단한 수정을 직접 적용하며, 전역 장면으로 재통합되는 복잡한 국소적 수정을 위해 전문가 에이전트를 파견합니다. 장면 수준 주석에 대한 의존도를 낮추면서 신뢰할 수 있는 구조적 초기화를 제공하기 위해, 우리는 포인트 맵에서 도출된 희소 기하학적 사전에 의해 감독되는 기하학 인식 레이아웃 예측기를 추가로 도입합니다. 완전히 감독된 레이아웃 생성기와 달리, 해당 예측기는 분할 수준 데이터로부터 학습될 수 있으며 다양한 실제 장면에 강건하게 일반화됩니다. 벤치마크 데이터셋에 대한 광범위한 실험 결과, 우리의 방법은 기하학적 정확도, 공간적 일관성 및 지각적 사실성 측면에서 기존 접근 방식을 일관되게 능가함을 보여줍니다.
하천 내 부유 인공 쓰레기의 확산은 생물 다양성, 수질, 그리고 항해 및 레크리에이션과 같은 인간 활동에 악영향을 미치는 시급한 환경 문제로 대두되었습니다. 본 연구는 고정된 현장(in-situ) 카메라를 활용하여 해당 폐기물을 모니터링하기 위한 새로운 방법론적 프레임워크를 제안합니다. 본 연구는 두 가지 주요 기여를 제공합니다: (i) 딥러닝(deep learning)을 이용한 부유 쓰레기의 연속적인 정량화 및 모니터링, (ii) 복잡한 환경 조건 하에서 정확도와 추론(inference) 속도 측면에서 가장 적합한 딥러닝 모델의 식별. 이러한 모델들은 데이터 누수(data leakage)와 관련된 편향에 대한 실험을 포함하여 다양한 환경 조건과 학습 설정에서 테스트되었습니다. 또한, 2D 이미지에서 감지된 객체의 실제 크기를 추정하기 위해 기하학적 모델이 구현되었습니다. 이 모델은 카메라의 내부 및 외부 특성을 모두 활용합니다. 본 연구의 결과는 데이터셋(dataset) 구성 프로토콜의 중요성, 특히 네거티브 이미지의 통합과 시간적 누수의 고려를 강조합니다. 결론적으로, 사영 기하학과 회귀 보정을 결합한 크기 추정의 타당성이 입증되었습니다. 이 접근 방식은 도시 수환경을 위한 견고하고 저렴하며 자동화된 모니터링 시스템 개발의 길을 열어줍니다.
생성 모델은 강력한 이미지 생성 사전(priors)을 활용하여 새로운 시점 합성(NVS)에서 큰 가능성을 보여주었습니다. 그러나 기존 접근 방식은 일반적으로 2D 인페인팅(inpainting) 패러다임을 따르며, 먼저 누락된 이미지 영역을 완성한 후 3D 재구성을 수행합니다. 이 전략은 2D 인페인팅 모델이 시점 간 일관성 있는 생성에 필요한 기저 3D 구조를 신뢰할 수 있게 추론할 수 없기 때문에, 종종 기하학적 왜곡과 외관 드리프트(drift)를 유발합니다. 본 논문에서는 생성적 NVS를 밀집 3D 장면 완성으로 재정의하는 기하학 인식 프레임워크인 SceneCompleter를 제안합니다. SceneCompleter는 고립된 2D 뷰를 환각(hallucinating)하는 대신, 공간적으로 정렬된 RGBD 잠재 공간에서 기하학-외관 이중 스트림 확산 모델(diffusion model)을 통해 기하학과 외관을 공동으로 완성합니다. 전체적인 장면 맥락을 제공하기 위해, 참조 이미지의 전역 의미 및 스타일 정보를 바탕으로 생성을 조건화하는 Scene Embedder를 추가로 도입합니다. 완성된 RGBD 예측은 정렬되어 확장 가능한 3D 장면 표현으로 통합되어, 반복적이고 일관된 장면 완성을 가능하게 합니다. 동일 분포(in-domain) 및 이질 분포(out-of-distribution) 데이터셋에 대한 광범위한 실험을 통해, SceneCompleter가 다양한 시나리오에서 시각적으로 타당하고 기하학적으로 일관된 새로운 시점을 생성함을 입증합니다. 프로젝트 페이지: https://chen-wl20.github.io/SceneCompleter
학습 기반 단일 촬영 프린지 투영 형상측정(FPP)은 대부분 근거리에서 연구되어 왔다. 장거리 영역(1 m 이상의 이격 거리)은 여전히 거의 다루어지지 않았다. 역제곱 강도 감쇠가 프린지 신호 대 잡음비를 낮추고 물리적 실측값(ground truth)을 저하시키며, 단일 촬영 문제는 한 장의 이미지에서 프린지 차수 정보가 없기 때문에 부정식(ill-posed)이고, 이러한 아키텍처는 기계적으로 연구된 적이 없다. 우리는 기계적 해석가능성(MI)과 준수형(conformal) 불확실성 정량화(UQ)를 수렴적 진단 수단으로 사용하는 진단-복구-검증 연구를 제시한다. 이들은 하나의 물리적 실패 지점에 대해 일치하며, 이를 통해 아키텍처 수준의 복구를 이끌고 검증한다. 사실적(photorealistic) 합성 벤치마크(1.5–2.1 m에서 50개 객체, 15,600장의 프린지 이미지)에서 최고의 UNet 기준선은 14.54 mm의 객체 평균 절대 오차(MAE)에 도달한다. 세 가지 탐침(선형 프로빙, Grad-CAM, 평면 분포 외(out-of-distribution) 테스트)이 수렴한다. 기준선은 프린지 위상 디코딩이 아니라 객체 경계의 형상 사전(shape prior)을 통해 과제를 해결한다. 우리는 깊이가 아닌 래핑된(wrapped) 위상을 출력하고 위상을 깊이로 매핑하는 고정된 미분 가능한 보정 층을 적용하는 PhiCalNet으로 이를 복구한다. 이를 통해 형상 사전 해를 손실 페널티가 아닌 아키텍처적으로 가설 공간에서 제거한다. 깊이 회귀 네트워크에 동일한 물리를 소프트 페널티로 강제하는 물리 정보 기반 손실은 측정 가능한 이득을 주지 않아, 아키텍처가 작동 요인임을 분리한다. PhiCalNet은 객체 MAE를 3.3배 감소시켜 4.46 mm에 이르게 한다. 잔차는 ±π 래핑 불연속 지점에서 0.103%의 픽셀에 의해 담당된다. 픽셀 단위 준수형 UQ가 진단을 확인한다. 스냅샷 불일치에 따라 객체 픽셀 상위 5%를 거부하면 PhiCalNet RMSE가 64% 감소한다(20.6→7.4 mm), 기준선의 경우 3.5%에 비해. MI와 UQ는 동일한 실패 지점에서 수렴한다.
텍스트-이미지(T2I) 모델은 풍부한 공간적 사전 지식을 포함하고 있다. 사실적이고 복잡한 장면을 합성하려면 원근법과 상대적 스케일을 포함한 기하학적 이해가 필요하다. 기존 연구들은 T2I 모델을 깊이 예측에 활용하도록 적응시켰으나, 이는 밀집된 깊이 데이터를 필요로 하고 복잡한 학습 절차를 수반한다. 우리는 희소 깊이 데이터로 학습된 단일 DiT를 사용하여 이미지-깊이 공동 생성을 위한 간단하고 확장 가능한 사후학습 방법인 모달리티 포싱(Modality Forcing)을 제안한다. 모달리티 포싱은 모달리티별로 별도의 노이즈 레벨을 할당함으로써 임의의 순열로 이미지와 깊이의 조건부 및 공동 생성을 가능하게 한다. 모달리티별 디코더를 통해 희소한 실세계 깊이 데이터로 학습하면서도 강력하고 범용적인 깊이 예측을 달성할 수 있다. 또한 모달리티 포싱이 T2I 사전학습의 확장성을 계승함을 보인다: 370M에서 3.3B 파라미터에 이르는 T2I 모델들을 처음부터 학습시킨 결과, 더 많은 이미지 데이터로 학습된 더 큰 모델이 더 정확한 깊이를 생성함을 확인하였다. 가장 강력한 모델은 최신 단안 깊이 추정기와 경쟁력 있는 성능을 보이며, 기존 이미지-깊이 공동 생성 모델 대비 AbsRel을 57% 감소시킨다. 이러한 결과는 이미지 생성이 공간 지각을 위한 확장 가능한 사전학습 목표임을 강하게 뒷받침한다. https://modality-forcing.github.io/
이미지-to-3D 방법들은 충실도와 완전성 사이에서 흔히 트레이드오프를 겪는다. 깊이 추정기는 입력 픽셀에 고정되어 있지만 가시 표면에서 멈추고, 이미지-to-3D 모델은 완전한 형상을 생성하지만 입력과 정렬이 어긋나는 경우가 많다. 우리는 World Tracing을 제안한다. 이는 관찰된 픽셀과 정렬된 3D 포인트를 예측하면서 가시 표면 너머의 기하학을 완성하는 생성적 픽셀 정렬 기하학 표현이다. 각 입력 픽셀에 대해 World Tracing은 카메라 공간의 3D 포인트를 순서가 있는 스택으로 예측하며, 첫 번째 레이어는 가시 표면을, 이후 레이어들은 가려진 표면과의 전방-후방 교차점을 나타낸다. 우리는 이 표현을 월드 트레이싱 확산 트랜스포머인 WT-DiT로 구현하며, WT-DiT는 여러 기하학 레이어를 인수분해 어텐션(factorized attention)과 전역 어텐션을 통해 결합된 별개의 디노이징 토큰으로 처리한다. WT-DiT는 픽셀 공간 플로우 매칭과 가시 표면 재구성 및 가려진 기하학 생성의 균형을 맞추는 혼합 노이즈 스케줄로 학습된다. World Tracing은 객체, 장면, 동적 벤치마크 전반에 걸쳐 가시 표면 재구성과 완전한 기하학 생성에서 강력한 성능을 달성하며, 깊이 예측기와 이미지-to-3D 생성기 모두를 능가한다. 또한 2D-to-3D 대응 관계를 보존하여 텍스트 기반 3D 장면 편집, 기하학 조건부 새로운 시점 비디오 합성, 텍스처 메시 생성기와의 학습 불필요 통합을 가능하게 한다.
단안 깊이 추정은 상당한 진전을 이루었지만, 좁은 시야(FoV) 원근 영상과 $360^\circ$ 파노라마 모두에 대해 일반화된 메트릭 깊이 추정을 달성하는 것은 여전히 해결되지 않은 과제로 남아 있다. 기존 방법들은 종종 특정 카메라 유형에 맞춰 설계되어 있으며, 다양한 환경에 일반화되는 정확한 메트릭 깊이를 생성하는 데 어려움을 겪는다. 이러한 한계는 두 가지 핵심 과제에서 비롯된다: 원근 카메라와 파노라마 카메라 간의 본질적인 기하학적 불일치, 그리고 메트릭 어노테이션이 포함된 파노라마 학습 데이터의 부족.
본 연구에서는 통합 메트릭 깊이 추정 프레임워크인 DepthMaster를 제안한다. 구면 왜곡을 학습하기 위한 전용 네트워크를 사용하는 대신, 파노라마 이미지를 겹치는 원근 패치로 분해하여 문제를 재정의한다. 핵심적으로, 경계 처리를 위해 임의적인 구조 수정에 의존하는 기존 투영 기반 방법들과는 달리, 새로운 대응 일관성 손실(Correspondence Consistency Loss, CCL)을 도입하고 가상 투영 카메라를 기하학적 사전정보로 주입함으로써, 전용 연산자 없이 패치를 매끄럽게 이어 붙일 수 있으며 백본을 표준 트랜스포머 설계와 대체로 호환되게 유지할 수 있다. 이 전략은 또한 모든 입력을 표준 원근 표현으로 통일함으로써 기하학적 차이를 해소하고, 방대한 원근 데이터셋에서 강력한 메트릭 사전정보를 직접 활용함으로써 데이터 부족을 효과적으로 우회한다.
파노라마 데이터셋 하나만 포함된 혼합 데이터셋으로 학습한 DepthMaster는 13개의 다양한 데이터셋에서 최첨단 제로샷 성능을 달성하며, 범용 방법뿐 아니라 원근 및 파노라마 영역 모두에서 선도적인 전문 모델을 능가한다.
우리는 사전학습된 단안 깊이 추정(MDE) 모델의 스케일 없는 깊이 예측을 메트릭 깊이 맵으로 효율적으로 변환하기 위해 다항식 피팅을 도입한 새로운 레이더 가이드 깊이 추정 방법인 POLAR를 제안합니다. 복잡한 아키텍처나 고가의 센서에 의존하는 기존 접근 방식과 달리, 우리의 방법은 근본적인 통찰에 기반합니다. MDE 모델은 종종 각 객체나 국소 영역 내에서 합리적인 국소적 깊이 구조를 추론하지만, 이러한 영역들이 서로 상대적으로 정렬되지 않을 수 있어, 세 개 이상의 영역이 주어질 경우 선형 스케일 및 시프트(아핀) 변환만으로는 불충분합니다. 이러한 한계를 해결하기 위해, 우리는 저렴하고 널리 사용 가능한 레이더 데이터에서 예측된 다항식 계수를 사용하여 깊이 범위에 걸쳐 예측을 비균일하게 적응적으로 조정합니다. 이러한 방식으로 POLAR는 아핀 변환을 넘어 일반화할 수 있으며, 변곡점을 도입하여 이러한 불일치를 수정할 수 있습니다. 중요한 점은, 우리의 다항식 피팅 프레임워크가 1차 도함수 정규화를 통해 국소적 단조성을 강제하는 새로운 학습 목적함수를 통해 구조적 일관성을 보존한다는 것입니다. POLAR는 세 개의 데이터셋에서 최첨단 성능을 달성하여 기존 방법보다 MAE에서 평균 24.9%, RMSE에서 33.2% 더 우수한 성과를 보였으며, 지연 시간 및 계산 비용 측면에서도 최첨단 효율성을 달성했습니다.
비전-언어-행동(VLA) 모델은 장면을 묘사하고 언어로 추론할 수 있지만, 주변의 밀집된 3D 세계에 행동을 그라운딩하는 데는 여전히 어려움을 겪습니다. 기존 접근 방식은 정책이 해당 특징을 사용한다는 것을 보장하는 목적 함수 없이 동결된 3D 파운데이션 모델에서 특징을 주입하거나, 밀집된 공간 신호를 제공하지 않는 희소한 박스 및 맵 손실로 기하학을 제한합니다. 우리는 주행하는 밀집된 3D 세계를 재구성하도록 지도 학습된 최초의 비전-언어-행동 모델인 VLGA를 소개합니다. VLGA는 비전, 언어, 행동과 함께 기하학을 네 번째 모달리티로 도입하며, 이는 라이다(LiDAR)에 대한 픽셀별 포인트맵 회귀 손실에 의해 감독되는 전담 전문가를 통해 구현됩니다. 각각 오픈 루프 및 클로즈드 루프 평가를 위해 도전적인 nuScenes 및 Bench2Drive 데이터셋에서 수행된 광범위한 실험은 대응하는 VLA 방법들에 대한 VLGA의 우수성을 보여줍니다. 특히, 오픈 루프 nuScenes에서 VLGA는 에고 상태(ego status)가 없는 VLA 방법 중 최신 성능(SOTA)을 기록했으며, 가장 낮은 L2(평균 0.50m) 및 3초 충돌률(0.18%)을 달성했습니다. 클로즈드 루프 Bench2Drive에서 VLGA는 79.08이라는 최신 주행 점수를 달성하여 가장 강력한 이전 VLA 대비 +0.71의 향상을 보였으며, 비슷한 수준의 효율성과 편안성을 유지했습니다.
우리는 깊이 센서 관측값이 불완전하고, 순서가 정렬되지 않았으며, 명시적인 시간적 대응 관계가 부족한 부분 포인트 클라우드 시퀀스에서의 4D 재구성 문제를 다룹니다. 관측값의 누락과 모호한 동역학으로 인해 이 기하학 전용 설정은 까다로운 문제입니다. 최근의 진전은 주로 이미지 기반 방법에 의존해 왔으나, 기존 포인트 기반 접근법은 대개 단일 객체에 초점을 맞추거나 비교적 완전한 입력을 가정하거나 명시적인 대응 관계를 요구합니다. 이러한 제한 사항을 해결하기 위해, 우리는 이미지 없이 부분 포인트 클라우드 시퀀스로부터 대응 관계 없는 4D 재구성을 수행하는 포인트 기반 프레임워크인 DynaTok을 제안합니다. DynaTok은 프레임을 압축된 잠재 토큰으로 인코딩하고, 트랜스포머 기반 시공간 인코더를 사용하여 시간에 걸친 불완전한 관측값을 집계하며, 통합 모델 내에서 잔차 토큰을 통해 기하학과 동작을 분리합니다. 이후 플로우 매칭 디코더가 잠재 토큰에 조건화되어 완전하고 시간적으로 일관된 4D 포인트 클라우드 시퀀스를 재구성합니다. 객체 및 장면 수준 벤치마크에 대한 실험을 통해, 부분 포인트 클라우드 관측값으로부터 개선된 재구성 품질과 시간적 일관성을 확인했습니다. 프로젝트 페이지: https://wrchen530.github.io/dynatok/.
우리는 디지털화되고 부분적으로 자동화된 독일 시내버스의 차량 내부를 커버하는 4대의 내향형 카메라와 회전하는 LiDAR에서 획득한 동기화된 RGB 및 깊이 이미지를 포함하는 대중교통을 위한 멀티뷰 차량 내부 모니터링 데이터셋을 소개합니다. 이 데이터셋은 주석이 포함된 9,136개의 동기화된 샘플을 포함하며, 탑승자에 대한 3D 인간 자세 추정 및 방향성 3D 경계 상자를 생성하는 캘리브레이션 및 의사 라벨링 파이프라인이 함께 제공됩니다. 또한 nuScenes 형식 변환을 제공하고 대표적인 멀티뷰 3D 감지 모델(예: Lift-Splat-Shoot 및 BEVFusion)을 벤치마킹하여, 멀티뷰 차량 내부 인지 모델의 비교 평가 및 소규모 학습을 지원합니다. 데이터셋과 도구는 https://github.com/EvgenyGorelik/multiview_incabin_dataset 에서 확인할 수 있습니다.
프린지 투영 형상측정(FPP)에서는 일반적으로 각 카메라 픽셀에서 위상-깊이 관계를 독립적으로 fitting하여 깊이를 복원한다. 이러한 픽셀별 보정은 높은 국소 정확도를 달성하지만, 동일한 매끄러운 표면을 관측함에도 인접 픽셀이 현저히 다른 보정 함수를 갖게 될 수 있어 공간적으로 불일치하는 기하와 구조화된 표면 아티팩트를 유발한다. 우리는 모든 픽셀이 독립적인 픽셀별 fitting 대신, 왜곡 보정된 기준 카메라 격자 위의 전역 위상 스칼라와 아핀 공간 항을 결합한 단일 저차원 매핑을 공유하는 공간 결합 위상-깊이 변환을 제안하며, 선택적으로 경계가 있는 공간적으로 매끄러운 보정 필드로 이를 보강한다. 또한 기준 카메라 격자에서 직접 위상-깊이 보정 쌍을 구성하는 네이티브 격자 페어링 방식을 도입한다. 깊이 supervision이 rectified active-stereo 파이프라인에서 제공되는 경우, 스테레오 3D에서 평면을 fitting하고 네이티브 광선을 따라 카메라 격자로 다시 샘플링하므로 위상 맵은 rectification되지 않는다. 고해상도 스캐너 그라운드 트루스를 갖춘 치과 표적에 대해, 제안 모델은 active-stereo 기준과 비슷한 점-표면 RMSE(전체 약 12μm)를 달성하면서 픽셀별 다항식 및 유리 함수 보정 대비 공간적 일관성을 크게 향상시키고, 런타임 매핑을 픽셀당 소수의 요소별 연산으로 줄여 매개변수 저장 공간도 거의 필요하지 않다.
자연 환경은 로봇 지각 시스템에 복합적인 난제를 제기한다. 현재 모델, 특히 비전 파운데이션 모델(vision foundation models)은 대체로 구조화된 도시 환경에서 학습되어 현장 로봇(field robotics) 작업에 대한 지각에서 취약점을 보인다. 우리는 최근 공개한 WildCross 벤치마크를 사용하여 현재 모델의 한계를 보여주는데, 이는 대규모 자연 환경에서 장소 인식(place recognition)과 메트릭 깊이 추정(metric depth estimation)을 위한 새로운 크로스모달 벤치마크이다. WildCross는 반밀집(semi-dense) 깊이 및 표면 법선(surface normal) 주석이 포함된 47만 6천 개 이상의 순차 RGB 프레임으로 구성되며, 각 프레임은 정확한 6DoF 포즈와 동기화된 밀집(dense) LiDAR 서브맵과 정렬되어 있다. 본 연구에서는 최근 WildCross 벤치마크의 벤치마크 결과에 대한 확장 분석을 제공하며, 특히 메트릭 깊이 추정 실험의 확장에 중점을 둔다. 본 연구의 코드 저장소 및 데이터셋은 https://csiro-robotics.github.io/WildCross 에서 확인할 수 있다.
최근 피드포워드 3D 재구성 방법들은 이미지 스트림으로부터 효율적인 엔드-투-엔드 장면 기하학 추정에서 강력한 성능과 유연성을 보여주었습니다. 그러나 가시광 외관에 대한 의존성으로 인해, RGB 단서가 심각하게 저하되고 기하학적 증거가 모호해지는 어둡고 가시성이 낮은 환경에서는 취약합니다. 이 문제를 해결하기 위해, 저조도 장면에서 견고한 3D 추정을 위해 물리 인식 열 모델링을 사용하는 RGB-T 피드포워드 기하학 프레임워크인 DarkVGGT를 제안합니다. DarkVGGT는 두 가지 상호 보완적인 모듈을 도입합니다. 첫째, 물리학에서 영감을 받은 열 인자화는 기하학적 모호성을 야기할 수 있는 희소한 반사 잔차를 분리하면서, 방사성이 지배적이고 기하학적으로 일관된 열 단서를 추출합니다. 둘째, 기하학 공유 열 라우팅은 열 특정 패턴으로부터 모달리티 불변 기하학적 구조를 분리하여, RGB 스트림에 신뢰도 인식 구조적 가이던스를 선택적으로 주입합니다. 이러한 구성 요소들은 밝은 환경에서의 성능을 대부분 보존하면서, RGB 조건이 저하된 상황에서 정확한 열 정보 기반 기하학 추정을 가능하게 합니다. 가시성이 낮은 RGB-T 벤치마크에 대한 실험 결과, 기존 피드포워드 기하학 베이스라인 대비 깊이 및 카메라 포즈 추정 모두에서 일관된 개선이 있음을 입증했습니다.
자율 주행 시뮬레이션은 일반적으로 소수의 도시에서 수집된 데이터나 수동으로 작성된 합성 시나리오에 의존합니다. 대시캠 영상은 드물거나 롱테일(long-tailed) 시나리오를 포함하여 훨씬 더 다양한 위치와 상황을 포괄합니다. 단안(monocular) 실제 환경 영상에서 정확한 4D 장면을 복원하기 어렵기 때문에 시뮬레이션에 활용하기 어려운 것으로 간주되어 왔습니다. 공사 구역(work zone)은 대시캠이 포착하는 롱테일 상황 중 하나입니다. 본 논문에서는 Dash2Sim이라는 프레임워크를 제안합니다. Dash2Sim은 실제 환경의 단안 대시캠 영상을 기존 시뮬레이터와 호환되는 메트릭(metric), 지리 참조(geo-referenced) 4D 주행 로그로 변환하며, 별도의 주석 없이 독립적으로 관리되는 지도를 통해 각 로그를 검증합니다. 우리는 Dash2Sim을 대규모 비디오 말뭉치에 적용하여 ROADWork4D 벤치마크 데이터셋을 구축했으며, 이 데이터셋은 17개 도시에 걸쳐 4,244개의 장면과 270만 개의 3D 객체를 포함합니다. 검증된 부분 집합인 ROADWork4D-CL(2,201개 장면)에서 특권(privileged) 정보를 사용하는 폐루프 경로 계획기(planner)를 연구한 결과, 공사 구역 시나리오가 매우 어렵다는 것을 발견했습니다. 규칙 기반(rule-based) 및 하이브리드 플래너가 학습 기반(learning-based) 플래너보다 더 잘 일반화되지만, 모두 임시 공사 구역 차로에서 요구되는 차선 변경에 실패하는 등 성능이 미흡했습니다. 경로 계획 외에도, Dash2Sim이 복원한 밀도 깊이(dense depth)는 지각적(perceptual) 메트릭에서 새로운 시점 합성(novel-view synthesis) 품질을 최대 19%까지 향상시켰습니다. 이는 단안 영상으로부터 폐루프 센서 시뮬레이션을 위한 풍부한 조건(conditioning) 정보를 제공할 잠재력을 시사합니다.