미세수술 기술 숙련도에 대한 객관적 평가는 역량 기반 훈련과 품질 보증에 필수적이지만, 기존의 비디오 기반 접근 방식은 주로 RGB 이미지에 의존하므로 기구와 해부학적 구조 간의 상호작용을 특징짓는 3D 공간적 관계를 간과합니다. 비록 입체 수술 현미경이 상호보완적인 깊이(depth) 정보를 제공하지만, 기존의 스테레오 매칭 알고리즘은 고배율 이미징 환경에서 희소하고 신뢰할 수 없는 깊이 추정치를 생성할 수 있어 자동 숙련도 평가에 활용하는 데 한계가 있습니다. 본 연구에서는 현미경 스테레오 비디오로부터 수술 숙련도를 평가하기 위한 의미론적(semantic) RGB-깊이 프레임워크를 제시합니다. 회귀 기반 깊이 융합 방법은 희소한 미터법 스테레오 깊이와 조밀한 단안 깊이 추정치를 결합하여 수술 장면의 조밀한 기하학적 표현을 생성합니다. 이 표현은 개별 수술 기구 및 주변 해부학적 구조에 해당하는 의미론적으로 분해된 RGB 스트림과 통합됩니다. 계층적 어텐션(attention) 아키텍처는 이러한 스트림들을 공동 인코딩하여 서로 다른 수련 수준의 외과의 전반에 걸친 기구 사용 및 기구-해부학적 구조 상호작용의 변별력 있는 패턴을 포착합니다. 제안된 프레임워크는 전임의(attending surgeons)와 레지던트로 구성된 6명의 외과의가 수행한 33건의 생체 외(ex vivo) 경구강 미세후두 수술을 대상으로 외과의 1인 제외 교차 검증(leave-one-surgeon-out cross-validation)을 통해 평가되었습니다. 제안된 의미론적 RGB-깊이 모델은 숙련도 수준 분류에서 F1 점수 0.938을 달성하여, 의미론적 RGB의 0.696 및 의미론적 깊이의 0.929와 비교되었습니다. 이러한 결과는 기하학적 정보가 현미경 스테레오 비디오 기반의 자동 수술 숙련도 평가를 향상시킬 수 있음을 시사합니다. 또한 학습된 공간, 시간 및 의미론적 어텐션 패턴은 모델이 강조한 장면 영역, 비디오 세그먼트 및 의미론적 스트림에 대한 정성적 분석을 뒷받침합니다.
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
지상 수준 이미지를 지리 등록된(geo-registered) 위성 지도와 정렬하는 것은 매핑, 내비게이션, 상황 인식에 매우 중요하지만, 시점 차이가 크거나 GPS를 신뢰할 수 없는 경우에는 여전히 어려운 과제로 남아 있다. 본 논문에서는 여러 장의 지상 사진을 집계하여 일관된 3D 장면을 재구성하고 이를 상공 위성 이미지와 정렬하는 제로샷(zero-shot), 기하학 기반 프레임워크인 Wrivinder를 소개한다. Wrivinder는 SfM(Structure-from-Motion) 재구성, 3D 가우시안 스플래팅(3D Gaussian Splatting), 의미론적 그라운딩(semantic grounding), 단안(monocular) 깊이 기반 거리 단서를 결합하여 안정적인 천정뷰(zenith-view) 렌더링을 생성하며, 이는 위성 컨텍스트와 직접 매칭되어 미터 단위로 정확한 카메라 지오로케이션(geo-localization)을 가능하게 한다. 적합한 벤치마크가 부재한 이 과제에 대한 체계적인 평가를 지원하기 위해, 다양한 야외 환경에서 다시점(multi-view) 지상 이미지와 지리 등록된 위성 타일을 연결한 큐레이션 데이터셋인 MC-Sat도 함께 공개한다. Wrivinder와 MC-Sat은 함께 짝지어진(paired) 지도 없이 기하학 중심의 교차 뷰 정렬을 연구하기 위한 최초의 포괄적인 기준선과 테스트베드를 제공한다. 제로샷 실험에서 Wrivinder는 밀집 장면과 광역 장면 모두에서 30m 미만의 지오로케이션 정확도를 달성하여, 강건한 지상-위성 로컬라이제이션을 위한 기하학 기반 집계의 가능성을 보여준다.
모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.
ill-posed 역문제는 해 공간을 타당한 결과 쪽으로 제약하기 위해 사전(prior)이 필요하다. 역 렌더링(inverse rendering)에서는 자연 조명의 분포를 모델링하는 학습된 사전이 장면 속성 복원을 개선한다. 그러나 기존 모델들은 조명을 원거리(far-field) 환경 맵(environment map)으로 표현하는 원거리 조명(distant-illumination) 가정에 의존한다. 이는 유한 거리 방출체, 가시성 변화, 시차(parallax)로 인해 조명이 공간적으로 크게 변하는 실내 장면에서는, 단일 환경 맵으로는 이를 잘 근사할 수 없어 적용이 제한된다. 이를 해결하기 위해, 우리는 실세계 실내 파노라마와 그 추정 깊이(depth)로 학습한 공간 인식 조명 사전을 제안한다. 변분 오토인코더(VAE) 모델은 HDR radiance와 depth로 디코딩되는 compact하고 최적화 가능한 잠재 공간을 학습하며, 표준 미분 가능 렌더링(differentiable rendering) 파이프라인에 직접 통합할 수 있는 area light 방출체를 매개변수화한다. 이 설계는 학습된 사전의 타당성 보장과 하류 최적화에 필요한 그래디언트 흐름을 연결한다. 무엇보다 radiance와 depth를 공동으로 모델링함으로써, 우리 사전은 광원을 무한히 먼 것으로 취급하는 대신 실내 조명의 공간 구조를 포착한다. 이 formulation이 공간적으로 변하는 조명 모델링을 가능하게 하고, 기존 접근법 대비 실내 조명 복원에서 더 높은 충실도를 달성함을 보인다. Project page: https://andreead-a.github.io/RoomLight
이전에 보지 못한 환경에서의 로봇 작동에는 의미론적 이해와 신뢰할 수 있는 계량(metric) 정보가 모두 필요하다. 비전-언어 모델(VLM)은 강한 의미론적 능력을 제공하지만, 기하학적 추정은 여전히 덜 신뢰할 수 있다. 본 논문에서는 상용(off-the-shelf) 접근을 사용해 장면 이해를 위한 VLM 기반 모듈형 지각(perception) 프레임워크를 제안한다. 단일 RGB-D 관측에서 출발해 장면을 객체 수준 영역으로 분할하고, VLM으로 주석을 달며, 깊이 정보로 그라운딩(grounding)하여 과제에 독립적인 객체 중심 표현을 구성한다. 151개의 탁상 장면에 대한 실험에서, 제안한 분해는 VLM 직접 추론 대비 강한 의미론적 성능을 유지하면서 위치 추정과 깊이 추정을 크게 개선함을 보인다. 이렇게 얻은 표현은 로봇 실행을 위한 과제 계획(task-planning) 프레임워크와도 통합된다.
표준 대조 학습(contrastive learning) 프레임워크는 주로 의미론적 관점에서 설계되지만, 3D 공간 구조를 보존하는 2D 시각 표현을 학습하는 것 역시 장면 이해(scene understanding)에 중요하다. 본 연구에서는 3D 공간 인식을 2D 대조 표현 학습에 주입하는 단순한 보조 목적 함수인 깊이 유도 대조 학습(DGCL, Depth-Guided Contrastive Learning)을 제안한다. 핵심 아이디어는 깊이(depth)를 이용해 국소 3D 근접성을 대조 유사도로 변환하는 것이다. 3D 공간에서 더 가까운 픽셀은 더 멀리 떨어진 픽셀보다 더 유사한 표현을 갖도록 유도한다. 절대 깊이 값에 의존하는 대신, DGCL은 무작위로 샘플링한 픽셀들 간의 상대 3D 거리 비교를 통해 지도 신호를 구성하여, 목적 함수가 깊이 스케일에 불변(invariant)하고 계산이 효율적이며 기존 대조 학습 프레임워크에 쉽게 통합되도록 한다. 다양한 데이터셋과 모델에 걸친 실험에서 DGCL은 2D 표현 학습을 일관되게 향상시키며, 더 강한 공간·기하학적 이해를 통해 의미론적 하류(downstream) 과제에도 도움이 됨을 보인다. 코드는 https://github.com/LeungTsang/DGCL 에서 제공된다.
비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/
3D Gaussian Splatting(3DGS)은 3D 재구성을 위한 효율적인 표현을 제공하며, 최근 확장은 개방 어휘(open-vocabulary) 장면 이해를 위해 가우시안에 의미 속성을 부착한다. 그러나 시점 의존적 2D foundation model 출력을 3D 공간으로 끌어올리면(lifting) 뷰 간 불일치와 약한 기하학적 그라운딩이 생겨 심각한 의미 표류(semantic drift)와 경계 누출(boundary leakage)이 발생한다. 본 논문은 의미 lifting을 지도 정렬(supervision-alignment) 문제로 다루고 RGB 외관, 렌더링 깊이, 압축된 의미를 처음부터 공동 최적화하는 깊이 지도 의미 3DGS 프레임워크 GaussianDS를 제안한다. 구체적으로 GaussianDS는 순서 없는 다중 뷰 이미지를 포즈 인식(pose-aware) 의사 비디오 궤적으로 구성하여 SAM2로 뷰 일관 마스크를 전파한다. 공동 최적화 동안 scale-shift 정렬 단안 깊이 지도와 깊이 전체 변분(total-variation) 정규화가 가우시안 기하를 안정화하고, 깊이 경계 인식 정제 손실이 의미 전이를 물리적 기하 불연속면에 명시적으로 고정한다. 광범위한 평가에서 본 end-to-end 프레임워크는 고충실도 3D 재구성과 실시간 렌더링을 유지할 뿐 아니라 우수한 의미 이해를 달성함을 보인다. GaussianDS는 의미 누출을 완화하면서 LERF에서 60.5% mIoU, 3D-OVS에서 97.79% mIoU 및 90.28% mBIoU로 새로운 최고(state-of-the-art) 성능을 기록하며, 하류 3D 객체 제거를 원활히 지원한다.
카메라와 IMU는 메트릭 국소화와 밀집 매핑을 위한 최소 센서 구성이지만, 고전적인 시각-관성 필터는 시작하기 전에 시차를 기다려야 하며 이후에는 희소 랜드마크만 유지한다. 반면 피드포워드 기하 모델은 소수의 이미지로부터 밀집 구조를 예측하지만, 메트릭 스케일도 중력 방향도 제공하지 않는다. 우리는 시작과 매핑 모두에 단일 다중 시점 깊이 모델 Depth Anything~3을 사용하는 DAVIO를 제안한다. 초기화 시 5장 이미지 윈도우와 사전 적분된 IMU 측정값이 특징점 없는 선형 시스템을 구성한다. 견고하고 조건 수를 검사한 해는 버퍼링된 재생을 통해 VIO 필터를 부트스트랩한다. 추적 중에는 필터의 메트릭 포즈가 깊이 모델을 조건화한다. 잔여 스케일은 시선 방향에 대해서만 보정되어 메트릭 카메라 베이스라인을 보존하며, 드리프트 게이트 재방문을 갖춘 중력 보존 서브맵 그래프가 맵을 정제한다. EuRoC에서 DAVIO는 동일한 포즈가 주어진 SOTA 피드포워드 매퍼보다 현저히 빨리 시작하고, 국소화 오차를 줄이며, 더 정확하게 매핑한다. 건물 규모 ORI 시퀀스에서 DAVIO는 동일한 오도메트리에서 SOTA 매퍼와 동등하거나 더 나으며, GT 포즈를 실제 오도메트리로 대체할 때 훨씬 적게 저하된다. 실시간 밀집 메트릭 SLAM 시스템인 DAVIO의 코드를 커뮤니티에 공개한다.
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.
자연 환경에서의 시각적 장소 인식(VPR)은 반복적인 식생, 두드러진 랜드마크의 희소성, 통행마다 큰 외관 및 시점 변화로 인해 여전히 어렵다. 동일 장소에 대한 시각적 관측은 크게 달라질 수 있지만, 그 이면의 공간 구조는 종종 더 지속적이다. 우리는 Depth-Aware Distillation(DAD)을 통해 이러한 상호 보완적 기하 일관성을 활용하며, DAD는 깊이 센서 없이 Geometric Foundation Model(GFM)이 추론한 기하에 대해 사전학습된 Vision Foundation Model(VFM)의 토큰 표현을 조건화한다. 기하를 추가 입력 모달리티로 취급하는 대신, DAD는 이미지 정렬 깊이를 VFM 토큰 공간에 투영하고 채널 단위 기하 조건화를 통해 시각 표현을 선택적으로 변조한다. 2단계 교사 안내 학습 전략은 먼저 기하 조건화 표현을 사전학습된 외관 공간에 고정한 뒤, 장소 판별을 위해 이를 정제한다. WildCross 벤치마크에서 평가한 결과, DAD는 동등한 외관 전용 기준선 대비 시퀀스 간 평균 재현율 Recall@1을 61.41%에서 66.37%로, Recall@5를 65.86%에서 72.49%로 향상시켰으며, 역방향 통행과 장기 외관 변화에서 가장 큰 이득을 보였다. 이 결과는 시각적 외관이 신뢰할 수 없게 될 때 GFM에서 유도한 기하가 VPR에 지속적인 구조적 사전(prior)을 제공할 수 있음을 보여준다.
로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.
셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/
동적 환경에서의 고속률 고밀도 인지는 프레임 사이에 급격한 장면 변화가 일어날 수 있어 RGB 카메라의 낮은 갱신률에 의해 제한된다. 이벤트 카메라는 공간적으로 밀집한 RGB 관측과 상보적인, 시간적으로는 밀집하지만 공간적으로는 희소한 측정을 제공한다. 직접 융합은 이러한 상보성을 완전히 활용할 수 없으며, 이벤트 기반 전파는 유효한 RGB 지원이 없는 새로 등장하거나 가려짐 해제(disocclusion)된 영역에서는 실패한다. 우리는 RGB 키프레임과 이벤트로부터 인과적 anytime 및 스트리밍 고밀도 예측을 위한 통합 전파-완성-메모리 프레임워크인 LiFR v2를 제안한다. LiFR v2는 전파가 지원되지 않는 곳에서 과제 관련 표현을 복구하는 Event-Guided Completion Module(EGCM)과 연속 쿼리에 걸쳐 완성된 표현을 재사용하는 History Retrieval Module(HRM)을 도입한다. 이 프레임워크는 의미 분할(semantic segmentation), 단안 깊이 추정, 다중 과제 고밀도 예측을 지원하며, 급격한 객체 출현(emergence)과 가려짐 해제를 평가하기 위해 SHF-Emerge를 추가로 도입한다. LiFR v2는 DSEC에서 74.37% mIoU, SHF-Emerge에서 56.13%를 달성하며, 후자에서 LiFR-Seg 대비 1.85 percentage point 향상을 보였고, 전파 기준선 대비 SHF-Emerge 깊이 RMSE를 1.564 m에서 1.118 m로 낮췄다. 또한 분할과 깊이 모두에서 100 FPS를 초과하여 RGB 프레임률을 넘어서는 정확하고 효율적인 고속률 인지를 보여준다.
단안 3차원(3D) 장면 재구성은 최근 상당한 진전을 보였습니다. 최신 신경망 아키텍처와 대규모 데이터에 힘입어, 최근 방법들은 단일 이미지에서의 깊이 추정(depth estimation)에서 높은 성능을 달성하고 있습니다. 한편, 일반적인 장면을 개별 3D 객체로 재구성하고 분해하는 것은 다양한 객체 종류, 잦은 가림 현상(occlusion), 복잡한 객체 간 관계로 인해 여전히 어려운 과제로 남아 있습니다. 특히, 개별 객체의 형상 및 자세 추정을 넘어 로보틱스 및 애니메이션 분야의 응용에서는 객체가 상호 비침투성과 현실적인 접촉이라는 물리적 원리를 따르는 물리적으로 타당한 장면 재구성을 요구합니다. 본 연구에서는 두 가지 방향으로 객체 수준 장면 재구성을 발전시킵니다. 첫째, 어수선한 환경을 특징으로 하는 실제 장면을 담고 있으며 3D 객체 형상, 자세 및 정확한 객체 접촉 측면에서 고충실도 객체 수준 정답 레이블(ground truth)을 제공하는 새로운 데이터셋인 MessyKitchens를 소개합니다. 둘째, 단일 객체 재구성을 위한 최신 SAM 3D 접근법을 기반으로 하여, 이를 결합 객체 수준 장면 재구성을 위한 Multi-Object Decoder(MOD)로 확장합니다. 본 연구의 기여를 검증하기 위해, MessyKitchens가 정합 정확도(registration accuracy)와 객체 간 침투 측면에서 기존 데이터셋보다 크게 개선되었음을 보입니다. 또한 세 가지 데이터셋에서 다중 객체 재구성 접근법을 비교하여, MOD가 최신 기술(SOTA) 대비 일관되고 유의미한 성능 향상을 달성함을 입증합니다. 새로운 벤치마크, 코드 및 사전학습(pre-training) 모델은 프로젝트 웹사이트(https://messykitchens.github.io/)를 통해 공개될 예정입니다.
시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.
휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.
대규모 언어 모델(LLM) 플래너는 자연어 지시를 분해하고 재사용 가능한 로봇 스킬을 선택할 수 있지만, 올바른 스킬을 선택하는 것만으로는 물리적 실행의 성공을 보장하지 못합니다. 이러한 격차는 접근, 파지, 운반 또는 배치 중 발생하는 오류가 긴 시계(long-horizon) 계획의 나머지 부분을 무효화할 수 있는 휴머노이드 로코-매니퓰레이션(loco-manipulation)에서 특히 중요합니다. 본 논문에서는 CEER 전신 제어기(whole-body controller) 위에서 작동하는 Unitree G1 휴머노이드를 위한 실패 인식 감독 프레임워크인 FRAMES를 제시합니다. 플래너 에이전트(Planner Agent)는 매개변수화된 중간 수준 스킬을 통해 하위 작업을 선택하며, 비전-언어 모델(VLM) 기반의 모니터 에이전트(Monitor Agent)는 시계열 다중 뷰 관측과 구조화된 로봇 및 접촉 증거를 사용하여 각 스킬을 평가합니다. 감지된 실패는 활성화된 스킬을 중단시키고 복구 에이전트(Recovery Agent)에 그라운딩된 피드백을 제공합니다. 본 프레임워크는 이전 스킬 경험을 재사용하기 위한 메모리 모듈과 깊이 및 분할(segmentation)을 통한 기하학적 그라운딩을 추가로 포함합니다. 저자들은 5가지 작업에 걸쳐 50회의 실패와 50회의 성공적인 실행으로 구성된 100회의 시행을 사용하여 MuJoCo 환경에서 프레임워크의 모니터링 모듈을 독립적으로 평가합니다. 모니터는 50회 중 48회의 실패를 감지하고, 50회 중 46회의 성공적인 실행을 올바르게 수용하여 94.0%의 전체 정확도를 달성합니다. 이러한 결과는 모니터링 구성요소에 대한 초기 증거를 제공하며, 완전한 복구 루프의 엔드투엔드 평가는 현재 진행 중입니다.