Learning Common Representation from RGB and Depth Images
원문 초록
We propose a new deep learning architecture for the tasks of semantic segmentation and depth prediction from RGB-D images. We revise the state of art based on the RGB and depth feature fusion, where both modalities are assumed to be available at train and test time. We propose a new architecture where the feature fusion is replaced with a common deep representation. Combined with an encoder-decoder type of the network, the architecture can jointly learn models for semantic segmentation and depth estimation based on their common representation. This representation, inspired by multi-view learning, offers several important advantages, such as using one modality available at test time to reconstruct the missing modality. In the RGB-D case, this enables the cross-modality scenarios, such as using depth data for semantically segmentation and the RGB images for depth estimation. We demonstrate the effectiveness of the proposed network on two publicly available RGB-D datasets. The experimental results show that the proposed method works well in both semantic segmentation and depth estimation tasks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
학습된 관절 운동 제약을 이용한 단안 영상 기반 수술 운동학
Surgical Kinematics from Monocular Video with Learned Articulated Motion Constraints
로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.
FRAMES: 휴머노이드 로코-매니퓰레이션을 위한 체화된 스킬의 실패 복구 및 모니터링
FRAMES: Failure Recovery And Monitoring of Embodied Skills for Humanoid Loco-Manipulation
대규모 언어 모델(LLM) 플래너는 자연어 지시를 분해하고 재사용 가능한 로봇 스킬을 선택할 수 있지만, 올바른 스킬을 선택하는 것만으로는 물리적 실행의 성공을 보장하지 못합니다. 이러한 격차는 접근, 파지, 운반 또는 배치 중 발생하는 오류가 긴 시계(long-horizon) 계획의 나머지 부분을 무효화할 수 있는 휴머노이드 로코-매니퓰레이션(loco-manipulation)에서 특히 중요합니다. 본 논문에서는 CEER 전신 제어기(whole-body controller) 위에서 작동하는 Unitree G1 휴머노이드를 위한 실패 인식 감독 프레임워크인 FRAMES를 제시합니다. 플래너 에이전트(Planner Agent)는 매개변수화된 중간 수준 스킬을 통해 하위 작업을 선택하며, 비전-언어 모델(VLM) 기반의 모니터 에이전트(Monitor Agent)는 시계열 다중 뷰 관측과 구조화된 로봇 및 접촉 증거를 사용하여 각 스킬을 평가합니다. 감지된 실패는 활성화된 스킬을 중단시키고 복구 에이전트(Recovery Agent)에 그라운딩된 피드백을 제공합니다. 본 프레임워크는 이전 스킬 경험을 재사용하기 위한 메모리 모듈과 깊이 및 분할(segmentation)을 통한 기하학적 그라운딩을 추가로 포함합니다. 저자들은 5가지 작업에 걸쳐 50회의 실패와 50회의 성공적인 실행으로 구성된 100회의 시행을 사용하여 MuJoCo 환경에서 프레임워크의 모니터링 모듈을 독립적으로 평가합니다. 모니터는 50회 중 48회의 실패를 감지하고, 50회 중 46회의 성공적인 실행을 올바르게 수용하여 94.0%의 전체 정확도를 달성합니다. 이러한 결과는 모니터링 구성요소에 대한 초기 증거를 제공하며, 완전한 복구 루프의 엔드투엔드 평가는 현재 진행 중입니다.
ASQuery: A Query-based Model for Action Segmentation
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
DEU-Net: Dual-Encoder U-Net for Automated Skin Lesion Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.