PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19889v5cs.CV

수술 도구-조직 상호작용 인식을 위한 잠재 행동 유도 비디오-언어 특징 학습

Latent-Action-Guided Video-Language Feature Learning for Surgical Instrument-Tissue Interaction Recognition

도구-조직 간 상호작용을 인식하는 것은 맥락 인식 수술 AI에 필수적입니다. 비전-언어(vision-language) 모델은 비디오 특징(feature)을 텍스트 기반 행동 설명과 정렬함으로써 수술 표현에 의미적 구조를 주입하는 자연스러운 방법을 제공합니다. 그러나 사전학습(pre-training)된 인코더는 공간적 일관성이 부족할 수 있으며, 전역적 의미 정렬이 정밀한 시공간적 표현을 보장하지는 않습니다. 프레임 간 특징 변화를 분석한 결과, 의미 정렬이 차원성을 증가시키지만 차원이 더 크게 증가한다고 해서 인식이 반드시 향상되는 것은 아니며, 지배적인 변화가 상호작용 영역에 얼마나 강하게 국소화되는지에서도 인코더마다 차이가 있음을 발견했습니다. 이러한 발견에 착안하여, 프레임 간 변화를 잠재 행동으로 압축하고 엔드투엔드 비디오-언어 정렬 과정에서 다음 프레임 특징을 예측하는 \ours{}를 제안합니다. 추가적인 공간 또는 모션 어노테이션 없이도, \ours{}는 평가 환경에서 주요 특징 변화의 상호작용 그라운딩(grounding)과 시간 방향 민감도를 향상시킵니다. 나아가 행동 용량과 예측 강도가 인코더 및 삼중항(triplet) 구성요소 전반의 인식에 미치는 영향을 규명합니다. 대규모 비디오 사전학습이 없는 이미지 인코더를 사용하여, \ours{}는 V-JEPA2/2.1 대비 더 빠른 추론(inference)과 더 적은 INT4 정확도 저하를 보이면서 경쟁력 있는 인식 성능을 달성합니다.

arXiv:2605.07079v2cs.CV

잔차 잠재 행동을 통한 시각적 특징 기반 월드 모델 학습

Learning Visual Feature-Based World Models via Residual Latent Action

월드 모델(world model)은 관측과 행동으로부터 미래의 전이를 예측합니다. 기존 연구들은 주로 이미지 생성에만 집중하고 있습니다. 반면, 시각적 특징(feature) 기반 월드 모델은 원본 비디오 픽셀 대신 미래의 시각적 특징을 예측하여 더 효율적이고 환각(hallucination)이 덜 발생하는 유망한 대안을 제시합니다. 그러나 현재의 특징 기반 접근법들은 직접적인 회귀에 의존하여 복잡한 상호작용에서 흐릿하거나 붕괴된 예측을 초래하며, 고차원 특징 공간에서의 생성 모델링은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 DINO 잔차(residual)로부터 잔차 잠재 행동(Residual Latent Action, RLA)이라 명명한 새로운 유형의 잠재 행동 표현을 쉽게 학습할 수 있음을 발견했습니다. 또한 RLA가 예측 가능하고 일반화 가능하며 시간적 진행을 인코딩함을 보여줍니다. RLA를 기반으로, 플로우 매칭(flow matching)을 통해 RLA 값을 예측하는 RLA 월드 모델(RLA-WM)을 제안합니다. RLA-WM은 시뮬레이션 및 실제 데이터셋에서 최첨단 특징 기반 및 비디오 확산(video-diffusion) 월드 모델을 능가하면서도, 비디오 확산 모델보다 수주기(orders of magnitude) 더 빠릅니다. 나아가 RLA-WM을 활용하여 정책 학습을 개선하는 두 가지 로봇 학습 기법을 개발했습니다. 첫 번째는 행동 정보가 없는(actionless) 비디오로부터 학습하여 LIBERO 및 실제 로봇에서 VLA를 개선하는 RLA 기반의 미니멀리스트 월드 액션 모델입니다. 두 번째는 온라인 상호작용 없이 오프라인 비디오만으로 학습된 월드 모델 내부에서 전적으로 학습되는 시각적 강화학습(RL) 프레임워크로, 비디오 정렬 보상(reward)을 사용합니다. 프로젝트 페이지: https://mlzxy.github.io/rla-wm

arXiv:2606.07100v1cs.CV

LARA: 비전-언어-액션 모델을 위한 잠재 행동 표현 정렬

LARA: Latent Action Representation Alignment for Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 로봇이 관측 및 언어 명령으로부터 직접 행동을 예측할 수 있게 하지만, 그 성능은 대규모 고품질 데이터에 의존하며 실세계 로봇 행동 데이터셋의 희소성으로 인해 제한된다. 레이블이 없는 풍부한 인간 동영상을 활용한 VLA 모델 학습을 촉진하기 위해, 잠재 행동 모델(LAM)은 시각적 다이나믹스로부터 잠재 행동 표현을 학습하여 VLA 학습에 추가적인 지도 신호를 제공한다. 그러나 LAM과 VLA는 일반적으로 별도로 학습되어, VLA 학습 중 LAM이 실제 행동과 연결되지 못하고 VLA 모델은 고정된 LAM 표현에 의해 제약된다. 이러한 문제를 해결하기 위해, 우리는 표현 정렬을 통해 LAM과 VLA를 공동으로 최적화하는 플러그앤플레이 프레임워크인 잠재 행동 표현 정렬(LARA)을 제안한다. 이를 통해 상호 이점이 실현되는데, LAM은 행동 궤적과 함께 학습하여 잘못된 시각적 변화를 방지하고, VLA는 LAM 내에서 학습된 순방향 다이나믹스에 의해 정규화되어 기능적으로 비효율적인 궤적의 환각을 줄인다. 우리는 사전학습, 사전학습된 VLA 모델의 사후 학습 향상, LAM 정제에서 LARA의 범용성과 효과성을 입증하며, 3개의 시뮬레이션 벤치마크와 세심하게 설계된 1개의 실세계 로봇 조작 벤치마크에서 평균 각각 약 10%, 5%, 15%의 성능 향상을 달성하였다.