PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.00461v3cs.CV

ReMoT: 모션 대비 삼중항을 활용한 강화학습

ReMoT: Reinforcement Learning with Motion Contrast Triplets

본 논문에서는 내비게이션, 로봇공학, 자율 주행 분야에서 치명적인 실패 요인인 시공간 일관성(spatio-temporal consistency) 측면에서 VLM(비전-언어 모델)의 근본적인 한계를 체계적으로 해결하기 위한 통합 학습 패러다임인 ReMoT를 제안합니다. ReMoT는 두 가지 핵심 구성 요소를 통합합니다: (1) 비디오 메타 주석(video meta-annotations)에서 파생된 대규모(16.5K 삼중항) 모션 대비 데이터셋(motion-contrast dataset)인 ReMoT-16K를 생성하는 규칙 기반 자동 프레임워크로, 비용이 많이 드는 수동 생성이나 모델 기반 생성 방식을 능가합니다. (2) Group Relative Policy Optimization으로, 본 연구에서는 이 대비 추론(contrastive reasoning)을 학습하는 데 있어 표준 지도 미세조정(supervised fine-tuning)을 훨씬 능가하는 최적의 성능과 데이터 효율성을 제공함을 경험적으로 검증했습니다. 또한 VLM의 미세한 모션 속성(예: 반대 방향) 식별 능력을 측정하기 위해 정교한 모션 대비 삼중항(fine-grained motion contrast triplets)에 대한 최초의 벤치마크를 구축했습니다. 결과적으로 생성된 모델은 새로운 벤치마크와 여러 표준 VLM 벤치마크에서 최첨단(state-of-the-art) 성능을 달성했으며, 시공간 추론(spatio-temporal reasoning) 작업에서 놀라운 25.1%의 성능 향상을 이끌어냈습니다.

arXiv:2606.06853v1cs.CV

MotionEnhancer: 비디오 확산을 활용한 동작 강화 비전-언어 모델

MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models

최근 비전-언어 모델(VLM)을 비디오 이해 작업으로 확장하는 능력이 크게 향상되었다. 현재 VLM은 이벤트 수준이나 스토리 수준의 이해에는 탁월하지만, 미세한 동작 세부 사항을 포착하는 능력은 여전히 제한적이며, 이는 주로 고수준의 정적 의미 구조와 거시적 이벤트 논리에 초점을 맞추기 때문이다. 반면 비디오 확산 모델(VDM)은 대규모 비디오 데이터와 시간적 생성이라는 본질적 요구 사항의 이점 덕분에 동적 동작 패턴을 모델링하는 데 능숙하다. 본 논문에서는 강력한 비디오 확산 모델에서 증류한 동작 사전지식을 보조 감독으로 활용하여 어텐션 정렬을 통해 VLM의 동작 이해 능력을 강화하는 새로운 접근법인 MotionEnhancer를 제안한다. MotionEnhancer는 VDM으로부터 동작 관련 어텐션을 연산만으로 직접 추출하고 최적화하기 위해 Motion-sensitive Head Selection(MHS)과 Motion-salient Text Token Identification(MTTI)이라는 두 가지 간단한 매개변수 없는 모듈로 구성된다. MotionEnhancer는 추가 학습 매개변수, 기존 아키텍처 수정, 또는 도구 호출 없이 동작 이해를 위한 확장 가능한 해결책을 제공한다. 광범위한 실험 결과, MotionEnhancer는 두 가지 동작 수준 비디오 이해 벤치마크에서 최신 VLM 대비 일관된 성능 향상을 달성하며, 특히 동작 관련 지표에서 두드러진 개선을 보인다.