arXiv:2506.13654 cs.CV

Ego-R1: Chain-of-Tool-Thought for Ultra-Long Egocentric Video Reasoning

Shulin Tian, Ruiqi Wang, Hongming Guo, Penghao Wu, Yuhao Dong, Xiuying Wang, Jingkang Yang, Hao Zhang, Hongyuan Zhu, Ziwei Liu

제출 2025-06-16

한국어 초록

우리는 초장기(즉, 며칠 및 몇 주) 자아 중심 비디오에 대한 추론을 위한 새로운 프레임워크인 Ego-R1을 소개합니다. 이 프레임워크는 강화 학습(RL)을 통해 학습된 Ego-R1 에이전트에 의해 조율되는 구조화된 사고의 연쇄(Chain-of-Tool-Thought, CoTT) 프로세스를 활용합니다. 인간의 문제 해결 전략에서 영감을 받은 CoTT는 복잡한 추론을 모듈화된 단계로 분해하며, RL 에이전트는 각 단계에서 특정 도구를 호출하여 반복적이고 협력적으로 시간 검색 및 다중 모달 이해와 같은 작업을 해결하는 하위 질문에 답변합니다. 우리는 CoTT 데이터를 사용하여 사전 학습된 언어 모델의 감독 하에 세밀 조정(SFT)과 RL을 포함하는 두 단계의 학습 패러다임을 설계하여 에이전트가 장기 추론을 위한 단계별 도구를 동적으로 제안할 수 있도록 합니다. 학습을 용이하게 하기 위해 Ego-R1 데이터셋을 구성하였으며, 이는 SFT를 위한 Ego-CoTT-25K와 RL을 위한 Ego-QA-4.4K로 구성됩니다. 또한, 우리의 Ego-R1 에이전트는 하이브리드 소스에서 인간 검증된 QA 쌍을 포함하는 새롭게 구성된 일주일 비디오 QA 벤치마크인 Ego-R1 Bench에서 평가됩니다. 광범위한 결과는 우리의 Ego-R1 에이전트에 의한 동적이고 도구가 보강된 사고의 연쇄 추론이 초장기 자아 중심 비디오를 이해하는 독특한 도전 과제를 효과적으로 해결할 수 있음을 보여주며, 시간 범위를 몇 시간에서 일주일로 크게 확장합니다.

원문 초록

We introduce Ego-R1, a novel framework for reasoning over ultra-long (i.e., in days and weeks) egocentric videos, which leverages a structured Chain-of-Tool-Thought (CoTT) process, orchestrated by an Ego-R1 Agent trained via reinforcement learning (RL). Inspired by human problem-solving strategies, CoTT decomposes complex reasoning into modular steps, with the RL agent invoking specific tools, one per step, to iteratively and collaboratively answer sub-questions tackling such tasks as temporal retrieval and multi-modal understanding. We design a two-stage training paradigm involving supervised finetuning (SFT) of a pretrained language model using CoTT data and RL to enable our agent to dynamically propose step-by-step tools for long-range reasoning. To facilitate training, we construct a dataset called Ego-R1 Data, which consists of Ego-CoTT-25K for SFT and Ego-QA-4.4K for RL. Furthermore, our Ego-R1 agent is evaluated on a newly curated week-long video QA benchmark, Ego-R1 Bench, which contains human-verified QA pairs from hybrid sources. Extensive results demonstrate that the dynamic, tool-augmented chain-of-thought reasoning by our Ego-R1 Agent can effectively tackle the unique challenges of understanding ultra-long egocentric videos, significantly extending the time coverage from few hours to a week.

요약

Ego-R1은 초장기 자기중심 비디오에 대한 추론을 위한 혁신적인 프레임워크로, 구조화된 도구의 사고 연쇄(Chain-of-Tool-Thought, CoTT) 프로세스를 활용하여 복잡한 문제를 해결합니다. 이 프레임워크는 강화학습(Reinforcement Learning, RL)을 통해 훈련된 Ego-R1 에이전트를 중심으로 구성되어 있으며, 인간의 문제 해결 전략에서 영감을 받았습니다. CoTT는 복잡한 추론을 모듈화된 단계로 나누어, 각 단계에서 특정 도구를 호출하여 반복적이고 협력적으로 하위 질문에 대한 답변을 제공합니다. Ego-R1의 훈련은 두 단계로 이루어집니다. 첫 번째 단계는 사전 훈련된 언어 모델의 지도 파인튜닝(Supervised Fine-Tuning, SFT)으로, CoTT 데이터를 사용하여 에이전트를 초기화합니다. 두 번째 단계에서는 RL을 통해 에이전트가 장기 추론을 위한 단계별 도구를 동적으로 제안할 수 있도록 훈련됩니다. 이를 위해 Ego-R1 데이터셋이 구성되었으며, 이는 SFT를 위한 Ego-CoTT-25K와 RL을 위한 Ego-QA-4.4K로 나뉩니다. Ego-R1 에이전트는 새로운 주간 비디오 질문-답변(QA) 벤치마크인 Ego-R1 Bench에서 평가되며, 이 벤치마크는 인간 검증 QA 쌍을 포함하여 다양한 시나리오에서 시각적 세부 사항에 대한 정교한 추론을 요구합니다. 연구 결과는 Ego-R1의 동적이고 도구 보강된 사고 연쇄 추론이 초장기 자기중심 비디오를 이해하는 데 있어 효과적임을 입증하며, 기존의 방법론보다 시간 범위를 크게 확장할 수 있음을 보여줍니다. Ego-R1은 자기중심 비디오 이해의 새로운 패러다임을 제시하며, 다양한 도구와 기술의 통합을 통해 더욱 발전할 수 있는 가능성을 열어줍니다. 이러한 접근법은 비디오 이해의 복잡성을 해결하는 데 있어 중요한 기여를 하며, 향후 연구의 방향성을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.