EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여
EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.