EgoLink: 자기중심 언어-비전 상호작용 네트워크 지식 챌린지 요약
EgoLink: Egocentric Language-Vision Interactive Network Knowledge Challenge Summary
한국어 초록
ACM Multimedia 2026의 EgoLink 챌린지는 1인칭 지각, 사회적 추론, 상호작용적 행동을 연결하는 자기중심 멀티모달 인텔리전스를 벤치마크한다. 눈에 보이는 객체와 활동에 중점을 둔 벤치마크와 달리, EgoLink는 모델이 감정적·사회적 단서를 해석하고, 시각적으로 근거가 있는 지시 표현을 해소하며, 사용자 요청을 검증된 도구 매개 행동으로 변환할 수 있는지를 평가한다. 두 트랙은 자기중심 영상에서의 사회적 추론과, 대화, 도구 사용, 폐루프 실행을 통해 서비스 과제를 완수하는 상호작용 에이전트를 다룬다. 이들은 함께, 오프라인 질의응답과 상태를 변화시키는 상호작용 모두에서 지각, 추론, 의사결정이 결합된 상태로 유지되는지를 시험한다. 우리는 객관식 질문(MCQ) 생성, 사고 사슬 생성, 자동 품질 등급화, 영상 기여도 필터링으로 이루어진 다단계 Track 1 데이터 파이프라인을 강조한다. 또한 과제 설계, 평가 지표, 규칙, 리더보드, 대표 해법을 요약한다. 이 벤치마크는 객관적 답안 채점과 과정 및 결과 기반 평가를 결합하여 최종 정답률과 실행 품질을 모두 분석할 수 있게 한다. 최고의 Track 1 시스템은 0.9263의 정확도를, 최고의 Track 2 시스템은 0.844의 결합 성공률과 0.916의 마이크로 정확도를 달성했다. 참가자 보고서는 공통된 원리를 보여준다. 강력한 시스템은 답하거나 행동하기 전에 후보 검증, 선택지에 강건한 추론, 시나리오 인식 계획, 도구 정규화, 상태 인식 보정을 통해 중간 증거를 명시적으로 드러낸다. 이러한 발견은 신뢰할 수 있는 자기중심 멀티모달 인텔리전스를 위해 과정 검증과 증거에 기반한 추론이 중요함을 강조한다.
원문 초록
The EgoLink Challenge at ACM Multimedia 2026 benchmarks egocentric multimodal intelligence linking first-person perception, social reasoning, and interactive action. Unlike benchmarks centered on visible objects and activities, EgoLink evaluates whether models can interpret emotional and social cues, resolve visually grounded references, and convert user requests into verified tool-mediated actions. Its two tracks cover social reasoning in egocentric video and interactive agents that complete service tasks through dialogue, tool use, and closed-loop execution. Together, they test whether perception, reasoning, and decision-making remain coupled under both offline question answering and state-changing interaction. We highlight a multi-stage Track 1 data pipeline for multiple-choice question (MCQ) generation, chain-of-thought generation, automatic quality grading, and video-contribution filtering. We summarize the task design, evaluation metrics, rules, leaderboards, and representative solutions. The benchmark combines objective answer scoring with process- and result-based evaluation, enabling analysis of both final correctness and execution quality. The best Track 1 system achieved 0.9263 accuracy, while the best Track 2 system achieved 0.844 joint success and 0.916 micro accuracy. Participant reports reveal a shared principle: strong systems make intermediate evidence explicit through candidate verification, option-robust reasoning, scenario-aware planning, tool canonicalization, and state-aware correction before answering or acting. These findings highlight the importance of process verification and evidence-grounded reasoning for reliable egocentric multimodal intelligence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21690v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.