arXiv:2407.03610

VDMA: Video Question Answering with Dynamically Generated Multi-Agents

Noriyuki Kugo, Tatsuya Ishibashi, Kosuke Ono, Yuji Sato

제출 2024-07-04

원문 초록

This technical report provides a detailed description of our approach to the EgoSchema Challenge 2024. The EgoSchema Challenge aims to identify the most appropriate responses to questions regarding a given video clip. In this paper, we propose Video Question Answering with Dynamically Generated Multi-Agents (VDMA). This method is a complementary approach to existing response generation systems by employing a multi-agent system with dynamically generated expert agents. This method aims to provide the most accurate and contextually appropriate responses. This report details the stages of our approach, the tools employed, and the results of our experiments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10990v1cs.CV공통 태그 Question Answering, Video Question Answering

TreeSoc: 축구 영상 이해를 위한 트리 구조 동적 추론 및 도구 시너지

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

비디오에서 복잡한 축구 장면을 자동으로 이해하는 것은 현재의 비전-언어(vision-language) 모델(VLM)에게 여전히 중요한 도전 과제로, 이러한 모델들은 얕은 교차 모달 정렬(cross-modal alignment)로 인해 다단계 추론 및 조율된 도구 통합에 근본적인 한계를 보인다. 우리는 축구 비디오 질의응답을 단일 패스 예측이 아닌 계층적 탐색 문제로 재정의하는 구조화된 추론 프레임워크 TreeSoc를 제안한다. 구체적으로, TreeSoc는 동적 깊이 우선 탐색(DFS) 메커니즘을 활용하여 복잡한 질의를 순차적으로 정렬된 하위 태스크로 분해하고, 명시적인 중간 상태를 통해 반복적인 추론 정제를 가능하게 한다. 이러한 트리 구조 분해는 적응형 도구 라우팅(tool routing)을 자연스럽게 지원하며, 각 추론 노드에서 도메인 특화 모듈이 선택적으로 활성화되어 그 출력이 통합됨으로써 문맥적으로 근거 있는 예측을 생성한다. SoccerBench에서 TreeSoc는 TextQA, ImageQA, VideoQA에서 각각 85.2%, 87.4%, 82.2%의 정확도로 최첨단 성능을 달성하였다. 또한 TreeSoc는 강력한 교차 도메인 일반화 능력을 입증하여 NExT-QA에서 74.16%의 정확도를 달성하였다. 이러한 결과는 구조화된 도구 증강 트리 추론이 강건한 비디오 이해를 위한 효과적인 패러다임임을 확립한다. 코드는 https://github.com/thanhnhan29/TreeSoc에서 확인할 수 있다.

arXiv:2607.11862v1cs.CV공통 태그 Question Answering, Video Question Answering

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.