PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.27820v2cs.AI

EgoBench: 도구 사용 에이전트를 위한 상호작용형 1인칭 시점 멀티모달 벤치마크

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

AI 에이전트(agent)가 개방된 실세계 환경(environment)에서 동작하는 일이 점점 늘어남에 따라, 멀티모달 인식, 다단계 추론(multi-hop reasoning)을 수반한 도구 호출, 그리고 사용자와의 동적 상호작용 간의 긴밀한 시너지가 요구됩니다. 그러나 기존 벤치마크(benchmark)들은 엄격하게 결합된 다중 능력 과제 설계, 자연스러우면서도 과제 제약적인 사용자 피드백 시뮬레이션, 동적 상호작용에 대한 객관적 평가 보장 등의 어려움으로 인해 이러한 역량들을 종합적으로 평가하지 못하고 있습니다. 이러한 간극을 메우기 위해, 도구 사용 에이전트를 위한 최초의 상호작용형 멀티모달 벤치마크인 EgoBench를 소개합니다. EgoBench는 5가지 일상 시나리오를 아우르는 1,590개의 1인칭 시점(egocentric) 비디오 그라운딩 과제와 함께 평가를 위한 사용자-에이전트-도구 상호작용 환경으로 구성됩니다. 우리는 시각적 인식과 도구 기반 다단계 추론의 결합 적용을 강제하도록 각 과제를 설계하는 3단계 시너지 파이프라인을 구현합니다. 또한 에이전트의 상호작용 역량을 평가하기 위해 고품질의 과제 맞춤형 응답을 에이전트에 생성하는 다중 에이전트 시뮬레이션 사용자를 개발합니다. 나아가 프로세스 기반 및 결과 기반 동등성을 통해 객관적 평가를 보장하는 결정론적 결합 검증(validation) 프레임워크를 구축합니다. EgoBench에서 8종의 비디오 MLLM 에이전트를 벤치마킹한 결과 심각한 성능 한계가 드러났습니다. 최고 성능의 모델(model)조차 3가지 상호작용 모드 전반에서 평균 결합 성공률(Joint Success Rate)이 34.95%에 불과했습니다. 마지막으로 다차원 오류 분석을 수행하여 실패 모드를 분리하고, 미래의 AI 에이전트 발전을 위한 역량 병목 지점을 규명합니다.

arXiv:2606.18441v1cs.CV

교집합으로서의 추론: 비디오 멀티모달 대규모 언어 모델에서의 시각적 초점을 위한 합의 프레임 정렬

Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs

강화학습은 대규모 언어 모델의 추론 능력을 향상시켰지만, 비디오 멀티모달 대규모 언어 모델(Video-MLLMs)에 결과 기반 보상만을 적용하는 것은 어떤 시각적 증거가 답변을 뒷받침해야 하는지에 대한 제한된 지도만 제공합니다. 일관된 단서가 지각적 추정의 현저성과 신뢰성을 높일 수 있는 다감각 통합에서 영감을 받아, 우리는 증거 인식 비디오 추론을 위한 시간적 주석이 필요 없는 프로세스 수준 보상 프레임워크인 Consensus Frame GRPO (CF-GRPO)를 소개합니다. CF-GRPO는 시간적 커버리지, 장면 전환 단서, 쿼리 조건 시각적 관련성을 포함한 내재된 비디오 단서로부터 합의 프레임 사전(prior)을 구축합니다. 그런 다음 시각 및 응답 표현으로부터 모델 측 프레임 사용 점수를 계산하고, 합의 프레임 보상(CFR)을 통해 이들의 일치를 최적화합니다. 현저성 인식 희소 집계와 분포 날카롭게 하기를 통해, CFR은 인간의 시간적 주석 없이 고대비 보상 신호를 제공합니다. 실험 결과, VideoCFR은 복잡한 비디오 추론 벤치마크 전반에서 경쟁력 있는 성능을 달성하고 대표적인 Video-MLLM 및 RL 베이스라인 대비 여러 지표를 개선했으며, 합의 사전(prior)은 학습 중 강조된 증거 프레임에 대한 해석 가능한 관점을 제공합니다. 구현은 https://github.com/1Pansy/VideoCFR에서 확인할 수 있습니다.