PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.04282v2cs.CV

FindIt: 범용 멀티모달 LLM을 위한 포맷 인식 기반 시각 검출 벤치마크

FindIt: A Format-Informed Visual Detection Benchmark for Generalist Multimodal LLMs

멀티모달 대규모 언어 모델(MLLM)은 주로 시각적 질의응답, 캡셔닝, 요약과 같은 자유 형식의 비전-언어(vision-language) 태스크를 중심으로 평가되어 왔습니다. 그러나 실제 활용 영역은 더 구조화된 컴퓨터 비전(CV) 환경으로 빠르게 확장되고 있으며, 사용자는 대규모 에이전트(agent) 또는 의사결정 시스템 내에서 객체 검출(object detection)과 같이 위치 특정(localization) 중심의 작업을 수행하도록 모델(model)에 프롬프트(prompt)를 제공하는 경우가 많습니다. 이러한 변화에도 불구하고, 현재 이러한 역량을 대규모로 체계적으로 평가할 수 있는 표준화된 벤치마크는 부재한 상황입니다. 본 연구에서는 범용 MLLM의 프롬프트 기반 위치 특정 능력을 평가하기 위해 특별히 설계된 최초의 종합적인 벤치마크를 소개합니다. 제안하는 벤치마크는 객체 검출, 지칭 표현 검출(referring expression detection), 인스턴스 수준 검출, 비디오 기반 검출의 네 가지 핵심 작업 범주를 아우릅니다. 일관되고 공정한 평가를 위해 입력을 표준화하고, 파싱 가능한 경계 상자(bounding box) 출력을 강제하며, 태스크 전반에 걸쳐 투명한 평가 프로토콜을 정의하는 통합 프레임워크를 개발했습니다. 이 평가 제품군을 활용하여 다양한 오픈소스 및 상용 MLLM을 평가하고, 성능과 한계에 대한 심층적인 분석을 제공합니다. 정확도 외에도 출력 포맷 사양을 준수하는 모델의 능력을 조사하여, 현재 시스템들이 포맷 제약에 매우 민감하며 사소한 변형에도 일반화하지 못하는 경우가 많음을 보여줍니다. 본 연구 결과는 위치 특정 환경에서 최첨단 MLLM의 강점과 약점을 모두 조명하며, 멀티모달 모델 설계 및 평가를 개선하기 위한 중요한 방향성을 제시합니다.