MAP: 실제 장소를 위한 멀티모달 접근성 계획 벤치마크
MAP: A Benchmark on Multimodal Accessibility Planning for Real World Places
한국어 초록
본 논문은 MAP를 소개한다. MAP는 실세계 장소 방문 계획 시 접근성 요구가 있는 사용자를 돕는 어시스턴트로서 멀티모달 AI 시스템을 평가하는 최초의 벤치마크이다. 평가에서는 시스템에 접근성 요구를 충족하는 관심 지점(point of interest)을 검증하거나 추천하라는 요청이 제시된다. MAP는 두 가지 새로운 평가를 포함한다. 접근성 계획을 위한 주장 검증(claim verification)은 장소 정보와 명시된 접근성 특징이 뒷받침되는지 평가하고, 요청된 접근성 특징을 충족하는 장소를 식별한다. 접근성 계획을 위한 시각적 증거 검색(visual evidence retrieval)은 멀티모달 AI 시스템이 요청된 장소와 접근성 특징에 해당하는 시각적 증거를 선택할 수 있는지 검사한다. 본 방법론은 장소 정보와 접근성 정보가 시간에 따라 변할 수 있는 환경에서, 예정된 시점에 시스템을 평가하고 그라운드 트루스(ground truth) 데이터를 갱신함으로써 AI 시스템 간 비교를 지원한다. 벤치마크는 응답의 일부에 대해 자동 평가와 인간 평가를 병행한다.
원문 초록
We introduce MAP, the first benchmark to evaluate multimodal AI systems as assistants for users with accessibility requirements when planning visits to places in the real world. In our evaluation, systems are presented with requests to verify or recommend a point of interest meeting an accessibility requirement. MAP contains two novel assessments: Claim verification for accessibility planning assesses if information on places and stated accessibility features is supported and identifies places that satisfy requested accessibility features. Visual evidence retrieval for accessibility planning checks if a multimodal AI system can select visual evidence for the requested place and accessibility feature. Our methodology supports comparison of AI systems in a setting where place information and accessibility information can change over time by evaluating systems and refreshing ground truth data at scheduled times. The benchmark is based on automatic rating and human rating for a proportion of responses.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28384v2제출 시각 미확인
- arXiv:2608.28384v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.