재현 가능한 옴니모달 파운데이션 모델 평가를 위한 조합형 평가 시스템
A Composable Evaluation System for Reproducible Omni-Modal Foundation Model Evaluation
한국어 초록
옴니모달 파운데이션 모델(omni-modal foundation model)을 구축한다는 것은 텍스트, 이미지, 비디오, 오디오 전반에 걸쳐 모델을 평가한다는 뜻이다. 각 모달리티별로 우수한 평가 툴킷이 존재하지만, 이들의 추론 엔진, 프롬프트 규약, 지표 구현은 서로 호환되지 않아, 실무자들은 툴체인마다 별도의 환경을 유지해야 하면서도 결과를 서로 비교하는 데 여전히 어려움을 겪는다. OmniEvaluator는 우리 자체 모델 개발 과정에서 이러한 필요로부터 출발했다. 벤치마크를 다시 구현하는 대신, 기존 추론 엔진과 선별된 평가 라이브러리를 더 높은 수준에서 연결하여, 네 가지 추론 백엔드, 네 가지 평가 프레임워크, 그리고 천 개가 넘는 벤치마크를 하나의 인터페이스로 제공한다. 모든 실행은 정확한 재현을 위해 전체 구성을 담은 아티팩트로 기록되며, 결과는 모델 간 비교를 위한 공유 대시보드로 전달된다. 연합(federated) 모드는 동시에 수행되는 여러 평가가 GPU 추론 서버를 공유하도록 하며, CPU에서 실행할 수 있을 만큼 작은 내장 검증기(verifier)는 구성 불일치 시 규칙 기반 채점의 점수가 흔들리는 상황에서도 엔진과 프롬프트에 관계없이 점수를 안정적으로 유지하고, 비용 효율적인 상용 LLM 심사자(judge)와 대등한 성능을 반복적인 API 비용 없이 달성한다. 시스템, 데모 영상, 대시보드는 공개되어 있다. (https://github.com/naver-ai/omni-evaluator)
원문 초록
Building an omni-modal foundation model means evaluating it across text, image, video, and audio. Excellent evaluation toolkits exist for each modality, but their inference engines, prompt conventions, and metric implementations are mutually incompatible, so practitioners end up maintaining separate environments for every toolchain and still struggle to compare results across them. OmniEvaluator grew out of this need in our own model development: rather than reimplementing benchmarks, it connects existing inference engines and curated evaluation libraries at a higher level, exposing four inference backends, four evaluation frameworks, and over a thousand benchmarks through a single interface. Every run is recorded as an artifact capturing the full configuration for exact reproduction, and results flow into a shared dashboard for cross-model comparison. A federated mode shares GPU inference servers across concurrent evaluations, and a built-in verifier, small enough to run on CPU, keeps its score stable across engines and prompts where rule-based scoring fluctuates under configuration mismatch, matching cost-efficient commercial LLM judges without their recurring API cost. The system, demo video, and dashboard are publicly available. (https://github.com/naver-ai/omni-evaluator)
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.01315v2제출 시각 미확인
- arXiv:2609.01315v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.