재현 가능한 옴니모달 파운데이션 모델 평가를 위한 조합형 평가 시스템
A Composable Evaluation System for Reproducible Omni-Modal Foundation Model Evaluation
옴니모달 파운데이션 모델(omni-modal foundation model)을 구축한다는 것은 텍스트, 이미지, 비디오, 오디오 전반에 걸쳐 모델을 평가한다는 뜻이다. 각 모달리티별로 우수한 평가 툴킷이 존재하지만, 이들의 추론 엔진, 프롬프트 규약, 지표 구현은 서로 호환되지 않아, 실무자들은 툴체인마다 별도의 환경을 유지해야 하면서도 결과를 서로 비교하는 데 여전히 어려움을 겪는다. OmniEvaluator는 우리 자체 모델 개발 과정에서 이러한 필요로부터 출발했다. 벤치마크를 다시 구현하는 대신, 기존 추론 엔진과 선별된 평가 라이브러리를 더 높은 수준에서 연결하여, 네 가지 추론 백엔드, 네 가지 평가 프레임워크, 그리고 천 개가 넘는 벤치마크를 하나의 인터페이스로 제공한다. 모든 실행은 정확한 재현을 위해 전체 구성을 담은 아티팩트로 기록되며, 결과는 모델 간 비교를 위한 공유 대시보드로 전달된다. 연합(federated) 모드는 동시에 수행되는 여러 평가가 GPU 추론 서버를 공유하도록 하며, CPU에서 실행할 수 있을 만큼 작은 내장 검증기(verifier)는 구성 불일치 시 규칙 기반 채점의 점수가 흔들리는 상황에서도 엔진과 프롬프트에 관계없이 점수를 안정적으로 유지하고, 비용 효율적인 상용 LLM 심사자(judge)와 대등한 성능을 반복적인 API 비용 없이 달성한다. 시스템, 데모 영상, 대시보드는 공개되어 있다. (https://github.com/naver-ai/omni-evaluator)