arXiv:2603.13099v3 cs.AI

최종 답변을 넘어서: 투명한 멀티모달 추론 평가를 위한 CRYSTAL 벤치마크

Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation

Wayner Barrios, SouYoung Jin

제출 2026-09-21

한국어 초록

검증 가능한 중간 단계를 통해 멀티모달 추론을 평가하는 6,372개 인스턴스로 구성된 진단 벤치마크인 CRYSTAL(Clear Reasoning via Yielded Steps, Traceability, and Logic)을 소개합니다. 본 논문에서는 상호 보완적인 두 가지 지표를 제안합니다. 의미론적 유사도 매칭을 통해 단계별 정밀도(precision)와 재현율(recall)을 점수화하는 Match F1과, 순서가 뒤섞인 추론 연쇄에 추가적인 페널티를 부여하는 Ordered Match F1입니다. 참조 데이터는 네 개의 독립적인 멀티모달 대규모 언어 모델(MLLM)이 궤적을 생성하고, 이를 의미론적 클러스터링을 통해 취합한 뒤 사람의 품질 검증 단계를 거쳐 검증하는 델파이(Delphi) 기반 파이프라인을 통해 구축됩니다. 벤치마크 구축 시 사용되지 않은 상용 프론티어 시스템을 포함한 20개 MLLM을 평가한 결과, 답변 정확도만으로는 파악할 수 없었던 체계적인 실패 사례들이 드러났습니다. 즉, 보편적인 체리피킹(정밀도가 재현율을 크게 웃돎), 비단조적인 스케일링(scaling) 트레이드오프, 그리고 어떤 경쟁력 있는 모델도 매칭된 단계의 60%를 초과하여 올바른 순서로 유지하지 못하는 순서가 뒤섞인 추론 등입니다. 평가를 넘어, 본 연구에서는 답변의 정확성과 단계 수준의 정렬(alignment)을 결합하는 곱셈형 보상인 인과적 프로세스 보상(CPR)과 학습(training) 중 추론 난이도를 점진적으로 높이는 CPR-Curriculum을 제안합니다. CPR-Curriculum은 덧셈형 보상 전략이 실패하는 환경에서 GRPO를 통해 Match F1을 32% 향상시켰으며, 수작업 단계 주석 없이도 추론 능력을 개선합니다.

원문 초록

We introduce CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic), a diagnostic benchmark with 6,372 instances that evaluates multimodal reasoning through verifiable intermediate steps. We propose two complementary metrics: Match F1, which scores step-level precision and recall via semantic similarity matching, and Ordered Match F1, which further penalizes disordered reasoning chains. References are constructed through a Delphi-inspired pipeline in which four independent MLLMs generate trajectories, which are then aggregated via semantic clustering and validated through human quality gates. Evaluation of 20 MLLMs, including commercial frontier systems not used during benchmark construction, reveals systematic failures that are invisible to answer accuracy: universal cherry-picking (precision far exceeds recall), non-monotonic scaling trade-offs, and disordered reasoning in which no competitive model preserves more than 60% of matched steps in the correct order. Beyond evaluation, we propose the Causal Process Reward (CPR), a multiplicative reward that couples answer correctness with step-level alignment, and CPR-Curriculum, which progressively increases reasoning difficulty during training. CPR-Curriculum achieves a 32% improvement in Match F1 via GRPO where additive reward strategies fail, improving reasoning without manual step annotation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.13099v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.