PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24210v1cs.CV

ChartJudgeBench: 차트-투-코드 생성을 위한 LMM 판정자(Judge) 평가

ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation

강력한 차트-투-코드(chart-to-code) 시스템을 구축하는 것은 점점 더 강화학습(reinforcement learning)에 의존하고 있으며, 그 효과는 보상(reward) 신호의 품질에 결정적으로 좌우된다. 대규모 멀티모달 모델(Large Multimodal Models, LMM)은 차트의 시각적 외관과 작업 요구사항을 함께 평가하는 데 있어 본질적으로 핵심적인 역할을 한다. 이 때문에 LMM은 시각적 비평자(critic) 및 보상 모델로 점점 더 많이 사용되고 있지만, 판정자(judge)로서의 신뢰성은 아직 거의 탐구되지 않았다. 이를 위해 우리는 차트-투-코드 워크플로우에서 LMM 판정자를 평가하기 위한 진단용 비전-언어 벤치마크인 ChartJudgeBench를 소개한다. 여기에는 쌍별(pairwise) 차트 비교를 위한 1,003개의 Chart Perception Alignment(CPA) 인스턴스와, Chart Reproduction 및 Chart Editing에서의 이진 Accept/Reject 검증을 위한 650개의 Chart Reasoning Judgment(CRJ) 인스턴스가 포함되어 있다. 이 두 과제는 함께 에이전틱(agentic) 정제 및 강화학습 기반 차트 최적화에 요구되는 핵심적인 판정 결정을 모사한다. 강력한 LMM들에 대한 평가 결과, 네 가지 체계적인 한계가 드러났다: (i) 쌍별 비교에서의 위치 바이어스(positional bias), (ii) Accept를 과도하게 예측하는 강한 경향, (iii) 시각적 스타일과 미적 요소를 일치시키는 데 있어서의 어려움, (iv) 강화학습으로 학습된 모델에서 나타나는 예상치 못한 관대함 바이어스(leniency bias)이다. 이러한 결과는 현재의 LMM 판정자가 차트-투-코드 최적화에서 비평자나 보상 모델로 사용되기 전에 명시적인 신뢰성 검증(validation)이 필요함을 보여준다. 코드와 데이터는 ChartJudgeBench에서 확인할 수 있다.