PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.04532v2cs.CL

Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation

Agent-as-a-Judge(AAAJ) 프레임워크의 평가 언어를 영어, 아랍어, 터키어, 중국어, 힌디어 5개 언어로 다국어 로컬라이징하여 6개 판정 모델(judge backbone)과 3개 개발자-에이전트 프레임워크 조합으로 총 4,950회 실험한 결과, GPT-4o는 영어(44.72%)에서 최고 성능을 보이는 반면 Gemini는 아랍어(51.72%)와 힌디어(53.22%)에서 우위를 보이는 등 언어에 따라 모델 순위가 역전됨을 발견했다. 또한 벤치마크 내용뿐 아니라 판정 측 지시문의 언어 로컬라이징이 평가 안정성에 결정적 영향을 미침을 ablation 실험으로 확인하여, 에이전트 벤치마크에서 평가 언어를 명시적 변수로 다뤄야 함을 시사한다.