PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19788v1cs.AI

CombEval: 대규모 언어 모델의 조합적 계수 평가를 위한 프레임워크

CombEval: A Framework for Evaluating Combinatorial Counting in Large Language Models

우리는 대규모 언어 모델(LLM)의 조합적 계수(combinatorial counting)를 평가하기 위한 동적 벤치마크인 CombEval을 제안합니다. CombEval은 각 문제를 엔티티, 조합 객체, 객체 의존성, 제약 조건에 대한 타입이 지정된 Cofola 명세로 표현하여, 정확한 솔버 검증 답안이 포함된 자연어 계수 문제의 제어된 생성을 가능하게 합니다. 정적 컬렉션과 달리 CombEval은 객체 유형, 엔티티 규모, 제약 조건 수, 추론 깊이의 체계적인 변형을 지원합니다. 우리는 직접 및 코드 증강 설정 하에서 11개의 LLM을 평가했으며, 모델이 순서가 지정된 객체, 구별할 수 없는 요소, 상대적 위치 제약 조건, 중첩된 객체 의존성에서 여전히 취약하다는 것을 발견했습니다. 오류 분석을 통해 제약 조건 해석과 계수 원칙에서의 실패를 추가로 식별했습니다. CombEval은 LLM이 언제 그리고 왜 조합적 추론에 실패하는지 연구하기 위한 진단 테스트베드를 제공합니다. 코드와 생성된 벤치마크 스위트는 \url{https://github.com/YuxuZhou-CN/combination-problem-generation}에서 공개적으로 제공됩니다.