arXiv:2502.11707

Ad-hoc Concept Forming in the Game Codenames as a Means for Evaluating Large Language Models

Sherzod Hakimov, Lara Pfennigschmidt, David Schlangen

제출 2025-02-17

원문 초록

This study utilizes the game Codenames as a benchmarking tool to evaluate large language models (LLMs) with respect to specific linguistic and cognitive skills. LLMs play each side of the game, where one side generates a clue word covering several target words and the other guesses those target words. We designed various experiments by controlling the choice of words (abstract vs. concrete words, ambiguous vs. monosemic) or the opponent (programmed to be faster or slower in revealing words). Recent commercial and open-weight models were compared side-by-side to find out factors affecting their performance. The evaluation reveals details about their strategies, challenging cases, and limitations of LLMs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10301v1cs.CV공통 태그 Benchmarking

ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크

ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing

생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.

arXiv:2607.09153v2cs.AI공통 태그 Benchmarking

KV-PRM: 멀티 에이전트 테스트-타임 스케일링을 위한 KV-캐시 전달 기반 효율적인 프로세스 보상 모델링

KV-PRM: Efficient Process Reward Modeling via KV-Cache Transfer for Multi-Agent Test-Time Scaling

프로세스 보상 모델(PRM)은 테스트-타임 스케일링(TTS) 방법을 안내하는 데 매우 효과적임이 입증되어, 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템의 역량을 크게 향상시킨다. 그러나 기존 PRM은 텍스트 기반으로, 전체 궤적 텍스트를 처음부터 다시 인코딩한다. 긴 멀티 에이전트 롤아웃에서는 시퀀스 길이 L에 대해 이차적으로 증가하는 채점 비용이 심각한 계산 병목을 야기하여, 긴 컨텍스트 시나리오에서 PRM의 적용을 크게 제한한다. 이를 해결하기 위해 우리는 KV-PRM을 제안한다. KV-PRM은 LLM의 생성 단계에서 자연스럽게 생성되는 KV 캐시를 직접 읽음으로써 무거운 텍스트 재인코딩을 제거하는 고효율 프로세스 보상 모델이다. 기존 KV 캐시에 대해 단일 "검증 토큰"만을 처리함으로써, KV-PRM은 채점 비용을 O(L²)에서 O(L)로 줄인다. 우리는 KV 캐시가 텍스트보다 엄밀하게 더 큰 정보 용량을 포함하며, 하위 보상 모델링에 더 효율적임을 형식적으로 증명한다. 실험적으로, MATH, GSM8K, AIME 벤치마크 전반에 걸쳐 KV-PRM은 빔 서치(Beam Search), MCTS, 가중 투표(Weighted Voting)와 같은 다양한 TTS 방법 하에서 텍스트 기반 PRM과 동등하거나 이를 엄밀하게 능가하며, 텍스트 기반 PRM 대비 채점 FLOPs에서 최대 5,000배, 지연 시간에서 37배, 시퀀스당 메모리 사용량에서 34배 감소를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.