ISA-Bench: 명령어 집합 아키텍처 전반의 계산 추론 벤치마크
ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures
대규모 언어 모델(LLM) 코드 생성 벤치마크는 Python과 Java처럼 학습 데이터가 풍부한 언어를 주로 평가하며, 모델은 이처럼 풍부한 학습 데이터로 이득을 본다. 익숙하지 않은 계산 모델에서의 추론—단 하나의 빼기(subtract) 명령으로 산술을 유도하거나, 통신하는 노드들 사이에서 병렬 프로그램을 조율하거나, 논리 게이트를 회로로 배선하는 것—에 대한 근거는 제한적이다. 우리는 제약된 명령어 집합을 갖는 프로그래밍 게임 벤치마크인 ISA-Bench를 제안한다. 각 게임에 대해 전체 실행 스택(파서, VM, 검증기)을 제공하여, 반복적 개선을 위한 구조화된 피드백과 함께 자동 평가를 가능하게 한다. 추론 모델은 코드 특화 및 범용 모델보다 더 높은 평균 해결률을 달성하지만, 익숙하지 않은 구문은 여전히 실패의 주요 원인으로 남는다. 모델은 반복적 피드백으로 더 많은 과제를 해결하지만, 그 이득은 아키텍처마다 크게 달라진다. 우리는 타당한 계산 전략을 식별하는 것과 이를 대상 ISA에서 올바른 프로그램으로 표현하는 것 사이의 반복적으로 나타나는 단절을 드러내는 추론–실행 격차(reasoning–execution gap, REG) 분석을 도입한다. 코드는 오픈소스로 공개되었다.