MHRC-Bench: 다국어 하드웨어 저장소 수준 코드 완성 벤치마크
MHRC-Bench: A Multilingual Hardware Repository-Level Code Completion benchmark
한국어 초록
대규모 언어 모델(LLM)은 범용 프로그래밍 언어의 코드 완성에서 강력한 성능을 달성했지만, 기존의 저장소 수준 벤치마크는 거의 전적으로 소프트웨어 코드에 초점을 맞추고 하드웨어 기술 언어(HDL)는 대체로 간과해 왔다. 본 논문은 MHRC-Bench-Train과 MHRC-Bench-Eval로 구성된 \textbf{MHRC-Bench}를 제시하며, 이는 기능 평가를 갖춘 저장소 수준 다국어 하드웨어 코드 완성의 최초 벤치마크이다. MHRC-Bench는 세 가지 주요 하드웨어 설계 코딩 스타일을 포괄하며, 구체 구문 트리(CST) 분석에서 도출한 코드 구조 수준 및 하드웨어 지향 의미 레이블을 각 완성 대상에 주석으로 부여한다. 10억 규모의 코드 LLM을 MHRC-Bench-Train으로 사후학습하면, 동일한 문맥 창 조건에서 더 작은 오픈 웨이트 모델이 훨씬 큰 범용 모델을 능가할 수 있다. 전체 정확도를 넘어, 본 분석은 하드웨어와 소프트웨어 코드 완성을 구분 짓는 네 가지 발견을 드러낸다. \emph{(i)}~성능은 HDL마다 크게 다르며, 기능 통과율, 정확 일치(EM), 편집 유사도(ES) 전반에서 대부분의 설정에서 고수준 합성(HLS)이 가장 쉽고 VHDL이 가장 어렵다. \emph{(ii)}~하드웨어 정확도는 코드 구조 깊이에 대해 비단조적이며, 이는 소프트웨어에서 알려진 단조적인 깊이-정확도 곡선과 대조된다. \emph{(iii)}~입력 문맥이 2{,}048 토큰을 넘으면 정확도가 정체되는 반면, 소프트웨어 코드 완성은 더 긴 문맥에서 계속 이득을 본다. \emph{(iv)}~소프트웨어에 맞춰 조정된 일부 저장소 수준 검색기는 구조 및 의존성 가정이 하드웨어 코드에서 성립하지 않기 때문에 HDL 저장소에서 검색 없는 베이스라인보다 성능이 낮다.
원문 초록
Large language models (LLMs) have achieved strong performance on code completion in general-purpose programming languages, but existing repository-level benchmarks focus almost exclusively on software code and largely overlook hardware description languages (HDLs). We present \textbf{MHRC-Bench}, consisting of \textbf{MHRC-Bench-Train} and \textbf{MHRC-Bench-Eval}, the first benchmark for multilingual hardware code completion at the repository level with functional evaluation. MHRC-Bench covers three major hardware design coding styles and annotates each completion target with code-structure-level and hardware-oriented semantic labels derived from concrete syntax tree (CST) analysis. Post-training billion-scale code LLMs on MHRC-Bench-Train enables smaller open-weight models to outperform much larger general-purpose models under matched context windows. Beyond aggregate accuracy, our analysis surfaces four findings that distinguish hardware from software code completion: \emph{(i)}~performance varies sharply across HDLs, with high-level synthesis (HLS) easiest and VHDL hardest in most settings across functional pass rate, exact match (EM), and edit similarity (ES); \emph{(ii)}~hardware accuracy is non-monotonic in code-structure depth, in contrast with the monotonic depth--accuracy curve known for software; \emph{(iii)}~accuracy plateaus once the input context exceeds 2{,}048 tokens, while software completion continues to benefit from longer context; and \emph{(iv)}~certain repository-level retrievers tuned on software underperform a no-retrieval baseline on HDL repositories because their structural and dependency assumptions are violated by hardware code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2601.03708v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.