arXiv:2601.03708v3 cs.PL

MHRC-Bench: 다국어 하드웨어 저장소 수준 코드 완성 벤치마크

MHRC-Bench: A Multilingual Hardware Repository-Level Code Completion benchmark

Qingyun Zou, Jiahao Cui, Nuo Chen, Bingsheng He, Weng-Fai Wong

제출 2026-11-17

한국어 초록

대규모 언어 모델(LLM)은 범용 프로그래밍 언어의 코드 완성에서 강력한 성능을 달성했지만, 기존의 저장소 수준 벤치마크는 거의 전적으로 소프트웨어 코드에 초점을 맞추고 하드웨어 기술 언어(HDL)는 대체로 간과해 왔다. 본 논문은 MHRC-Bench-Train과 MHRC-Bench-Eval로 구성된 \textbf{MHRC-Bench}를 제시하며, 이는 기능 평가를 갖춘 저장소 수준 다국어 하드웨어 코드 완성의 최초 벤치마크이다. MHRC-Bench는 세 가지 주요 하드웨어 설계 코딩 스타일을 포괄하며, 구체 구문 트리(CST) 분석에서 도출한 코드 구조 수준 및 하드웨어 지향 의미 레이블을 각 완성 대상에 주석으로 부여한다. 10억 규모의 코드 LLM을 MHRC-Bench-Train으로 사후학습하면, 동일한 문맥 창 조건에서 더 작은 오픈 웨이트 모델이 훨씬 큰 범용 모델을 능가할 수 있다. 전체 정확도를 넘어, 본 분석은 하드웨어와 소프트웨어 코드 완성을 구분 짓는 네 가지 발견을 드러낸다. \emph{(i)}~성능은 HDL마다 크게 다르며, 기능 통과율, 정확 일치(EM), 편집 유사도(ES) 전반에서 대부분의 설정에서 고수준 합성(HLS)이 가장 쉽고 VHDL이 가장 어렵다. \emph{(ii)}~하드웨어 정확도는 코드 구조 깊이에 대해 비단조적이며, 이는 소프트웨어에서 알려진 단조적인 깊이-정확도 곡선과 대조된다. \emph{(iii)}~입력 문맥이 2{,}048 토큰을 넘으면 정확도가 정체되는 반면, 소프트웨어 코드 완성은 더 긴 문맥에서 계속 이득을 본다. \emph{(iv)}~소프트웨어에 맞춰 조정된 일부 저장소 수준 검색기는 구조 및 의존성 가정이 하드웨어 코드에서 성립하지 않기 때문에 HDL 저장소에서 검색 없는 베이스라인보다 성능이 낮다.

원문 초록

Large language models (LLMs) have achieved strong performance on code completion in general-purpose programming languages, but existing repository-level benchmarks focus almost exclusively on software code and largely overlook hardware description languages (HDLs). We present \textbf{MHRC-Bench}, consisting of \textbf{MHRC-Bench-Train} and \textbf{MHRC-Bench-Eval}, the first benchmark for multilingual hardware code completion at the repository level with functional evaluation. MHRC-Bench covers three major hardware design coding styles and annotates each completion target with code-structure-level and hardware-oriented semantic labels derived from concrete syntax tree (CST) analysis. Post-training billion-scale code LLMs on MHRC-Bench-Train enables smaller open-weight models to outperform much larger general-purpose models under matched context windows. Beyond aggregate accuracy, our analysis surfaces four findings that distinguish hardware from software code completion: \emph{(i)}~performance varies sharply across HDLs, with high-level synthesis (HLS) easiest and VHDL hardest in most settings across functional pass rate, exact match (EM), and edit similarity (ES); \emph{(ii)}~hardware accuracy is non-monotonic in code-structure depth, in contrast with the monotonic depth--accuracy curve known for software; \emph{(iii)}~accuracy plateaus once the input context exceeds 2{,}048 tokens, while software completion continues to benefit from longer context; and \emph{(iv)}~certain repository-level retrievers tuned on software underperform a no-retrieval baseline on HDL repositories because their structural and dependency assumptions are violated by hardware code.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.03708v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.