PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23363v1cs.AI

TicTacBench: 코딩 에이전트의 타이밍 클로저 역량 벤치마킹

TicTacBench: Benchmarking Timing Closure Capabilities of Coding Agents

최근 대규모 언어 모델(LLM)의 발전으로 레지스터 전송 수준(RTL) 설계 및 최적화를 포함한 복잡한 엔지니어링 작업을 수행할 수 있는 코딩 에이전트가 등장했다. 기존 RTL 벤치마크는 생성된 RTL 설계의 기능적 정확성과 성능·전력·면적(PPA)을 주로 평가하며, 에이전트의 타이밍 클로저(timing closure) 능력은 상대적으로 덜 평가된다. 우리는 post-place-and-route(post-PnR) 평가 하에서 RTL 수준 타이밍 클로저에 대한 코딩 에이전트 역량을 평가하기 위해 특별히 설계된 벤치마크 TicTacBench를 제안한다. TicTacBench는 30개의 다양한 과제를 포함하며, 각 과제는 최적이 아닌 RTL 설계, 현실적인 타이밍 제약, 기능 등가 검증, 타이밍 리포트를 제공한다. 8개의 최前沿 LLM으로 구동된 코딩 에이전트에 대해 300회 이상 실행한 결과, 최고의 에이전트조차도 평균적으로 면적-지연 곱(ADP) 7.18% 악화와 에너지-지연 제곱 곱(EDDP) 8.83% 개선과 함께 과제의 53.3%만 타이밍을 클로즈할 수 있었다. 에이전트가 타이밍을 클로즈하지 못하는 이유를 설명하는 공통 실패 범주를 식별한다. 다음으로 표준 타이밍 클로저 절차를 따르도록 에이전트를 안내하고 타이밍 클로저율(Timing Closure Rate)을 9% 향상시키는 새로운 방법 TicTacSkill을 제안한다. 이 결과는 코딩 에이전트가 RTL 설계에서 상당한 진전을 이루었음에도 불구하고, 타이밍 클로저 역량에는 여전히 개선할 여지가 상당함을 시사한다.