멀티벤더 DSM-to-CLI 변환을 위한 재현 가능한 시맨틱 벤치마크
A Reproducible Semantic Benchmark for Multivendor DSM-to-CLI Translation
고수준 네트워크 인텐트(intent)를 올바른 멀티벤더 구성으로 변환하는 것은 네트워크 자동화의 핵심 과제로 남아 있으며, 구문적으로 유효한 출력이 여전히 의도한 운영 상태를 위반할 수 있기 때문이다. 대규모 언어 모델(LLM)의 최근 발전에도 불구하고, 해당 분야는 엄격한 교차 벤더 평가를 위한 재현 가능한 시맨틱 벤치마크가 여전히 부족하다. 본 논문은 고정된 judge와 명시적인 실패 분류 체계(failure taxonomy) 하에서 5개의 클라우드 LLM, 3개 벤더, 5개의 대표적 사용 사례, 실험 셀당 10회 반복 실행을 포함하는 재현 가능한 DSM-to-CLI 시맨틱 벤치마크를 제시한다. 우리 결과는 시맨틱 품질과 운영 신뢰성(operational reliability)이 직교(orthogonal) 관계에 있으며, 벤더 효과가 사용 사례 효과를 지배하고, 반복 실행 분산(repeated-run dispersion)이 투표 불안정성(vote instability)을 강하게 예측한다는 것을 보여주며, Huawei VRP는 집계 지표에 의해 숨겨진 실패 모드를 드러낸다. 이러한 발견은 멀티벤더, 반복 실행 시맨틱 벤치마크가 LLM 기반 네트워크 구성 시스템의 과학적으로 엄밀한 비교에 필수적임을 보여준다.