lumivate.io

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.11686v1cs.CL

층 분리 평가: LLM 없는 레그레션 잠금 테스트 하니스를 통한 프로덕션 LLM 에이전트의 결정적 스캐폴드 게이팅

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

엔드-투-엔드(end-to-end) 작업 성공률은 LLM 에이전트를 평가하는 지배적인 방식이지만, 집계된 숫자 하나는 에이전트에 레그레션(regression)이 발생했다는 것만 알려줄 뿐, 어디서 발생했는지는 알려주지 않습니다. 우리는 층 분리 평가(layer-isolated evaluation)를 제안합니다: 배포된 주문 에이전트가 고정된 층(layer) 분류 체계(온톨로지, 의도, 라우팅, 분해, 에스컬레이션, 안전성, 메모리 및 횡단 엔벨로프/방어)로 분해되며, 각 층은 결정적이고 LLM이 없는 "순수(pure)" 모드에서 자체 assertion 슬라이스에 의해 실행됩니다. 순수 모드 스위트(23개 슬라이스에 걸친 238개 사례; 225개가 2.39초 내 실행, 사례당 ~10ms)는 모든 변경 사항에 대해 슬라이스별로 잠금된 기준선(baseline)을 대상으로 CI에서 실행됩니다. 우리는 7개의 비안전성(non-safety) 층에 걸쳐 한 번에 하나의 층을 저하시키는 제어된 레그레션 주입을 통해 검증을 수행했습니다. 우리가 설계하지 않은 효과는 마스킹(masking)입니다: 집계 통과율은 거의 변동이 없는 반면(6개의 지역적 레그레션에 대해 -1.7에서 -5.9pp), 일치하는 슬라이스는 급격히 하락합니다(-25에서 -91pp). 자체 결함에 반응하는 층의 슬라이스는 부분적으로 구조상의 결과입니다; 측정된 결과는 (i) 집계된 마스킹과 (ii) 손상이 다른 슬라이스에는 영향을 미치지 않는다는 것입니다: 주입된 층의 슬라이스는 7개 사례 중 5개에서 가장 큰 타격을 입었고, 7개 모두에서 상위 3위 안에 들었습니다(19개 중 평균 순위 1.29). 지역화(localization)는 두 번째이자 구조적으로 다른 테넌트(Starbucks SG)에서도 재현됩니다: 일치하는 7개 슬라이스 모두 급격히 하락하므로, 이는 단일 카탈로그 인공물이 아닙니다. 우리는 이를 EDDOps가 규정하지만 구현하지 않은 구성 요소 수준 평가의 구체적이고 결정적인 구현(instantiation)으로, CheckList를 조상으로 하며 전체 워크플로우 확률적 돌연변이 테스트의 결정적 거울 이미지로 위치를 잡습니다. 우리의 기여는 다음과 같습니다: (a) 프로덕션 에이전트를 위한 완전히 분해된 1초 미만의 LLM 없는 층별 하니스, (b) 실행되지 않은 층에 점수를 매기기를 거부하는 커버리지 정직성(coverage-honesty) 테스트 적절성 기준, (c) 슬라이스별 기준선 잠금 게이트가 집계 메트릭이 마스킹하는 레그레션을 지역화한다는 것을 보여주는 레그레션 주입 시연.