StructureClaw: 구조 공학 워크플로를 위한 추적 가능한 LLM 에이전트와 실행 가능한 벤치마크
StructureClaw: Traceable LLM Agents and an Executable Benchmark for Structural Engineering Workflows
구조 공학 요청을 처리하려면 단일 답변 이상이 필요하며, 해석된 요구사항, 계산 가능한 모델, 검증 기록, 솔버 출력, 코드 적합성 검토 기록, 최종 보고서로 이루어진 상호 의존적인 아티팩트 체인이 필요하다. 질의응답이나 스크립트 생성에 중점을 둔 평가는 이러한 완전한 증거 체인을 거의 검증하지 않으며, 따라서 기초 공학 워크플로가 불완전하거나 내부적으로 일관되지 않거나 실행 불가능한 경우에도 유창한 출력에 보상을 줄 수 있다. 이 한계를 해결하기 위해, LLM 에이전트가 거버넌스가 적용된 공학 스킬, 타입이 지정된 도구, 공유 아티팩트 상태, 로컬 분석 백엔드를 통해 동작하는 아티팩트 중심 워크벤치인 StructureClaw를 제안한다. 또한 표준 워크플로 실행, 대화형 견고성, 멀티모달 구조 모델 재구성을 아우르는 150개의 통제된 시나리오로 구성된 실행 가능 벤치마크 StructureClaw-Bench를 소개한다. 시나리오는 필요한 모든 아티팩트 수준 및 실행 수준 단언이 단일 실행에서 통과할 때만 성공한다. 10가지 에이전트-모델 구성 각각이 동일한 50개 표준 사례에서 평가된 결과, 평균 성공률(Success Rate)은 범용 스킬 기준선에서 56.8%에서 전체 자동 워크플로에서 88.6%로 상승한다. 대화형 및 멀티모달 평가는 두 가지 두드러진 남은 과제를 확인한다: 잘못된 수치 입력의 안전한 처리와 구조 모델의 fixture-일관적 재구성. 이 결과는 아티팩트 중심 평가가 최종 응답만으로는 식별하기 어려운 워크플로 수준의 실패를 드러낼 수 있음을 보여주며, 구조 공학 에이전트를 평가하고 개선하기 위한 더 엄밀한 기반을 제공한다. 코드와 벤치마크는 https://github.com/structureclaw/structureclaw 에서 이용할 수 있다.