규칙에서 도구로: 과학 계산 분야 LLM 에이전트를 위한 실행 가능한 검사
Rules to Tools: Executable Checks for LLM Agents in Scientific Computing
과학 코딩 에이전트(agent)는 방정식, 경계 조건, 출력 요구사항을 서면으로 전달받은 뒤, 자신이 수정한 프로그램을 평가해야 합니다. Rules to Tools(R2T)는 공개된 과학적 요구사항에 대해 미리 준비된 실행 가능한 검사 기능을 제공합니다. 매칭된 SciCode 복구 그룹들은 서면 검사, 시작 프로그램, 모델(model), 예산을 공유하며, 도구 그룹은 호출 가능한 구현체를 제공받습니다. 두 개의 태스크 ID 코호트 전체에서 완전한 복구는 텍스트를 사용했을 때 26/30, 준비된 검사를 사용했을 때 29/30을 기록했습니다. 3개의 태스크 ID는 도구 그룹에 유리했고, 1개는 텍스트 그룹에 유리했으며, 11개는 동률이었습니다. 8개 ID 코호트는 13/16 대 15/16을 기록했으며, 차이에 대한 태스크 클러스터 부트스트랩 95% 신뢰구간은 [-12.5, 43.75]%p였습니다. 더 큰 공유 정의 SciCode 코호트는 그룹당 13/24로 동률을 이루었습니다. 대체 시작 프로그램을 적용한 5개의 개발 노출 태스크에서는 3/10 대 7/10을 기록했습니다. 도구 그룹은 태스크 17, 77, 11에 유리했으며, 초기 검사에서 태스크 17은 플래그가 지정되었고 태스크 77과 11은 위반이 보고되지 않았습니다. 태스크 37은 텍스트 그룹에 유리했으며 초기에 보고된 위반 사항이 없었습니다. 신규 source-through-Python 실험군 또한 15/16에 도달하여 전용 명령의 총합과 일치했습니다. 매칭된 PDE 비교에서 상세 텍스트는 23/24, 검사는 24/24를 기록했으며, 검사 사용 시 보고된 모델 출력이 31.2% 더 낮았습니다. 에이전트 측 출력 절감량은 코호트별로 상이한 반면, 두 태스크 ID 코호트 모두에서 공개 CPU 사용량은 증가했습니다. 이러한 결과는 준비된 검사를 사용할 때 태스크 의존적인 복구 성과 및 에이전트 측 비용을 측정합니다.