LongWoF-Bench: 검증 가능한 장기 워크플로 과제를 위한 EvoMap Gene 평가
LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks
대규모 언어 모델(LLM)은 점점 복잡한 워크플로를 실행해야 할 것으로 기대되며, 그 성공은 상호 의존적인 제약을 유지하고 엄격한 end-to-end 검증을 만족하는 산출물을 생성하는 것에 달려 있다. 그러나 성공적인 실행 경험은 일반적으로 단일 실행 후에 소실되어, 이후 모델이 전략과 실패 양상을 처음부터 다시 찾아야 한다. 우리는 검증기(verifier)가 확인한 실행 궤적(trajectory)이 구조화된 Gene으로 통합되는 EvoMap을 통해 그러한 경험을 대신 외부화하고 재사용할 수 있는지 연구한다. 이 설정을 평가하기 위해 코드 생성, 에이전트-환경 합성, 수학적 추론, 규칙 준수에 걸친 778개의 기계 검증 가능 태스크로 구성된 Long-Workflow Benchmark(LongWoF-Bench)를 제안한다. 검증기가 확인한 Opus 궤적이 있는 252개 태스크에서, 진화된 EvoMap Gene은 평가한 7개 모델 전반에서 Skill보다 8.7–15.5%p 높은 성능을 보였으며, 이득은 서로 다른 모델 계열의 consumer 모델까지 확장된다. 대조적으로, reference-distilled Gene은 동일한 이점을 보이지 않아, 압축 표현만으로는 불충분하며 Gene의 유용성이 검증된 경험의 출처(provenance)와 밀접히 연관됨을 시사한다. Claude Opus의 경우 Gene 재사용은 Skill보다 39개 더 많은 태스크를 완료하면서 해결 시간 토큰 소비를 9.9% 줄였다. 종합하면, 이러한 결과는 검증된 실행 경험이 재사용 가능한 외부 자원으로 보존·공유될 수 있음을 보여 주며, 모델이 경험 발견의 전체 비용을 반복적으로 치르지 않고도 장기 워크플로 완료를 개선할 수 있게 한다.