범용 하네스를 넘어 CAE 시뮬레이션 에이전트에 진정으로 필요한 것은 무엇인가
What Do CAE Simulation Agents Really Need Beyond a Generic Harness?
한국어 초록
컴퓨터 지원 공학(CAE) 시뮬레이션은 공학 분야에서 가장 규모가 크고 까다로운 영역 중 하나로, OpenFOAM, FEniCS, COMSOL과 같은 솔버(solver)를 설정하는 데에는 상당한 전문 지식이 필요합니다. 대규모 언어 모델(LLM) 에이전트는 자연어 요청을 실제로 작동하는 시뮬레이션으로 변환할 수 있는 가능성을 제시하며, 최근의 CAE 에이전트들은 다중 에이전트 분해, 도메인 검색, 스크립트 기반 성찰(scripted reflection)과 같은 시뮬레이션 전용 메커니즘을 추가하고 있습니다. 이러한 메커니즘은 성능이 취약했던 기본 모델에는 적합했으나, 최신 하네스(harness)는 이미 다중 턴 추론, 도구 사용, 실행 피드백을 기본적으로 제공합니다. 본 논문에서는 CAE 시뮬레이션 에이전트가 범용 하네스를 넘어 여전히 필요로 하는 요소가 무엇인지 질문합니다. 정보 접근 권한과 복구 예산(repair budget)을 동일하게 고정한 상태에서, 단일 에이전트 하네스는 다중 에이전트 기반 전문화 시스템과 대등하거나 더 뛰어난 성능을 보였습니다(FoamBench 기준 96.4% 대 88.2%). 절제 연구(ablation) 결과, 이는 하네스가 이미 제공하는 기능 덕분인 것으로 밝혀졌습니다. 실행 피드백 기반 복구는 복구 라운드가 없을 때의 71.8%에서 96.4%로 FoamBench 성능을 끌어올린 반면, 스크립트 기반 성찰은 추가적인 이점을 주지 못했습니다. 여전히 도움이 되는 유일한 입력은 솔버 튜토리얼 형태로 제공되는 도메인 지식이었으며, 이는 측정된 것 중 가장 큰 성능 향상(80.9%에서 96.4%)을 이끌어냈습니다.
원문 초록
Computer-aided engineering (CAE) simulation is among the largest and most demanding areas of engineering, where setting up a solver such as OpenFOAM, FEniCS, or COMSOL takes real expertise. Large language model (LLM) agents promise to turn a natural-language request into a working simulation, and recent CAE agents add simulation-specific machinery: multi-agent decomposition, domain retrieval, and scripted reflection. That machinery suited weak base models; modern harnesses already supply multi-turn reasoning, tool use, and execution feedback. We ask what a CAE simulation agent still needs beyond a generic harness. With information access and repair budget held fixed, a single-agent harness matches or beats multi-agent specialized systems (FoamBench 96.4\% vs.\ 88.2\%). Ablations trace this to capabilities the harness already provides: execution-feedback repair lifts FoamBench from 71.8\% with no repair round to 96.4\%, while scripted reflection adds nothing. The one input that still helps is domain knowledge supplied as solver tutorials, our largest measured gain (80.9\% to 96.4\%).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03718v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.