arXiv:2611.21176v2 cs.SE

대규모 언어 모델을 이용한 과학 코딩: 유한요소해석에서의 증거

Scientific Coding with Large Language Models: Evidence from Finite Element Analysis

Erfan Hamdi, Joel Shor, Emma Lejeune

제출 2026-11-16

한국어 초록

대규모 언어 모델(LLM)은 과학 프로그래밍을 자동화할 잠재적 경로를 제공하지만, 그 유용성은 수치적으로 올바른 코드를 일관되게 생성하는가에 달려 있다. 본 연구에서는 FEM-Bench를 비선형 및 이력 의존 역학과 구조 동역학을 포함하는 17개의 유한요소 과제로 확장하고, 실행 피드백 없이 구현과 테스트 생성에 대해 15개 모델을 평가한다. 최고 모델은 단일 패스 구현 시행의 87.1%에서 성공하지만, 트랙에 따라 순위가 다르다. 구현 부문 1위 모델은 49.9%의 결합 테스트 성공률을 달성하는 반면, 테스트 부문 1위 모델은 82.6%에 도달한다. 여섯 개 모델에 대해서는 단일 패스 생성을 코드 실행과 수정을 허용하는 두 가지 에이전트 하네스와 비교한다. 에이전트 실행은 단일 패스 시행에서 한 번도 성공하지 못한 일부 과제를 해결하고 다른 과제의 일관성을 개선하지만, 이득은 모델과 하네스에 따라 다르며 퇴행도 발생한다. SimpleAgent를 사용한 Claude Opus 5는 세 번의 시도 중 한 번 이상 성공할 확률인 Pass@3에서 96.5%에 도달하지만, 세 번 모두 성공할 확률인 Pass$^3$에서는 77.1%이다. 어떤 모델-하네스 조합도 Pass$^3$ 78.8%를 넘지 못한다. 에이전트가 자체 검사를 통과한 뒤에도 잘못된 코드를 제출하는 이유를 이해하기 위해, 실패한 에이전트 궤적 249개를 분석하여 자체 검증 실패의 여섯 가지 범주를 식별한다. 가장 흔한 것은 불충분한 테스트 커버리지(73.1%)와 일반적인 일관성 검사에 대한 의존(70.3%)이며, 28.5%의 사례에서는 테스트가 구현과 동일한 오류를 공유한다. 이러한 결과에 착안하여, 코더와 테스터 에이전트를 분리한 탐색적 구성은 Pass@3 97.6%, Pass$^3$ 88.8%로 관찰된 최고 점수를 달성한다. 이러한 결과는 시도 간 일관성과 독립적 검증이 LLM이 생성한 과학 코드를 신뢰하는 데 주된 장애물임을 보여준다.

원문 초록

Large language models (LLMs) offer a potential route to automating scientific programming, but their usefulness depends on consistently producing numerically correct code. We extend FEM-Bench to 17 finite element tasks involving nonlinear and history-dependent mechanics and structural dynamics, and evaluate 15 models on implementation and test generation without execution feedback. The best model succeeds in 87.1% of single-pass implementation trials, but rankings differ between tracks. The leading implementer achieves 49.9% joint test success, while the leading tester reaches 82.6%. For six models, we compare single-pass generation with two agentic harnesses that allow code execution and revision. Agentic execution solves some tasks that never succeeded in single-pass trials and improves consistency on others, but gains vary across models and harnesses, and regressions also occur. Claude Opus 5 with SimpleAgent reaches 96.5% Pass@3, the probability of at least one success in three attempts, but 77.1% Pass$^3$, the probability that all three succeed. No model-harness combination exceeds 78.8% Pass$^3$. To understand why agents submit incorrect code after passing their own checks, we analyze 249 failed agentic trajectories and identify six categories of self-verification failure. The most common are inadequate test coverage (73.1%) and reliance on generic consistency checks (70.3%), and in 28.5% of cases the tests share an error with the implementation. Motivated by these findings, an exploratory configuration with separate coder and tester agents achieves the highest observed scores, with 97.6% Pass@3 and 88.8% Pass$^3$. These results identify consistency across attempts and independent verification as the main obstacles to trusting LLM-generated scientific code.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21176v2제출 시각 미확인
  2. arXiv:2611.21176v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.