arXiv:2611.21707v1 cs.CE

장부 정리는 판단이 아니다: 켤레 열전달 설계 캠페인으로 구축한 공학적 판단 벤치마크 EJBench

Bookkeeping Is Not Judgement: EJBench, an Engineering Judgement Benchmark Built from a Conjugate Heat Transfer Design Campaign

James Sadler, Rotimi Alabi, Kotub Uddin

제출 2026-11-18

한국어 초록

우리는 공학적 판단 벤치마크인 EJBench를 소개한다. 이는 모델이 몇 가지 이전 결과로부터 새로운 조건에서 설계가 어떻게 거동할지 예측하고 이에 대해 결정을 내릴 수 있는지를 평가한다. 에이전트가 시뮬레이션이나 CAD 소프트웨어를 조작할 수 있는지를 시험하는 기존 공학 벤치마크와 달리, EJBench는 소프트웨어에 무관하며 엔지니어가 시뮬레이션을 실행하지 않고 어떤 결론을 내릴지를 묻는다. 과제는 배터리 냉각판에 대한 켤레 열전달 설계 캠페인에서 나왔으며, 라벨이 없는 시험 결과를 운전 조건에 대응시키기, 설계를 승인하기 전에 저장된 실행 결과 중 무엇을 공개할지 선택하기, 새로운 부하를 셀 최고 온도 기준으로 순위 매기기의 세 계열로 구성된다. 모든 정답은 LLM 판정자가 아니라 수렴된 시뮬레이션에서 가져온다. 10개의 최전선 모델 중 최고 성능인 GPT-6 Astra는 0.71점을 기록했으며, 모델들은 틀린 과제와 맞힌 과제에서 거의 같은 수준의 확신을 나타낸다. 또한 Qwen3.5-9B를 LoRA와 강화학습으로 사후 학습시켰으며, 시뮬레이션 결과가 확인해 주는 정답 기준의 비율을 보상으로 사용했다. 홀드아웃 시험 분할에서 점수는 0.071에서 0.106으로 상승한다. 학습, 검증, 시험 분할과 평가 하네스, 리더보드를 공개한다.

원문 초록

We introduce EJBench, a benchmark of engineering judgement: whether a model can predict how a design behaves at new conditions from a few earlier results, and decide on it. Unlike engineering benchmarks that test whether an agent can operate simulation or CAD software, EJBench is software-agnostic and asks what an engineer would conclude without running a simulation. Its tasks come from a conjugate heat transfer design campaign for battery cold plates, in three families: matching unlabelled test results to their operating points, choosing which stored runs to reveal before signing off a design, and ranking new duties by peak cell temperature. Every answer is taken from a converged simulation, not from an LLM judge. The best of ten frontier models, GPT-6 Astra, scores 0.71, and models state almost the same confidence on tasks they get wrong as on tasks they get right. We also post-train Qwen3.5-9B with LoRA and reinforcement learning, rewarded by the share of answer criteria the simulation results confirm; on the held-out test split its score rises from 0.071 to 0.106. We release the train, validation and test splits, the evaluation harness and the leaderboard.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21707v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.