통제된 LLM 기반 ML 실험의 평가: 수명주기, 출처 추적, 실패 지표
Evaluating Governed LLM-Driven ML Experimentation: Lifecycle, Provenance, and Failure Metrics
한국어 초록
ML 실험을 수행하는 자율 에이전트는 보통 도달한 최고 점수로 평가된다. 그러나 그 점수는 어떻게 도달했는지, 즉 에이전트가 편집이 허용된 파일 범위 내에 머물렀는지, 실패한 시도가 보존되었는지 조용히 버려졌는지, 각 유지 또는 폐기 결정이 근거까지 추적 가능한지를 알려주지 않는다. 우리는 이러한 시스템을 결과뿐 아니라 실험 과정으로도 평가할 것을 제안하며, 이를 가능하게 하는 통제된 하네스를 구축한다. 변경을 제안하는 LLM이 아니라 제어 평면이 각 시도의 수명주기를 관리하고, 편집 범위를 검사하며, 유지 또는 폐기를 결정하고, 시도마다 하나의 기록을 추가 전용 원장에 덧붙인다. 잘못된 행동 비율, 반복된 불량 비율, 출처 완전성 같은 통제 지표는 이 원장으로부터 계산된다. 합성 로지스틱 회귀부터 언어 모델 학습에 이르는 여섯 가지 ML 과제와 1,445회의 시도에 걸쳐 동일한 규약이 변경 없이 적용되었다. 원장은 과제 점수가 가리는 실패를 드러냈다. 120회 시도가 모두 실패한 무기억 설정, 제한된 제안이 소진된 벤치마크 어댑터, 재현성 해시가 밝혀낸 초기화 실패가 그것이며, 이후 영향을 받은 캠페인을 다시 실행하였다. 짝지은 반사실 비교에서 성공한 시도만 기록하는 루프는 50회 중 43회의 시도에 대한 기록을 남기지 않았으나, 통제된 원장은 50회 모두를 기록하였다. 기억 제거 실험은 반복된 불량 제안에 대한 기억의 효과가 과제에 따라 달라짐을 보여준다. 1,445회 시도 전체의 원장을 공개하여, 이에 대해 보고된 모든 수치를 다시 계산할 수 있도록 한다.
원문 초록
Autonomous agents that run ML experiments are usually judged by the best score they reach. That score says nothing about how it was reached: whether the agent stayed within the files it was allowed to edit, whether failed trials were kept or silently dropped, and whether each keep or discard decision can be traced to its evidence. We propose evaluating such systems on their experimental process as well as their outcome, and we build a governed harness that makes this possible. A control plane, not the LLM that proposes changes, owns each trial's lifecycle, checks its edit scope, decides keep or discard, and appends one record per trial to an append-only ledger. Governance metrics such as the invalid-action rate, the repeated-bad rate and provenance completeness are computed from that ledger. Across six ML tasks, from synthetic logistic regression to language-model training, and 1,445 trials, the same contract applied unchanged. The ledger exposed failures that a task score hides: a no-memory arm in which all 120 trials failed, a benchmark adapter whose bounded proposals ran out, and a reset failure that reproducibility hashes revealed, after which the affected campaigns were rerun. In a matched counterfactual, a loop that logs only successful trials left no record of 43 of 50 trials, while the governed ledger recorded all 50. Memory ablations show that memory's effect on repeated bad proposals depends on the task. We release the ledgers of all 1,445 trials, so that every number reported for them can be recomputed.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23678v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.