OOM-RL II: 현실은 디버거가 아닌 오라클이다: 지속적으로 진화하는 에이전트 엔지니어링 시스템에서의 출처 제약 진단
OOM-RL II: Reality Is an Oracle, Not a Debugger Provenance-Constrained Diagnosis in Continually Evolving Agent-Engineered Systems
한국어 초록
현실은 어떤 결과가 발생했는지는 보여줄 수 있지만, 진화하는 절차 중 어느 것이 왜 그 결과를 만들어냈는지는 밝혀내지 못할 수 있습니다. 이러한 구분은 외부 피드백이 누적되는 동안 코드, 설정 및 산출물이 지속적으로 변화하는 프로덕션 머신러닝 시스템에서 중요합니다. 본 연구에서는 인간이 지휘하고 에이전트(agent)가 구축한 퀀트 트레이딩 시스템을 통해 이를 조사하며, 여기서 '오라클(oracle)'은 완전한 정확성 명세가 아닌 실현된 결과의 외부 원천을 의미합니다. 1년 동안 계좌는 수익을 기록하며 광범위한 시장 지수를 상회했으나, 주요 사후 명세 기준 연간 알파는 통계적으로 0과 구별되지 않았습니다. 사후적으로 선택된 하위 기간에는 불리한 상대적 성과 및 선언된 근사 기준 하에서의 조건부 후보군 수준 약세가 포함됩니다. 엔지니어링 기록은 해당 기간 동안의 변경 사항을 문서화하고 있으나, 추천과 런타임 간의 완전한 바인딩은 제공되지 않습니다. 아카이브는 단일한 고정 인스턴스나 고유한 원인을 규명하지 못합니다. 이 사례는 결과-진단 격차(outcome--diagnosis gap)를 야기합니다. 즉, 결과 증거, 평가 대상의 식별성, 인과적 설명은 서로 다른 주장을 뒷받침합니다. 본 논문에서는 고정 인스턴스, 사전 지정된 적응형 절차, 임시 개발을 구별하고, 아카이브 상대적 주장 식별성과 증거 위계를 정리하며, 전향적 프로덕션 바인딩 프로토콜을 제안합니다. 호환 가능한 이력을 보여주는 예시는 사실적 바인딩이 추천의 지시 대상을 해결할 수 있으면서도 반사실적 효과까지 제공하지는 못함을 보여줍니다. 해당 프로토콜은 전향적으로 검증된 것이 아니라 제안된 것입니다. 외부 피드백은 결과에 대한 주장을 제약하는 반면, 출처(provenance)와 추가적인 식별 구조가 진단의 해상도를 결정합니다.
원문 초록
Reality may establish that an outcome occurred without identifying which evolving procedure produced it or why. This distinction matters in production ML systems whose code, configuration, and artifacts change while external feedback accumulates. We examine it in a human-directed, agent-engineered quantitative trading system, using oracle to mean an external source of realized outcomes rather than a complete correctness specification. Across one year, the account gained and outperformed a broad market index, while annual alpha was not statistically distinguishable from zero under the main retrospective specification. Retrospectively selected subperiods include adverse relative performance and conditional candidate-level weakness under declared approximate references. Engineering records document changes during the episode, and complete recommendation-to-runtime binding is unavailable. The archive does not establish a common frozen instance or a unique cause. The case motivates an outcome--diagnosis gap: outcome evidence, evaluated-object identity, and causal explanation support distinct claims. We distinguish frozen instances, pre-specified adaptive procedures, and ad-hoc development; organize archive-relative claim identifiability and an evidence hierarchy; and propose a prospective production-binding protocol. An illustrative compatible-history example shows how factual binding can resolve a recommendation's referent without supplying its counterfactual effect. The protocol is proposed rather than prospectively validated. External feedback constrains outcome claims, while provenance and additional identification structure determine the resolution of diagnosis.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
38 pages, 14 figures, 9 tables. Supplementary Dataset S1: https://doi.org/10.5281/zenodo.23215521. Follow-up to arXiv:2604.11477