quantpits.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.10256v1cs.AI

OOM-RL II: 현실은 디버거가 아닌 오라클이다: 지속적으로 진화하는 에이전트 엔지니어링 시스템에서의 출처 제약 진단

OOM-RL II: Reality Is an Oracle, Not a Debugger Provenance-Constrained Diagnosis in Continually Evolving Agent-Engineered Systems

현실은 어떤 결과가 발생했는지는 보여줄 수 있지만, 진화하는 절차 중 어느 것이 왜 그 결과를 만들어냈는지는 밝혀내지 못할 수 있습니다. 이러한 구분은 외부 피드백이 누적되는 동안 코드, 설정 및 산출물이 지속적으로 변화하는 프로덕션 머신러닝 시스템에서 중요합니다. 본 연구에서는 인간이 지휘하고 에이전트(agent)가 구축한 퀀트 트레이딩 시스템을 통해 이를 조사하며, 여기서 '오라클(oracle)'은 완전한 정확성 명세가 아닌 실현된 결과의 외부 원천을 의미합니다. 1년 동안 계좌는 수익을 기록하며 광범위한 시장 지수를 상회했으나, 주요 사후 명세 기준 연간 알파는 통계적으로 0과 구별되지 않았습니다. 사후적으로 선택된 하위 기간에는 불리한 상대적 성과 및 선언된 근사 기준 하에서의 조건부 후보군 수준 약세가 포함됩니다. 엔지니어링 기록은 해당 기간 동안의 변경 사항을 문서화하고 있으나, 추천과 런타임 간의 완전한 바인딩은 제공되지 않습니다. 아카이브는 단일한 고정 인스턴스나 고유한 원인을 규명하지 못합니다. 이 사례는 결과-진단 격차(outcome--diagnosis gap)를 야기합니다. 즉, 결과 증거, 평가 대상의 식별성, 인과적 설명은 서로 다른 주장을 뒷받침합니다. 본 논문에서는 고정 인스턴스, 사전 지정된 적응형 절차, 임시 개발을 구별하고, 아카이브 상대적 주장 식별성과 증거 위계를 정리하며, 전향적 프로덕션 바인딩 프로토콜을 제안합니다. 호환 가능한 이력을 보여주는 예시는 사실적 바인딩이 추천의 지시 대상을 해결할 수 있으면서도 반사실적 효과까지 제공하지는 못함을 보여줍니다. 해당 프로토콜은 전향적으로 검증된 것이 아니라 제안된 것입니다. 외부 피드백은 결과에 대한 주장을 제약하는 반면, 출처(provenance)와 추가적인 식별 구조가 진단의 해상도를 결정합니다.

arXiv:2604.11477v2cs.AI

OOM-RL: LLM 기반 다중 에이전트 시스템을 위한 시장 주도 정렬 기반 자금 고갈 강화학습

OOM-RL: Out-of-Money Reinforcement Learning Market-Driven Alignment for LLM-Based Multi-Agent Systems

자율 소프트웨어 엔지니어링을 위한 다중 에이전트(MAS) 시스템의 정렬(alignment)은 평가자의 인식론적 불확실성에 의해 제약을 받습니다. 인간 피드백 강화학습(RLHF) 및 AI 피드백 강화학습(RLAIF)과 같은 기존 패러다임은 빈번하게 모델의 아첨(sycophancy)을 유발하며, 실행 기반 환경은 통제되지 않은 에이전트의 적대적 "테스트 회피(Test Evasion)" 문제로 어려움을 겪습니다. 본 논문에서는 객관적 정렬 패러다임인 자금 고갈 강화학습(OOM-RL, Out-of-Money Reinforcement Learning)을 소개합니다. 실거래 금융 시장의 비정상적(non-stationary)이고 마찰이 큰 현실에 에이전트를 배치함으로써, 중대한 자본 고갈을 외부에서 부여되는 음의 그래디언트로 활용합니다. 20개월에 걸친 종단적 실증 연구를 통해 시스템이 높은 회전율과 아첨 성향을 보이는 기준선(baseline) 모델에서 견고하고 유동성을 인식하는 아키텍처로 진화하는 과정을 기록합니다. 실제 체결 비용, 슬리피지, 자본 고갈과 같은 금융 손실의 경제적 결과가 내부 평가만으로는 드러나지 않던 실패 모드를 노출시켰음을 보이며, 이는 이후 결정론적으로 검증된 95% 이상의 코드 커버리지 제약 매트릭스에 고정된 비잔틴 장애 허용 착안 단방향 상태 잠금(RO-Lock) 기반의 엄격한 테스트 주도 에이전트 워크플로(STDAW)로 공식화된 아키텍처 및 거버넌스 변화를 이끌어냈습니다. 마지막 94 거래일의 관측 기간 동안, 실제 프로덕션 시스템은 약 2.06의 연율화 샤프 지수를 포함하여 향상된 체결 인식 성능을 나타냈습니다. 이러한 금융 성과는 관측적이며 시간적으로 한정된 결과로, 지속적인 투자 초과수익(alpha)의 증거나 STDAW 기여도에 대한 인과적 추정치로 해석되어서는 안 됩니다. 본 연구의 주요 기여는 외부에서 부과된 경제적 결과를 에이전트 개발에 대한 인식론적 제약으로 활용하여, 현실 세계의 자원 고갈이 객관적인 물리적 제약으로 작용하는 일반화된 패러다임의 토대를 마련한 데 있습니다.