Apodex Discovery: 탐구형 인공지능 구축 및 평가를 위한 현실 벤치마크와 환경
Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence
한국어 초록
아폴로 계획이 달에 도달할 수 있었던 것은 단순히 엔지니어들이 어려운 방정식을 풀 수 있었기 때문만이 아닙니다. 아폴로 계획은 아득한 포부를 명시적인 목표, 시뮬레이션, 검증, 그리고 반복적인 수정으로 이루어진 임무 아키텍처로 전환함으로써 성공을 거두었습니다. 인공지능(AI) 또한 이와 유사한 전환기에 직면해 있습니다. 최첨단 프론티어 모델은 문제, 도구, 성공 기준이 구체적으로 주어지면 어려운 과제를 해결할 수 있지만, 중대한 현실 세계의 난제들은 실행 가능하거나 검증 가능한 형태로 주어지는 경우가 거의 없습니다. 본 논문에서는 장기적이고 상태 기반(stateful)이며 검증 가능한 탐구를 수행하는 기반 모델(foundation model), 하네스, 도구, 제어 정책으로 구성된 시스템인 헤비듀티 솔버(heavy-duty solver)를 통해 탐구형 AI를 구축하고 평가하는 프레임워크인 Apodex Discovery를 소개합니다. 이는 세 가지 핵심 구성 요소를 갖추고 있습니다. 첫째, 문제 탐색(problem-scouting) 과정을 통해 16개 부문 전반의 561개 산업을 조사하고, 가치가 높은 현실 세계의 문제 423개를 취합한 후 초기 릴리스를 위해 20개를 선정했습니다. 둘째, 공통의 환경-과제-에피소드 추상화는 데이터, 도구, 제약 조건, 피드백, 궤적 기록, 그리고 중간 산출물과 최종 제출물에 대한 검증을 제공합니다. 셋째, HDS6는 최종 과제 성공 여부와 무관하게 도구(Tools), 복구(Repair), 대안(Alternatives), 일관성(Coherence), 증거(Evidence), 범위(Scope)를 평가합니다. AAV 캡시드 설계에서 Apodex는 생존력(viability), 지향성(tropism), 구조 예측, 생성적 설계 전반에 걸쳐 기존에 발표된 최고 성능(SOTA)을 7% 넘어섰습니다. 신약 재창출 및 재제형화에서 과제 특화된 생물의학 환경은 동일한 클로즈드북(closed-book) 백본 대비 GPT-5.5 및 GPT-5.6-sol의 평균 정규화 예측 점수를 각각 2.5점과 7.6점 향상시켰습니다. 통제된 소거 연구(ablation study)는 고정된 TRACES 에피소드 인터페이스가 성능 차이의 원인을 특정 솔버 구성 요소로 귀인할 수 있게 함을 보여줍니다. Apodex Discovery는 AI 평가를 사전에 정의된 벤치마크를 넘어 진정한 발견을 목표로 하는 검증 가능한 탐구로 확장합니다.
원문 초록
Apollo did not reach the Moon merely because its engineers could solve difficult equations. It succeeded by turning a distant ambition into a mission architecture of explicit objectives, simulation, verification, and repeated correction. AI now faces a similar transition: frontier models can solve difficult tasks once the problem, tools, and success criteria are specified, yet consequential real-world challenges rarely arrive in an executable or verifiable form. We introduce Apodex Discovery, a framework for building and evaluating discoverative AI through the heavy-duty solver, a system comprising a foundation model, harness, tools, and control policies that pursues extended, stateful, verifiable investigations. It has three core components. First, a problem-scouting process surveyed 561 industries across 16 sectors, assembled 423 high-value real-world problems, and selected 20 for the initial release. Second, a common environment-task-episode abstraction provides data, tools, constraints, feedback, trajectory recording, and verification of intermediate artifacts and final submissions. Third, HDS6 evaluates Tools, Repair, Alternatives, Coherence, Evidence, and Scope independently of final-task success. In AAV capsid design, Apodex surpassed the published state of the art by 7% across viability, tropism, structure prediction, and generative design. In drug repurposing and reformulation, a task-specific biomedical environment improved the mean normalized prediction score of GPT-5.5 and GPT-5.6-sol by 2.5 and 7.6 points over the same closed-book backbone. Controlled ablations show that the fixed TRACES episode interface enables attribution of performance differences to specific solver components. Apodex Discovery moves AI evaluation beyond predefined benchmarks toward verifiable investigations aimed at genuine discovery.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.11341v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.