직업별로 상세화된 시스템 프롬프트(system prompt)는 일관된 정확도 향상 없이 응답당 토큰(token) 사용량과 예상 비용을 증가시킨다. 본 연구에서는 Pi 에이전트(agent) 환경 내 OpenRouter를 통한 Gemini 3.8 Flash를 활용하여 503개의 직업별 AGENTS.md 프로필로 구성된 오픈소스 말뭉치인 Scientific Agents를 평가한다. 매칭된 프로필을 최소 기준선("You are a helpful assistant"), 프로필의 시작 역할 문장, 일반적인 과학적 엄밀성 가이드, 관련 없는 도메인의 프로필이라는 네 가지 대조군과 비교한다. 9개의 텍스트 기반 과학 벤치마크(4,531개 표본 문항, 100개 매칭 프로필)에 걸쳐, API 오류 재시도 후 4,488개 항목이 5개 조건 모두를 완료하였으며 자동화된 규칙 기반 채점으로 평가되었다. 프로필과 기준선(baseline) 간의 평균 정확도 차이는 -0.6%p(고정 작업 전반에 걸친 95% 부트스트랩 신뢰구간 [-1.5, +0.2])였으며, 통계적으로 명확한 향상을 보인 벤치마크는 없었다. 매칭된 프로필은 1.5~2.3배 더 많은 출력 토큰을 생성했고 성공적인 호출당 2.2~4.5배 더 많은 비용이 들었다. 도구를 사용하는 60개의 BioMysteryBench 생물정보학 문제(기준선과 프로필 각각 3회 실행)에서 평균 해결률은 프로필 사용 시 46.7%, 기준선에서 56.7%로 -10.0%p의 차이(95% 신뢰구간 [-16.7, -3.3])를 보였으며, 이는 프로필 조건에서 더 빈번하게 발생한 토큰 및 시간 제한 중단에 기인했다. 더 긴 프롬프트는 한 가지 예상치 못한 운영상의 이점을 보였는데, SuperGPQA에서 빈번한 제공업체 API 누락으로 인해 짧은 기준선의 1차 통과 정답률이 54.0%에 불과했던 반면 프로필 조건에서는 71.6%였다. 일반 프롬프트와 불일치 프롬프트도 비슷한 신뢰도를 보였으므로, 이러한 이점은 도메인 전문성보다는 프롬프트 길이나 서식에서 비롯된다. 테스트된 모델(model)과 작업 전반에서 전체 직업 프로필을 기본값으로 로드하는 것은 정확도를 향상시키지 않으면서 비용을 상당히 증가시킨다. 프로필 섹션의 선택적 검색이나 개방형 과학 작업이 이를 변화시킬 수 있는지는 향후 검증 과제로 남아 있다.
과학 에이전트(scientific agents)는 주로 과제 완료 여부나 알려진 결과 재현 여부로 평가되지만, 본 연구는 반복된 개방형(open-ended) 캠페인 간 변이를 조사한다. 동일한 모델-하니스(model-harness) 구성으로 각각 독립 초기화된 16개 세션에 12,499개 금속-유기 골격(metal-organic frameworks)의 고정(frozen) 데이터베이스, 메탄 저장(methane-storage) 목표, 고정(pinned) 프로토콜, 1주 예산이 주어졌다. 전략은 100~5,000개를 스크리닝한 구조 범위를 아우르는 네 가지 접근으로 갈라졌고, 여덟 세션은 2,253개의 가설(hypothetical) 구조를 생성했다. 그럼에도 에이전트들은 약 200 cm^3/cm^3 부근의 동일한 재료 프론티어(materials frontier)를 회복했으며, 데이터베이스 다공(porous) 영역에 대한 독립 계산은 최상위 9개 구조가 모두 그들의 보고에 포함됨을 확인했다. 절반의 에이전트에 강제 검증(enforced checks)을 적용하면 신규 실행(fresh-run) 재현이 8개 중 1개에서 8개 중 8개로 늘었으나 결론 타당성(conclusion validity)은 눈에 띄게 개선되지 않았다. 16개 중 15개 에이전트가 동일한 감사 제외(audit-excluded) 항목, 즉 누락된 음이온(anion)이 인공적인 기공 부피(pore volume)를 만든 불완전 구조를 선택했기 때문이다. 따라서 복제(replicated) 에이전트는 견고한(robust) 결론과 공유 입력(shared inputs)에서 비롯된 공통 모드(common-mode) 오류를 함께 드러낸다.
과학 에이전트는 검색, 질의응답, 근거 기반 생성, 주장 평가 등 문헌 기반 연구 태스크를 폭넓게 지원한다. 그러나 대부분의 기존 시스템은 개별 태스크 중심으로 구성되어, 동일한 논문을 반복적으로 검색·분할·해석하고 한 태스크에서 쌓인 이해를 다음 태스크에서 재사용하기 어렵다. 본 논문은 ScholarStack을 제안한다. 이는 논문 집합을 세 가지 상보적 수준에서 재사용 가능하고 버전 관리되며 출처가 보존된 자산으로 컴파일하는 계층형 연구 자산 프레임워크이다: 출처에 근거한 논문 수준 진술, 도메인 수준 조직, 근거 기반 교차 논문 종합. 공통 접근 인터페이스는 각 태스크가 요구하는 증거 세분성에서 태스크별 뷰를 반환하며, 연구 조건, 출처 추적 가능성, 검증 상태를 보존한다. 프레임워크를 열 가지 태스크 설정에 걸친 네 가지 태스크 패밀리에 구현하고, 컴파일된 자산을 사용하는 에이전트를 동일 베이스 모델 하의 태스크별 베이스라인과 비교한다. 품질 향상은 다중 논문 질의응답 및 문헌 리뷰 생성처럼 교차 논문 증거가 필요한 태스크에 집중되며, 측정된 모든 태스크에서 쿼리 시점 토큰 비용은 감소하고, 자산은 한 번 컴파일되어 태스크 전반에 재사용된다. 이 결과는 계층형 연구 자산이 과학 에이전트의 공유 인프라로 기능할 수 있음을 시사하며, 문헌 기반 지원을 고립된 문서 처리에서 누적적·근거 기반 워크플로로 전환할 수 있음을 보여준다.
원자론적 시뮬레이션은 재료 설계의 핵심이지만, 실행에는 상당한 인간 전문성을 요구하는 복잡한 다단계 워크플로가 포함된다. 본 연구에서는 URSA(Universal Research and Scientific Agent) 프레임워크에 내장된 에이전트 기반 시스템을 제시하며, 이는 Large-scale Atomic/Molecular Massively Parallel Simulator(LAMMPS) 도구를 사용하여 시연된 원자론적 시뮬레이션의 설계, 실행, 검증을 자동화한다. 우리 시스템은 원자간 퍼텐셜(interatomic potentials)을 자율적으로 선택하고, 시뮬레이션을 구성 및 실행하며, 폐루프(closed-loop) 워크플로 내에서 반복적 오류 복구를 수행한다. LAMMPS 및 Vienna Ab initio Simulation Package(VASP) 계산을 위한 고처리량(high-throughput) 툴킷인 LAVA의 결과와 벤치마킹하여 에이전트의 과학적 신뢰성을 평가한다. 우리 프레임워크는 수동 개입과 시행착오를 줄여, 원자론적 모델링의 엄밀성, 재현성, 확장성을 향상시킨다.
과학적 발견 워크플로우(scientific discovery workflows)는 일반적으로 연구자가 관찰 결과를 기록하고, 불확실한 결과를 해석하며, 후속 실험을 계획하는 실험 노트(lab notes)를 포함하고 이에 크게 의존합니다. 이러한 유익한 실험 노트는 출판물에 전시된 다듬어진 최종 결과가 아닌, 발전하는 과학적 추론과 저자의 불확실성을 보존하므로, AI가 더 포괄적이고 깊은 수준에서 과학적 탐험(scientific exploration)에 참여할 수 있는 귀중한 기회를 제공합니다. 그러나 과학적 텍스트에 대한 대부분의 기존 연구는 논문, 프로토콜, 또는 구조화된 데이터베이스에 초점을 맞추고 있어, 과학용 AI 에이전트(AI agents for science)의 입력으로서 비공식 실험실 노트는 충분히 탐구되지 않았습니다. 이러한 격차가 중요한 이유는 실험 노트가 동일한 문단 내에서 검증된 관찰 결과, 잠정적인 판단, 그리고 가능한 다음 실험 단계를 혼재하는 경우가 많기 때문입니다. 이러한 신호들이 혼동될 경우, AI 에이전트는 불확실한 과학적 판단을 확정된 결론이나 실행 가능한 행동으로 오인할 수 있습니다. 이를 위해, 저자의 확실성을 보존하면서 실험 노트북을 과학적 AI 에이전트를 위한 검증 가능한 스킬로 변환하는 2단계 프레임워크인 Notes2Skills를 제안합니다. 7가지 조건과 3번의 습식 실험(wet-lab) 세션에 걸쳐, Notes2Skills는 불확실한 노트를 확고한 지침으로 오인하지도 않고 확고한 노트를 버리지도 않는 유일한 구성입니다. 우리는 확실성 보존이 실험 노트북과 신뢰할 수 있는 에이전트 스킬 사이의 누락된 요소임을 보여주며, 이는 더 안전한 AI 공동 과학자 시스템으로 가는 길을 엽니다.