arXiv:2606.11897v1 cs.CL

Notes2Skills: 실험 노트북에서 확실성 인식 과학적 에이전트 스킬로

Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills

Shi Liu, Jiayao Chen, Chengwei Qin, Yanqing Hu, Jufan Zhang, Linyi Yang

제출 2026-06-10

한국어 초록

과학적 발견 워크플로우(scientific discovery workflows)는 일반적으로 연구자가 관찰 결과를 기록하고, 불확실한 결과를 해석하며, 후속 실험을 계획하는 실험 노트(lab notes)를 포함하고 이에 크게 의존합니다. 이러한 유익한 실험 노트는 출판물에 전시된 다듬어진 최종 결과가 아닌, 발전하는 과학적 추론과 저자의 불확실성을 보존하므로, AI가 더 포괄적이고 깊은 수준에서 과학적 탐험(scientific exploration)에 참여할 수 있는 귀중한 기회를 제공합니다. 그러나 과학적 텍스트에 대한 대부분의 기존 연구는 논문, 프로토콜, 또는 구조화된 데이터베이스에 초점을 맞추고 있어, 과학용 AI 에이전트(AI agents for science)의 입력으로서 비공식 실험실 노트는 충분히 탐구되지 않았습니다. 이러한 격차가 중요한 이유는 실험 노트가 동일한 문단 내에서 검증된 관찰 결과, 잠정적인 판단, 그리고 가능한 다음 실험 단계를 혼재하는 경우가 많기 때문입니다. 이러한 신호들이 혼동될 경우, AI 에이전트는 불확실한 과학적 판단을 확정된 결론이나 실행 가능한 행동으로 오인할 수 있습니다. 이를 위해, 저자의 확실성을 보존하면서 실험 노트북을 과학적 AI 에이전트를 위한 검증 가능한 스킬로 변환하는 2단계 프레임워크인 Notes2Skills를 제안합니다. 7가지 조건과 3번의 습식 실험(wet-lab) 세션에 걸쳐, Notes2Skills는 불확실한 노트를 확고한 지침으로 오인하지도 않고 확고한 노트를 버리지도 않는 유일한 구성입니다. 우리는 확실성 보존이 실험 노트북과 신뢰할 수 있는 에이전트 스킬 사이의 누락된 요소임을 보여주며, 이는 더 안전한 AI 공동 과학자 시스템으로 가는 길을 엽니다.

원문 초록

Scientific discovery workflows usually contain and rely heavily on lab notes, where researchers record observations, interpret uncertain results, and plan follow-up experiments. Such informative lab notes preserve evolving scientific reasoning and author uncertainty, rather than polished final results exhibited in publications, providing a valuable opportunity for AI to engage in scientific exploration at a more comprehensive and deeper level. However, most prior work on scientific text focuses on papers, protocols, or structured databases, leaving informal laboratory notes underexplored as inputs to AI agents for science. This gap matters because lab notes often intermingle validated observations, tentative judgments, and possible experimental next steps within the same passage. If these signals are conflated, an AI agent may mistake uncertain scientific judgments for confirmed conclusions or executable actions. To this end, we present Notes2Skills, a two-stage framework for turning lab notebooks into verifiable skills for scientific AI agents while preserving the author's certainty. Across seven conditions and three wet-lab sessions, Notes2Skills is the only configuration that neither mistakes uncertain notes for firm instructions nor discards firm ones. We show that certainty preservation is the missing piece between lab notebooks and reliable agent skills, opening a path toward safer AI co-scientist systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11897v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15840v1cs.LG공통 태그 Large Language Model, In-Context Learning

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.15882v1cs.AI공통 태그 Large Language Model, In-Context Learning

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2610.13411v1cs.LG공통 태그 Uncertainty Quantification, In-Context Learning

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

arXiv:2610.13485v1cs.CL공통 태그 Large Language Model, In-Context Learning

능동적 에이전트 오케스트레이션

Proactive Agentic Orchestration

에이전트 오케스트레이션(agentic orchestration)은 독립된 컨텍스트를 가진 서브 에이전트(sub-agent)들에게 작업을 위임함으로써 대규모 언어 모델(LLM) 에이전트의 유효 실행 범위를 확장하는 핵심적인 방안을 제공합니다. 그러나 기존 오케스트레이션 방식은 두 가지 한계에 직면해 있습니다. 실행 측면에서는 서브 에이전트 생성 시점에 목표와 하네스(harness)가 고정되어 동적인 실제 환경에 대한 적응력이 제한되며, 최적화(optimization) 측면에서는 희소하고 지연된 피드백으로 인해 오케스트레이션 정책의 효과적인 학습이 저해됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 온더플라이(on-the-fly) 능동적 에이전트 오케스트레이션 프레임워크인 POrchestra를 제안합니다. POrchestra는 서브 에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터와 능동적으로 소통하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브 에이전트가 동적 환경에 매끄럽게 적응할 수 있도록 지원할 뿐만 아니라, 사후 피드백(hindsight feedback) 기반의 온-정책 오케스트레이션 증류(OPOD)를 자연스럽게 이끌어냅니다. OPOD는 서브 에이전트의 능동적 수정 요청을 이전 오케스트레이션 결정에 귀인하여 타겟 개선 신호를 도출하고, 최종 보상과 함께 이러한 신호를 프로세스 지도(process supervision)로 활용하여 오케스트레이션 정책을 최적화합니다. 심층 연구, 동적 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 과제(long-horizon) 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 기준선 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 기준선 대비 소형 오케스트레이터의 성공률을 평균 10.0% 향상시켰습니다. 또한 POrchestra는 더 유리한 비용 대비 성능 트레이드오프를 달성합니다. 코드베이스는 https://github.com/XueyangFeng/POrchestra 에서 공개되어 있습니다.

arXiv:2610.13764v1stat.ML공통 태그 Uncertainty Quantification, In-Context Learning

사전 데이터 적합 네트워크는 베이지안 추론을 얼마나 잘 상각하는가?

How Well Do Prior-Data Fitted Networks Amortize Bayesian Inference?

사전 데이터 적합 네트워크(PFN)는 합성 사전 분포의 베이지안 사후 예측 분포(PPD)를 근사하도록 학습되지만, 근사 품질에 대한 연구 결과는 놀라울 정도로 부족합니다. 경험적 위험 최소화 관점을 취하여, 본 연구는 PFN의 배포 오차를 사전 분포 오차, 컨텍스트 오차, 상각 오차로 분해하고, 현실적인 사전 분포 하에서 기준 PPD와 비교하여 상각 오차를 측정합니다. 실험 결과, PFN은 대체로 목표 PPD를 매우 잘 복원하는 것으로 나타났습니다. 그럼에도 불구하고, 사전 사전학습 분포 하의 희귀한 설정에서는 모델 크기를 스케일링할 때조차 잔여 상각 오차의 일부가 지속됨을 발견했습니다. 이는 독립적으로 사전학습된 PFN 간의 불일치로 나타나며, 추론 시 예측기에 대한 불확실성을 남깁니다. 이에 대한 해결책으로 여러 유형의 베이지안 모델 평균을 연구하였으며, 이를 통해 이러한 불확실성을 일관되게 줄이고 풀사이즈 TabICLv2 모델에 이르기까지 예측을 개선할 수 있음을 확인했습니다.

arXiv:2610.13823v1cs.DB공통 태그 Uncertainty Quantification, Large Language Model

같은 쿼리, 다른 답변: 시맨틱 쿼리 처리에서의 실행 간 변동성

Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing

시맨틱 쿼리 엔진은 대규모 언어 모델(LLM)에 개별 행을 판단하도록 요청하며, 벤치마크는 온도(temperature) 0에서 몇 차례 실행한 품질을 바탕으로 이러한 엔진들을 비교합니다. 본 연구에서는 또 다른 실행에서 결과가 얼마나 달라지는지 측정합니다. 우리는 SemBench, LRO-Bench, UDA-Bench의 텍스트 및 테이블 워크로드를 각 벤치마크의 하네스를 통해 재실행하여 120만 건의 모델 호출을 모두 기록하고, SemBench의 공개된 실행 결과를 재분석했습니다. 온도 0에서도 5회 실행 동안 모델에 따라 0.07%에서 10.2%의 행이 연산자 출력을 변경했으며, 특정 태스크에서는 최대 24.0%에 달했습니다. 가능 세계 모델(possible-worlds model)이 예측하듯이, 쿼리 플랜은 답변이 노출하는 행의 수에 따라 이러한 변화를 지수적으로 증폭시킵니다. UDA-Bench에서는 추출된 값 중 소수 퍼센트만 변경되었음에도 답변의 약 3분의 2가 변경되었습니다. SemBench의 공개 결과에서는 결정론적 플랜을 사용하는 엔진을 포함하여 텍스트 결과의 21%가 실행 간에 품질 변화를 보였습니다. 쿼리별 시스템 비교 다수와 LRO-Bench의 구현 권장사항 테스트 28개 중 16개는 벤치마크가 수행한 실행만으로는 결론을 내릴 수 없었습니다. 변경되는 행은 모델 간에 서로 의견이 일치하지 않는 행이며, 단일 실행 내의 동일한 요청 간 불일치 빈도는 서로 다른 실행 간의 불일치 빈도만큼이나 잦았습니다. 또한 단일 실행의 결정 마진(decision margin)이나 추론 길이를 통해 어떤 행이 변경될지 예측할 수 있습니다. 보팅(voting)은 분산을 줄이지만 완전히 제거하지는 못하며, 보정된 캐스케이드(calibrated cascade)는 반환하는 행이 변경되는 와중에도 보장성을 유지합니다. 우리는 이를 바탕으로 벤치마크를 위한 보고 규칙과 엔진을 위한 설계 규칙을 도출합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.