Grounded autonomous research: a fault-tolerant LLM pipeline from corpus to manuscript in frontier computational physics
원문 초록
Autonomous-research agents have demonstrated end-to-end LLM automation in machine-learning sandboxes where execution provides calibration. Frontier physical science differs categorically: physical reasoning underlies every methodology choice, toolchains are often underdocumented, and calibration must come from external literature anchors - which unscaffolded agents cite but do not confront, hallucinating plausible, unverifiable results from internal priors. We present a pipeline that runs end-to-end from a corpus of 11,083 recent condensed-matter physics arXiv papers to a publication-grade manuscript with three substantive physics findings (here on altermagnetic piezomagnetism): the agent autonomously conceives a research direction by mapping the corpus, calibrates methodology by reproducing published references, conducts novel first-principles computations, and writes the manuscript - grounded in literature throughout, across 47 fresh-context sessions in six phases sharing only on-disk state, with 2,162 literature-consultation events. Fault tolerance emerges from redundancy: fresh-context isolation, distributed grounding, and adversarial review catch what any single session misses; pre- and post-pilot stages are fully autonomous, and pilot requires bounded human intervention only at reproduction failures - operational knowledge curation, not scientific direction. Two paired failure modes - a pre-architecture baseline and a no-pilot ablation - isolate structurally enforced numerical confrontation at calibration checkpoints as the operative grounding mechanism. The primitives, characterized failure modes, and quantified intervention pattern lay a foundation for autonomous research in high-stakes scientific domains beyond computational physics.
요약
11,083편의 응집물질물리학 arXiv 논문 코퍼스에서 출발해 출판 수준의 원고를 자동 생성하는 대규모 언어 모델(LLM) 파이프라인을 제시하며, 에이전트가 연구 방향 구상, 출판된 참고문헌 재현을 통한 방법론 보정, 새로운 제일원리(first-principles) 계산 수행, 원고 작성을 순차적으로 자율 수행한다. 환각 문제를 해결하기 위해 문헌 앵커에 대한 수치적 대면을 구조적으로 강제하는 보정 체크포인트를 핵심 그라운딩(grounding) 메커니즘으로 도입하였으며, 신선한 컨텍스트 격리·분산 그라운딩·대립적 검토로 구성된 내결함성(fault-tolerant) 설계를 통해 교번자성(altermagnetism) 압자기(piezomagnetism) 분야에서 3가지 실질적인 물리 발견을 담은 원고를 생성하는 데 성공하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02329v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구
Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory
저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.
빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선
Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning
개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.
임상적 예후 예측을 위한 이종 근거 통합 기반 검색 증강 다중 모달 언어 모델
Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis
임상적 예후 예측은 정형 측정치, 생체 신호 파형, 시계열적 과거 이력, 그리고 환자군 맥락의 통합을 필요로 한다. 본 연구에서는 특징(feature)별 수치 토큰화(tokenization), 시계열 심전도(ECG)의 최신성 가중 집계, 이중 모달 환자군 메모리 뱅크를 결합한 다중 모달 언어 모델(language model)인 PRISM(Population-Retrieved Inference for Structured Multimodal Prognosis)을 소개한다. 검색은 표현 공간에서 수행된다. 즉, 모델(model)은 유사한 학습(training) 코호트 진료의 평균 풀링(mean-pooled) 임베딩을 전달받으며, 검색된 개별 기록은 프롬프트(prompt)에 직접 입력되지 않는다. 1,443개 태스크로 구성된 MDS-ED 벤치마크에서 PRISM은 진단 86.2%, 악화 93.1%, 중환자실(ICU) 입원 91.8%, 사망률 92.8%의 AUROC를 달성한다. 이 결과는 기존 베이스라인에서는 사용할 수 없었던 내원 전 96시간 윈도우를 활용한 것이다. 벤치마크 표준 윈도우 입력만 사용했을 때 PRISM은 0.8895의 AUROC를 기록하며, 이는 UniPACT의 0.8937 및 MDS-ED의 0.8889와 비견된다. 동일한 5개 근거 스트림과 고정된(frozen) 인코더를 사용하는 입력 매칭 컴팩트 융합 모델이 0.7652 AUROC를 달성한 것에 비해 PRISM은 0.9092를 달성한다. 수치형 전자건강기록(EHR) 인코딩을 텍스트 직렬화로 대체하면 AUROC가 3.66포인트 감소하고, 내원 전 이력을 제거하면 1.97포인트 감소하며, 검색을 제거(zeroing)하면 0.99포인트 감소한다. 실제 검색은 무작위 이웃 검색 대비 매크로 평균 0.97포인트 앞서지만, 대응 태스크 수준 부호 검정에서는 일관된 우위를 확립하지 못했다(p=0.067). 외부 MC-MED 코호트에서 지도 미세조정(supervised fine-tuning)은 0.8611 AUROC를 기록하여, 로컬에서 학습된 그래디언트(gradient) 부스팅의 0.8227 및 소스 코호트 전용 PRISM의 0.7841보다 우수했다. 이러한 결과는 구조 인지적 다중 모달 통합 및 지도 외부 적응의 효용을 뒷받침한다.
SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.
구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색
Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph
의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.
LLM 질의 확장을 위한 부분열-연관성 필터링과 범위 인지 선택을 통한 환각 용어 추적 및 제어
Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
대규모 언어 모델(LLM)은 이제 질의 확장 용어의 표준적인 소스가 되었지만, 환각(hallucination)을 일으킨다. LLM은 존재하지 않는 개체와 주제에서 벗어난 용어를 삽입하여 순위화 노이즈를 추가하고 강력한 검색기(retriever)의 성능을 저해할 수 있다. 코퍼스 그라운딩(corpus grounding), 상호 검증(mutual verification), 선호도 정렬(preference alignment)과 같은 기존의 해결책들은 환각된 용어를 일치성 휴리스틱으로 걸러내야 할 미분화된 골칫거리로 취급하며, 특정 용어가 왜 나타나는지에 대한 메커니즘적 설명이나 몇 개의 용어를 유지해야 하는지에 대한 원칙적인 기준을 제시하지 않는다. 우리는 환각의 부분열-연관성(subsequence-association) 설명에 기반한, 학습이 필요 없고(training-free) 검색기에 구애받지 않는(retriever-agnostic) 방법인 부분열-연관성 필터링 기반 범위 인지 질의 확장(Subsequence-Association Filtered, breadth-aware query expansion, SAFE-QE)을 제안한다. 우리는 각 후보 확장 용어를 코퍼스 조건부 교차 문맥(cross-context) 재현성으로 점수화하며, 무작위화된 질의 맥락에서는 반복적으로 나타나지만 유사 관련 집합(pseudo-relevant set)에서는 근거가 부족한 용어는 지배적인 환각 연관성의 산물로 표시되어 가중치가 낮아진다. 언어 생성을 일관성(consistency, 환각 없음)과 범위(breadth, 커버리지) 사이의 트레이드오프로 특성화한 것에 기반하여, 우리는 용어 선택을 유사 관련 집합에 대한 제약된 커버리지 최대화 문제로 설정하며, 재샘플링에도 대략적으로 넓으면서도 일관되고 안정적인 집합을 유지한다. 또한 우리는 관련 문서가 뒷받침하지 않는 삽입된 확장 용어의 수를 세는 질의 측 충실도(faithfulness) 지표인 환각 확장 용어율(Hallucinated Expansion Term Rate)을 도입한다. 우리는 벤치마크된 TREC 및 BEIR 컬렉션에서 우리의 접근법을 평가한다. 우리의 SAFE-QE는 nDCG@10에서 생성적 확장 및 코퍼스 유도 확장과 통계적으로 구별되지 않으면서, 질의당 지지되지 않는 용어는 더 적게 삽입하며(SAFE-QE 4.3개 대 Query2doc 27.8개, HyDE 57.5개), 모든 확장 방법이 성능 저하를 보이는 강력한 학습된 희소 검색기(learned sparse retriever)에서도 마찬가지이다. 따라서 충실도는 순위화 품질에서 측정 가능한 비용 없이 얻을 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.