PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02525v1cs.AI

다음에 무엇을 탐구할지 학습하기: 장기 연구 에이전트를 위한 메타 추론

Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents

장기(long-horizon) 연구 에이전트(agent)는 증거가 축적됨에 따라 어떻게 탐구할지뿐만 아니라 다음에 무엇을 탐구할지도 결정해야 합니다. 이러한 결정은 긴 실행 궤적(execution trace) 내에서 드물게 발생하며, 그 결과가 여러 차례의 탐구 이후에 나타날 수 있기 때문에 학습하기 어렵습니다. 본 논문에서는 연구 자원 배분과 실행을 분리하는 계층적 아키텍처인 반복 연구 에이전트를 위한 메타 추론(Meta-reasoning for Iterative Research Agents, MIRA)을 소개합니다. 외부 루프(outer-loop) 메타 추론기는 영구 연구 기록에서 컨텍스트를 큐레이션한 다음, 다음 탐구를 위한 작업 지시서를 작성하거나 에피소드를 종료합니다. 새로운 내부 루프(inner-loop) 실행기는 각 작업 지시서를 수행하여 실행을 메타 추론 행동 간의 전이 과정 일부로 만듭니다. 정책 학습(policy training) 없이도 MIRA는 장기 추론(inference)을 개선하고 정리 증명 및 개방형 신경망 아키텍처 연구에서 추가 연산량을 더 효과적으로 배분합니다. 또한 MIRA의 결정 경계는 신용 할당(credit assignment)을 위한 자연스러운 단위를 제공합니다. 각 경계에서 부분 상태(partial state)로부터 예상 잔여 보상을 예측하도록 생성형 크리틱(generative critic)을 학습시켜 토큰(token) 수준의 대안들보다 우수한 성능을 보였습니다. 교차 환경 사전학습은 예측과 적응을 개선하여 부분적 진행 상황의 가치를 평가하기 위한 전이 가능한 사전 분포(prior)를 산출합니다. 이 사전 분포를 활용하여 별도의 크리틱 모델 없이 잔여 보상을 예측하고 다음 탐구를 선택하도록 공동 학습되는 생성형 액터-크리틱(actor-critic)인 MIRA-AC를 초기화합니다. MIRA-AC는 정책 최적화를 메타 추론 결정에 집중시켜, 이들이 시작하는 더 긴 실행 궤적을 직접 최적화하지 않고도 효율적인 장기 강화학습(reinforcement learning)을 가능하게 합니다. 모델 자체의 프록시 힐클라이밍(hill-climbing) 신호로 MIRA-AC를 학습시키면 4개의 자동 연구(autoresearch) 환경 전반에서 골드 성능이 향상되며, 액터는 교차 환경 가치 초기화(initialization)를 통해 전이됩니다. 종합적으로, 이러한 결과들은 장기 자율 연구를 지휘하기 위한 명시적 정책으로서 메타 추론을 학습할 수 있음을 보여줍니다.

arXiv:2610.00314v1cs.AI

예측 기여도: 과학적 설명이 실험 예측에 더하는 가치 측정

Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts

연구 에이전트(agent)는 계획된 실험을 설명합니다. 본 연구에서는 중재, 예측 모델, 결과를 공유하면서 설명(description), 매칭된 설명(matched explanation), 기증자 맥락(donor context)을 달리하는 쌍체 예측을 통해 예측 기여도(predictive credit)를 측정합니다. 다섯 가지 검증을 통해 공약(commitment), 전달(delivery), 예측 이득(predictive gain), 정렬(alignment), 기지 신호 수용(known-signal uptake)을 추적합니다. 통제된 학습 환경의 336개 전향적 상태, 12개 Tox21 엔드포인트, 24개 OpenML 태스크 전반에 걸쳐 v5의 동결된 기여도 판정은 결정적이지 않았습니다. 사전 등록된 Tox21의 ROC AUC 구간 점수 유해성 테스트는 충족되지 않았으며($D-M=-.0026$, 95% 신뢰구간 [$-.0174$, .0104]), OpenML의 결합 형성, 점 동등성 및 반복성 규칙 역시 충족되지 않았습니다. 설명 대비 매칭된 점 정확도(point-accuracy) 향상은 확인되지 않은 상태로 남았으며, Tox21/OpenML 시드-기증자 구간은 0을 포함했습니다. 요청된 DeepSeek V4 Pro 환경에서 매칭 카드와 기증자 카드는 2차 Tox21 드리프트를 각각 64.5%와 59.1% 감소시켰습니다. DeepSeek V4 Flash 재현에서는 매칭 점 MAE가 .01823에서 .02020으로 증가했으며 매칭-기증자 구간 점수 동등성을 달성하지 못했습니다. OpenML 풀 카드 할당은 공칭 80% 구간을 21% 넓혔고, 커버리지는 설명의 51.4% 대비 49.3%였으며 144개 카드 중 66개에 내용이 포함되었습니다. Direct-text Flash는 감지 가능한 매칭 점 정확도 이득 없이 144개 노트를 모두 전달했습니다. 연구자가 직접 작성한 메커니즘 양성 대조군은 설명 대비 점 MAE를 2.60%포인트 낮췄습니다. 본 프로토콜은 연구 에이전트 벤치마크 및 과학적 예측에 대한 예측 기여도를 측정하며, 테스트된 기증자 해상도에서 자연어 설명의 기여도는 확인되지 않은 상태로 남았습니다.

arXiv:2609.18094v3cs.LG

Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git

Agora: Git as Shared Memory for Collective AutoResearch

서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.

arXiv:2607.23975v1cs.AI

Plato-Bio: 검증 우선 생물학적 신규성 스크리닝, 시간적 재발견 및 구조 벤치마크

Plato-Bio: verification-first biological novelty screening with temporal rediscovery and structural benchmarks

대규모 언어 모델 연구 에이전트는 문헌 검색, 분석 코드, 원고 작성을 연결할 수 있지만, 일관된 출력만으로는 과학적 타당성이 확립되지 않는다. 우리는 명시적 워크플로 상태, 출처 기록, 인용 검사, 주장-증거 연결, 범위 지정 파일 쓰기, 출판 게이트를 결합한 오픈 Plato/Denario 아키텍처의 생물학 라우팅 확장인 Plato-Bio를 개발했다. 소스 감사는 평가를 왜곡할 수 있는 세 가지 결함을 식별하고 수정했다: 기본 팩토리에서의 작업 도메인 손실, 스코어링에서 선언된 방법 신호의 누락, 그리고 초안 주장 분모가 없는 증거 사이드카. 현재 정제된 개정판에서 전체 Python 테스트 스위트는 931개 통과, 6개 스킵, 실패나 오류 없이 완료되었으며, 생물학, 유전체학, 증거/인용, 적대적 안전성을 대상으로 한 테스트 스위트도 마찬가지로 실패 없이 완료되었다. 우리는 두 가지 좁은 사용 사례를 평가했다. 동결된 역사적 재발견 작업에서, 1986년 이전 문헌을 독립적으로 연결한 방식은 어유와 Raynaud 현상 사이의 이후 연구된 관계를 1위로 순위화했고, TF-IDF는 2위, 코퍼스 빈도는 3위였다. 이 단일 큐레이션 작업은 전향적 발견이 아니라 회고적 순위화를 측정한다. 15개 인간 단백질에 대한 AlphaFold 모델과 실험 구조의 별도 비교에서, 11개 표적은 고신뢰도 코어 C-alpha RMSD가 1 옹스트롬 미만이었다(중앙값 0.501 옹스트롬). 4개 표적은 2 옹스트롬을 초과했으며, 신뢰도 마스킹은 74개 잔기에 걸쳐 SUMO1 불일치를 16.61에서 2.58 옹스트롬으로 줄였다. 워크플로는 27개의 추적 가능한 불일치 영역을 출력했으며, 모두 미검증 가설로 보존되었다. 따라서 Plato-Bio는 재현 가능한 소프트웨어 계약과 감사 가능한 스크리닝 기준선을 제공한다; 에이전트 효능이나 생물학적 신규성에 대한 더 넓은 주장은 사전 등록 평가, 독립 검토, 전향적 검증이 필요하다.

arXiv:2607.12257v1cs.AI

온디바이스 4B 딥 리서치: 노출은 충실성을, 검색은 커버리지를 제한한다

On-Device Deep Research at 4B: Exposure Bounds Faithfulness, Retrieval Bounds Coverage

온디바이스 연구 에이전트는 코퍼스를 검색하고 출처를 읽은 뒤 개인 노트북에서 인용이 포함된 요약문을 작성한다. 배포 가능한 소형 모델에서 그 인용이 얼마나 충실한지, 그 비용은 얼마인지는 아직 측정되지 않았다. 본 연구는 24GB 노트북에서 하나의 4B 생성기를 고정한 뒤, 무엇이 그 인용을 충실하게 만드는지를 묻는다. 연구는 통상 하나의 숫자로 보고되는 두 양을 분리한다. 인용 주장 충실성은 인용된 출처가 해당 주장을 뒷받침하는지를, 신뢰할 수 있는 커버리지는 에이전트가 올바른 출처도 인용하는지를 묻는다. 본 연구는 생성기가 각 출처의 얼마를 보는지(출처당 400자 대 1500자)와 제공되는 출처의 품질(골드 논문 대 검색된 논문)을 교차 분석한다. 두 가지 조절 요인이 도출되며, 각각 다른 결과에 작용한다. 노출이 충실성을 좌우한다. 각 출처에 대한 더 많은 노출은 검색된 출처에서 충실성을 0.45에서 0.58로, 골드 출처에서 0.37에서 0.58로 끌어올리며, 두 설정이 수렴하므로 충실성은 출처의 정확 여부가 아니라 노출에 의해 제한된다. 노출 향상은 두 번째 독립 심판에서도 견고하다. 정확한 수렴은 주 심판에서는 긴밀하지만 두 번째 심판에서는 대략적이다. 검색이 커버리지를 좌우한다. 신뢰할 수 있는 커버리지는 재현율이 약 0.40에 머물기 때문에 어떤 노출에서도 검색된 출처에서 약 0.22에 머문다. 따라서 노출은 어떤 출처가 인용되는지를 바꿀 수 없다. 추가 노출 비용은 약 235개의 출력 토큰이다. 실용적 처방은 먼저 출처당 노출을 저렴하게 높이고, 그다음 검색 재현율을 유일하게 남은 조절 요인으로 다루는 것이다.

arXiv:2606.31651v1cs.AI

FARS: A Fully Automated Research System Deployed at Scale

FARS는 대규모 언어 모델 에이전트가 아이디어 생성, 계획, 실험, 논문 작성을 인간 개입 없이 자동으로 수행하는 완전 자동화 AI 연구 시스템으로, 첫 공개 배포에서 67개의 세부 AI/ML 주제에 걸쳐 166편의 완성된 논문을 생성했다. 282건의 구조적 인간 리뷰를 통한 평가 결과, FARS는 검토할 만한 수준의 연구 결과물을 대규모로 생산할 수 있음을 보였으나, 좁은 실험 범위, 방법론적 한계, 무결성 문제 등의 반복적인 실패 패턴도 확인되었다.

arXiv:2606.19893v1cs.AI

MetaResearcher: 적대적 가상 환경에서의 자기 성찰적 강화학습을 통한 심층 연구 스케일링

MetaResearcher: Scaling Deep Research via Self-Reflective Reinforcement Learning in Adversarial Virtual Environments

심층 연구 에이전트(Deep research agent)는 자율적인 정보 수집 및 종합에서 탁월한 능력을 보여주었으나, 시뮬레이션된 환경의 정적 특성, 사실 검색 전용 작업 설계의 한계, 그리고 결과 기반 강화학습의 비효율성으로 인해 학습이 여전히 제약받고 있습니다. 본 연구에서는 우리는 심층 연구 에이전트 학습을 네 가지 상호 보완적인 차원으로 확장하는 새로운 프레임워크인 MetaResearcher를 제안합니다. 첫째, 학습 환경에 시간적 동역학과 적대적 오정보를 주입하는 진화하는 가상 세계(Evolving Virtual World)를 도입하여, 에이전트가 정보원 신뢰도 평가 및 시간적 충돌 해결 기술을 개발하도록 강제합니다. 둘째, 단순한 사실 검색을 넘어 에이전트가 진정한 연구 행동을 수행하도록 유도하는 가설 생성 및 모순 해결을 포함하는 발견 지향적 작업(Discovery-Oriented Tasks)을 설계합니다. 셋째, 답변 정확도, 검색 경로 효율성, 반추 깊이, 도구 호출 다양성을 공동으로 최적화하여 기존 연구에서 관찰된 반복적인 행동 루프 문제를 직접적으로 해결하는 GRPO 프레임워크 내의 자기 성찰적 메타 보상(Self-Reflective Meta-Reward) 메커니즘을 제안합니다. 넷째, 조율된 강화학습을 통해 협업 연구 전략을 학습하는 전문화된 Scout, Filter, Synthesizer 모델로 구성된 이질적 다중 에이전트 군집(Heterogeneous Multi-Agent Swarm) 아키텍처를 도입합니다. LiteResearcher 인프라를 기반으로 구축된 MetaResearcher는 학습을 위한 추가적인 API 비용이 전혀 들지 않으면서도, 벤치마크 성능(GAIA, Xbench-DS)과 적대적 조건 하에서의 인식적 견고성(epistemic robustness) 모두에서 상당한 개선을 목표로 합니다. 우리는 완전한 프레임워크 설계, 학습 방법론, 그리고 계획된 실험적 검증을 제시합니다.

arXiv:2606.11522v1cs.AI

장기 연구 에이전트를 위한 검색 규율

Search Discipline for Long-Horizon Research Agents

자동 연구 에이전트가 집계된 지표만으로 후보를 선택할 때 전체 점수는 개선되지만 내부 구조가 무너지는 역전 현상이 발생할 수 있음을 보여준다. 이를 해결하기 위해 에이전트 외부의 제어 루프를 도입하여 분해된 행동을 감사하고 점수 대신 검증 가능한 증거에 기반하여 결정을 내리는 검색 규율 프로토콜을 제안한다.