PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.20658v2cs.CL

협력 프로파일을 통한 과학을 위한 AI 워크플로 내 다중 에이전트 LLM 팀 성능 예측

Cooperative Profiles Predict Multi-Agent LLM Team Performance in AI for Science Workflows

대규모 언어 모델(LLM) 팀으로 구축된 다중 에이전트 시스템은 협력적인 과학적 추론 및 문제 해결을 위해 점점 더 많이 활용되고 있습니다. 이러한 시스템은 협력적 행동이 중요한 GPU나 크레딧 잔여량과 같은 공유 제약 조건 하에서 에이전트 간의 조율을 요구합니다. 행동경제학은 뚜렷한 협력 메커니즘을 분리해내는 다양한 게임 툴킷을 제공하지만, 이러한 정형화된 환경에서의 모델 행동이 실제 협력 과제에서의 성능을 예측할 수 있는지는 아직 밝혀지지 않았습니다. 본 연구에서는 6가지 행동경제학 게임 전반에서 41개의 오픈 가중치 LLM을 벤치마크하고, 게임을 통해 도출된 협력 프로파일이 AI-for-Science 과제에서의 다운스트림 성능을 견고하게 예측함을 보입니다. 이 과제에서는 LLM 에이전트 팀이 공유된 예산 제약 하에 데이터를 협력적으로 분석하고, 모델을 구축하며, 과학 보고서를 작성합니다. 게임에서 효과적으로 조율하고 탐욕적인 전략 대신 승수적 팀 생산에 투자하는 모델은 정확도, 품질, 완전성의 세 가지 결과 전반에서 더 우수한 과학 보고서를 산출합니다. 이러한 연관성은 여러 요인을 통제한 후에도 유지되며, 이는 협력적 성향이 일반적인 능력으로 환원될 수 없는 LLM의 고유하고 측정 가능한 특성임을 나타냅니다. 따라서 우리의 행동 게임 프레임워크는 비용이 많이 드는 다중 에이전트 배포에 앞서 협력 적합성을 선별하기 위한 신속한 진단 도구를 제공합니다.

arXiv:2606.17076v1physics.ao-ph

CMIP-Forge: 기후 과학을 검색, 연산하고 자체 검토하는 에이전트 시스템

CMIP-Forge: An Agentic System that Retrieves, Computes, and Self-Reviews Climate Science

결합 모델 상호비교 프로젝트 6단계(CMIP6)는 모델 구성, 평가 절차, 창발적 제약 조건 및 예측 불확실성을 문서화한 수천 건의 동료 평가 논문을 생성했습니다. 커뮤니티가 CMIP7로 전환함에 따라, 실시간 데이터 분석과 함께 이 비정형 지식을 효율적으로 추출하고 운영화하는 것은 중요한 병목 현상입니다. 여기서 우리는 과학 문헌과 지구 시스템 그리드 연합(ESGF) 데이터 아카이브 사이의 격차를 해소하는 하이브리드 검색 증강 생성(RAG) 및 자율 분석 시스템인 CMIP-Forge를 소개합니다. 이 시스템은 6,581개의 CMIP6 관련 오픈 액세스 논문(101,828개의 인덱싱된 청크)으로 구성된 큐레이팅된 말뭉치를 에이전트 파이프라인과 결합합니다. 이 파이프라인에서 도구 보강 작업자(tool-augmented worker)는 실시간 기후 데이터에 대한 Python 워크플로우를 계획하고 실행하는 반면, 독립적인 검토자 모델 패널은 그 방법론을 종단 간(end-to-end) 감사합니다. CMIP-Forge는 추상 구문 트리(AST) 정적 분석, 감사된 과학적 프리미티브, 그리고 자율적인 적대적 동료 평가 프로토콜을 통해 물리적 및 방법론적 불변 조건을 강제하는 다층 심층 방어(Defense-in-Depth) 아키텍처를 도입합니다. 우리는 대기 원격 상관(atmospheric teleconnections), 해양 역학, 지역적 극한 기후 및 지구 온난화 예측에 걸친 종단 간 자율 연구 파이프라인을 통해 시스템의 기능을 입증합니다. 동료 평가 문헌에 기반을 두고, 자동화된 코드 가드레일(guardrails)에 의해 제약되며, 독립적인 적대적 검토 루프에 의해 감사되는 에이전트 분석 시스템은 복잡한 기후 연구 워크플로우를 자율적으로 완료할 수 있습니다. 동일한 실험은 검토 루프의 구체적인 실패 모드(아첨적 회귀, 해결되지 않는 REVISE 판정, 검토를 위한 스텁 코드 제출)를 드러내며, 각각은 논문과 함께 공개된 불변의 원격 측정 데이터 및 기원 기록에서 진단할 수 있습니다.