PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00980v1cs.MA

AI 과학자는 런타임에 협력할 수 있는가?

Can AI Scientists Coordinate at Runtime?

다중 에이전트(Multi-agent) AI 과학자는 다양한 작업에 걸쳐 향상된 성능을 보여주었습니다. 그러나 일반적인 접근 방식은 주로 고정된 워크플로에 의존하는 설계 시점(design-time)의 에이전트 오케스트레이션입니다. 이와 대조적으로 인간 과학자는 런타임(runtime)에 분업을 조율하고 조정합니다. 따라서 우리는 다음과 같은 질문을 던집니다. AI 과학자 역시 런타임에 협력할 수 있을까? 이를 위해 우리는 실행 중에 기존 AI 과학자 호스트에서 에이전트를 선택하고, 범위가 지정된 작업 계약을 할당하며, 산출물 기반 검증(artifact-grounded verification)을 제공하는 런타임 에이전트 협력(RAC)을 도입합니다. 검증은 전환을 차단하거나 산출물을 폐기하지 않고 후속 에이전트에게 정보를 전달합니다. 우리는 호스트별로 조정된 예산 내에서 호스트 모델, 도구 및 권한을 유지하며 ResearchClawBench에서 Agent Laboratory, EvoScientist, ARK를 대상으로 단일 시드 탐색적 평가를 수행합니다. 4가지 누적 조건은 기본 실행, 런타임 통신, 런타임 선택, 그리고 계약 및 검증의 결합 추가를 분리합니다. 런타임 선택은 각 호스트에 대해 가장 높은 관찰 평균 점수를 산출합니다. 계약 및 검증을 추가하면 이러한 평균이 감소하며, 기본 실행 대비 호스트에 따라 결과가 달라집니다. 이러한 결과는 런타임 협력의 동기를 부여하는 동시에 제한된 예산 하에서 추가적인 협력 메커니즘의 한계를 드러냅니다. 코드는 https://github.com/systemind-team/Runtime-AI-Scientist 에서 확인할 수 있습니다.

arXiv:2607.04293v1cs.CL

CausalGame: 게임 환경에서 LLM 에이전트의 인과적 사고 벤치마킹

CausalGame: Benchmarking Causal Thinking of LLM Agents in Games

대규모 언어 모델(LLM)을 활용한 AI 과학자 에이전트 구축이 최근 주목받고 있다. 과학적 발견은 근본적으로 관측에서 인과 관계를 밝혀내는 과정에 의존하므로, 인과적 사고 능력—즉 인과관계와 상관관계를 구분하고 숨겨진 바이어스를 인식하는 능력—은 LLM 에이전트에게 필수적이다. AI 과학자를 위한 벤치마크가 다수 존재하지만, 실제 과학적 발견에서 광범위하게 나타나는 선택 바이어스(selection bias), 측정 오차(measurement error), 숨겨진 교란 변수(hidden confounders)로 인한 도전을 명시적으로 포함한 벤치마크는 없다. 이를 위해 우리는 인터랙티브 게임을 통해 LLM 에이전트의 인과적 사고 능력을 평가하는 벤치마크인 CausalGame을 제시한다. CausalGame은 LLM 에이전트가 실험 프로토콜을 능동적으로 설계하고, 관측 데이터를 수집하며, 설명 보고서와 함께 최종 해답을 도출하도록 요구한다. 현실적인 과학적 발견의 도전을 모사하기 위해, 선택 바이어스, 측정 오차, 숨겨진 교란 변수를 포함하는 14가지 시나리오를 설계하였다. 30개의 LLM 에이전트 전체에 걸쳐 신뢰할 수 있는 인과적 사고를 보인 모델은 없었다. 최고 성능 모델도 분석적 최적값인 78~85% 대비 생존율이 68.0%에 그쳤으며, 인과 추론 평가 기준에서 점수를 획득한 세션은 5~7%에 불과하였다. CausalGame은 AI 과학자 에이전트의 인과적 사고를 평가하기 위한 확장 가능하고 통제된 테스트베드를 제공한다.

arXiv:2606.18874v1cs.AI

연구 하네스를 통한 AI 과학자의 연구 종합 및 검증 외부화

Externalizing Research Synthesis and Validation in AI Scientists through a Research Harness

Xcientist는 연구 종합과 실험 검증을 검사 가능한 규약 기반 프로세스로 외부화해, 문헌 증거·아이디어 상태·구현 계획·소거 기록 등을 지속적인 연구 인공물로 관리하는 AI 과학자용 연구 하네스(research harness)이다. 학습 없는 LLM 에이전트 메모리, 그래프 구조 시공간 예측, 다중 스케일 물리 정보 신경망(PINN)에서 주장 드리프트(claim drift)를 완화하고 증거에서 메커니즘 설계·검증·수정까지 추적 가능한 궤적을 보존함으로써, AI 과학자는 최종 산출물뿐 아니라 종합·검증 과정의 귀속성과 검사 가능성으로도 평가되어야 함을 시사한다.