PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.22984v3cs.AI

당신의 딥 리서치 에이전트는 왜 실패하는가? 전체 연구 궤적에서의 환각 평가 연구

Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory

심층 연구 에이전트(Deep Research Agent, DRA)의 실패 패턴을 진단하는 것은 여전히 중요한 과제입니다. 기존 벤치마크는 주로 엔드투엔드(end-to-end) 평가에 의존하여, 연구 궤적 전반에 걸쳐 누적되는 중간 환각(hallucination)을 가립니다. 이러한 격차를 해소하기 위해, 본 연구에서는 전체 '계획-검색-요약(plan-search-summarize)' 궤적의 환각을 감사함으로써 결과 기반 평가에서 프로세스 인식 평가로의 전환을 제안합니다. 본 논문에서는 DRA 환각을 전파(Propagation), 의도(Intent), 노이즈 유발(Noise-induced), 그라운딩(Grounding)의 네 가지 상호 보완적인 유형으로 분류하는 PING 분류 체계(PING Taxonomy)를 소개합니다. 나아가 이 분류 체계를 엄격한 검증을 위해 궤적을 원자적 행동, 주장 및 하위 쿼리로 분해하는 세분화된 평가 프레임워크로 구체화하고, 표준 사실 확인 벤치마크 및 사람이 검토한 궤적에서 그 신뢰성을 검증합니다. 이 프레임워크를 활용하여 적대적 시나리오를 포함한 100개의 환각 유발 과제를 선별하고 DeepHalluBench를 구축했습니다. 대표적인 6개의 DRA에 대한 실험 결과, 환각이 발생하기 쉬운 스트레스 테스트 세트에서 평가된 모든 시스템이 여전히 무시할 수 없는 신뢰성 격차를 보이는 것으로 나타났습니다. 또한 진단 분석을 통해 이러한 실패가 시스템적 결함, 특히 환각 전파 및 인지 편향에 기인함을 추적하여 향후 아키텍처 최적화(optimization)를 위한 실행 가능한 통찰을 제공합니다. 코드와 데이터는 https://github.com/yuhao-zhan/DeepHalluBench 에서 확인할 수 있습니다.

arXiv:2604.17931v4cs.AI

LiteResearcher: A Scalable Agentic RL Training Framework for Deep Research Agent

Reinforcement Learning (RL) has emerged as a powerful training paradigm for LLM-based agents. However, scaling agentic RL for deep research remains constrained by two coupled challenges: hand-crafted synthetic data fails to elicit genuine real-world search capabilities, and real-world search dependency during RL training introduces instability and prohibitive cost, which limits the scalability of Agentic RL. LiteResearcher is a training framework that makes Agentic RL scalable: by constructing a lite virtual world that mirrors real-world search dynamics, we enable a continuously improving training recipe that empowers a tiny search agent to outperform large-scale open-source and commercial models (e.g., Tongyi DeepResearch and Claude-4.5 Sonnet). Specifically, on common benchmarks such as GAIA and Xbench, our LiteResearcher-4B achieves open-source state-of-the-art results of 71.3% and 78.0% respectively, demonstrating that scalable RL training is a key enabler for Deep Research Agents.