대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.
심층 연구(deep research)는 에이전트가 여러 제약을 동시에 충족하는 답을 찾아야 한다. 이러한 답을 발견하는 것은 비용이 크지만, 후보를 검증하는 작업은 종종 처리 가능한 제약별 검사로 분해할 수 있다. 이러한 발견-검증 비대칭은 연구 에이전트가 단순히 더 오래 검색하는 것 이상을 해야 함을 시사한다. 중간 결과를 검증하고 부분적으로 검증된 상태를 이용해 이후 정제를 안내함으로써 현재 답을 재귀적으로 개선해야 한다. 우리는 재귀적 자기 개선(RSI) 심층 연구 에이전트 계열인 AREX를 제안한다. AREX는 증거를 수집하고 잠정적 답을 구성하는 내부 연구 루프와, 답을 제약별로 감사하고 미해결 주장을 식별하며 표적 후속 연구를 시작하는 외부 자기 개선 루프를 번갈아 수행한다. 긴 수평에 걸쳐 RSI를 유지하기 위해 AREX는 외부 모델에 의존하지 않고, 검증된 증거와 미해결 제약을 보존하는 압축된 개선 상태로 증가하는 상호작용 이력을 압축하는 자율적 컨텍스트 업데이트 도구를 학습한다. 우리는 에이전트 중간 학습(agentic mid-training)과 장기간 강화학습을 통해 검증된 합성 과제와 고품질 궤적(trajectory)으로 AREX를 학습한다. 장기간 학습 동안 희소한 최종 보상을 완화하기 위해, 결정적 증거가 확보되거나 잘못된 연구 방향이 수정되는 핵심 단계를 강조한다. 우리는 dense 4B 모델과 122B-A10B 전문가 혼합(MoE) 모델을 구현한다. BrowseComp, WideSearch, DeepSearchQA, Humanity's Last Exam(HLE) 및 기타 추론·도구 사용 벤치마크에서 AREX는 유사 규모 베이스라인을 크게 능가하며, 훨씬 더 많은 활성 파라미터를 사용하는 모델과도 경쟁력을 유지한다.
Deep Research 에이전트는 대규모 언어 모델(LLM) 기반 어시스턴트를 계획, 검색, 증거 종합, 보고서 생성을 포함하는 장기 워크플로로 확장하지만, 개방형 정보 환경에서의 신뢰성은 아직 충분히 탐구되지 않았다. 핵심 우려는 이러한 환경에서 접하는 겉보기에는 신뢰할 만하지만 사실과 다른 오도하는 지식이 이러한 워크플로를 통해 전파되어 최종 보고서에서 잘못된 결론으로 채택될 수 있는지 여부이다. 이러한 실패 모드를 연구하기 위해, Deep Research 과제를 위한 오도하는 지식의 구축 및 검증을 위한 프레임워크인 MisKnow-Agent를 제안한다. MisKnow-Agent는 통제 가능한 권위 수준과 스타일을 갖는 오도하는 사례를 생성하며, DeepResearch Benchmark 과제를 기반으로 5,933개의 품질 통제된 사례를 만들어냈다. 오픈소스 및 클로즈드소스 Deep Research 에이전트에 걸친 광범위한 실험은 오도하는 지식에 대한 제한적인 노출만으로도 최종 보고서에서 잘못된 결론 채택을 유발할 수 있음을 보여주며, 현재 Deep Research 에이전트의 광범위한 신뢰성 취약점을 드러낸다. 검색 기능이 있는 검증 모델이 집중적인 코퍼스 검증 중 보존된 사례를 일관되게 오도하는 것으로 식별함에도 불구하고, 동일한 사례가 장기 연구 중에 여전히 채택될 수 있어 집중적 검증과 워크플로 수준의 증거 활용 사이의 단절을 드러낸다. 마지막으로, 연구 전·후 방어 기법을 개별적으로 및 조합하여 평가한 결과, 세 가지 구성 모두 잘못된 결론 채택을 완화하지만 완전히 방지하지는 못하는 것으로 나타났다. 우리의 결과는 신뢰할 수 있는 Deep Research가 계획, 검색, 증거 통합, 보고서 생성 능력의 개선을 넘어 모델 및 프레임워크 수준 모두에서 증거 검증 및 교정 역량을 필요로 함을 시사한다.
현재 상황과 역사적으로 구조적으로 유사한 과거 사건을 체계적으로 비교하는, 즉 역사적 유비(historical analogies)는 선견 분석을 위한 가장 강력한 도구 중 하나이다. 본 연구에서는 대규모 언어 모델(LLM) 에이전트를 위해 Analogical Deep Research(ADR)라는 새로운 태스크를 제안하고, LLM 에이전트가 선견 분석을 수행할 때 역사적 유비를 찾고 활용할 수 있는지 연구하기 위해 최초의 ADR 벤치마크인 ADR-bench를 구축한다. 조사 결과, 핵심 장애물이 밝혀진다: LLM 에이전트는 근본적인 메커니즘보다 표면적 특성에 기반해 매칭하기 때문에 유비를 찾는 데 서투르다. 우리는 ADR이 사건이 왜 발생했는지를 이해해야 하므로 본질적으로 인과적 질문이라고 주장한다. 이론적 분석을 바탕으로, ADR에 필요한 두 가지 원칙, 즉 메커니즘 정렬(mechanism alignment)과 교차 유비 확인(cross-analogy confirmation)을 제시한다. 이론적 결과를 토대로, LLM이 역사적 유비를 찾고 통합하도록 안내하는 새로운 에이전트 프레임워크인 Causal Analogical Researcher(CANA)를 제안한다. CANA는 단순하면서도 효과적인 구조적 분해 표현을 포함하며, 역사적 유비 식별과 통합의 반성적 개선을 위해 구조적 피드백을 통합한다. CANA는 역사적 유비 생성에서 최대 10%의 개선을 가져오며, ADR-bench에서 최신(state-of-the-art) 심층 연구(deep research) 에이전트를 능가한다. 진행 중인 사건에 대한 사례 연구는 CANA가 역사적 유비를 활용하는 데 효과적임을 확인한다.
딥 리서치 시스템에서 인용 품질 평가에 사용되는 LLM 심판(judge)의 신뢰성을 벤치마킹하기 위해, 1,248개의 인간 검토 루브릭 결정으로 구성된 적대적 벤치마크에서 3개 모델 패밀리의 8개 LLM을 평가한 결과, 저비용 모델(GPT-5-mini)이 출처 관련성 F1 0.908로 최고 성능을 보이는 등 고비용 프론티어 모델이 반드시 필요하지 않음을 확인했다. 단, 유사한 F1 수준에서도 심판 간 통과율 편향과 위양성·위음성률이 크게 달라 강화학습 보상 신호로 인용 루브릭을 활용하려면 심판의 방향적 편향 교정이 선행되어야 함을 보였다.
LLM 딥 리서치(Deep Research) 보고서의 실질적 신뢰성은 주장과 논증이 명시적으로 뒷받침되는 논리적 품질에 달려 있으나 기존 평가는 이를 거의 다루지 않는다. ReportLogic은 감사 가능성(auditability) 관점의 매크로·설명·구조 논리(Macro-Logic, Expositional-Logic, Structural-Logic) 분류로 이를 정량화하는 벤치마크이며, 사람 주석 루브릭 데이터셋과 오픈소스 LogicJudge로 확장 평가를 제공하고, 적대적 공격 실험에서 기성 LLM 판정기가 장황함 같은 표면적 단서와 추론 모드에 취약함을 보였다.
기존 브라우징 벤치마크가 쿼리와 증거의 동일 언어를 가정하는 한계를 보완하기 위해, BrowseComp-Plus의 영어 질문-답변 공간을 유지하면서 보조 문서 언어만 바꾼 교차 언어 벤치마크 XBCP(Cross-lingual BrowseComp-Plus)를 제안합니다. 희소·밀집 다국어 리트리버와 4개 딥 리서치 에이전트 평가 결과, 증거가 번역되면 정확도와 증거 재현율이 크게 떨어지고 보정·인용 신뢰도도 약화되며, 정답 증거를 직접 제공해도 정확도가 낮게 유지되어 검색 실패와 언어 불일치 증거 통합의 에이전트 측 어려움이 함께 드러납니다.
딥 리서치(Deep Research, DR)는 복잡하고 개방형 연구 과제를 해결하기 위한 새로운 에이전틱 패러다임으로 부상하였으며, 문제를 반복적으로 정의하고, 근거를 수집하고, 출처를 검증하며, 장문의 보고서를 합성할 수 있는 시스템을 요구한다. 그러나 현재 DR 시스템은 실제로 네 가지 상호 연관된 한계에 제약받고 있다: 불명확한 범위에서의 장기 계획 수립, 단일 에이전트 내에서 과제를 분해·스케줄링하는 병목 현상, 장문 합성에서의 환각 위험, 그리고 제한적인 프로세스 감사 가능성이다. 본 기술 보고서는 Qianfan Agent Foundry 위에 구축된 멀티 에이전트 DR 프레임워크인 DuMate-DeepResearch를 소개한다. 이 프레임워크는 과제 이해, 계획 수립, 스케줄링을 담당하는 Agent Core와, 검색·증거 수집·보고서 렌더링을 위한 확장 가능한 도구 생태계(Tool Ecosystem)를 분리함으로써, 모든 중간 결정과 도구 호출을 명시적으로 추적 가능하게 만든다. 이 인프라를 기반으로 DuMate-DeepResearch는 세 가지 메커니즘을 추가로 도입한다: (i) 그래프 기반 동적 계획 전략은 연구 로드맵을 거시적에서 세밀한 방향으로 확장하고, 반성·재계획·역추적·병렬 분기를 통해 지속적으로 수정한다; (ii) 재귀적 2단계 실행 설계는 복잡한 검색 하위 과제 각각을 독자적인 계획 루프를 실행하는 내부 Search Agent에 위임하여, 잡음 있는 검색을 격리하고 장기 실행을 안정화한다; (iii) 루브릭 기반 테스트 타임 최적화 메커니즘은 과제별 품질 기준을 동적으로 생성하고, 이를 근거 기반 합성 및 적응적 종료를 위한 실시간 추론 발판으로 활용한다. 두 가지 딥 리서치 벤치마크에서 DuMate-DeepResearch는 새로운 최고 성능을 달성하였다: DeepResearch Bench에서 최고 종합 점수(58.03%), DeepResearch Bench II에서 최고 종합 점수(61.95%)를 기록하였으며 정보 재현율과 분석 부문에서 1위를 차지하였다.