구성적 3D 장면 복원(compositional 3D scene reconstruction)은 최근 두 가지 방향에서 연구되어 왔습니다. 공간적 관계에 대한 의미론적 이해를 제공하지만 입력 이미지와의 정밀한 정렬이 부족한 에이전트 추론(agentic reasoning)과, 입력 이미지로부터 조밀한 포인트 맵을 예측하지만 복원 품질이 제한적인 시각 기하 파운데이션 모델(visual geometry foundation models)입니다. 따라서 단일 단안 이미지로부터 정확한 객체 간 관계와 고충실도 복원 품질을 갖춘 완전한 3D 장면을 복원하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 에이전트 추론과 시각 기하 파운데이션을 모두 활용하는 계층적 사고의 연쇄(Chain-of-Thought) 프레임워크인 HARMONY를 제안합니다. 실내 장면 이미지가 주어지면, 빈 3D 평면도에서 시작하여 HARMONY는 먼저 참조 이미지에 대해 카메라를 캘리브레이션하여 의미론적으로 그라운딩된 공간 프레임을 설정한 다음, 에이전트 VLM 추론을 사용하여 3D 방 레이아웃과 초기 배치 순서를 복원합니다. 이후 벽면 부착 요소부터 독립형 가구, 가구 위의 종속적인 장식품에 이르기까지 계층적 순서로 객체를 배치합니다. 또한 가구 배치 시에는 각 배치가 이전에 결정된 구조를 조건으로 하도록 깊이 우선 탐색(depth-first traversal)을 사용하고, 오차 누적을 방지하기 위해 반추적 피드백 루프(reflective feedback loop)를 적용합니다. VLM에 의한 각 객체 배치 후에는 포인트 클라우드 추정치를 사용하여 기하학 기반 개선을 수행함으로써 렌더링된 이미지가 입력과 더 잘 정렬되도록 합니다. HARMONY는 참조 이미지와 의미론적으로 일관되고 지각적으로 정렬된 3D 장면을 생성할 수 있어, 단일 이미지 구성적 복원을 복잡한 실내 장면 이미지로 확장합니다. 합성 및 실제 이미지에 대한 실험을 통해 HARMONY가 평가된 복원 베이스라인 모델들을 능가함을 입증하였으며, GPT-6 Astra와의 정성적 비교를 통해 더 충실한 객체 배치와 더 우수한 장면 세부 정보 보존 성능을 보여줍니다.
지식 그래프(KG) 상에서의 가추 추론(abductive reasoning)은 해답 집합이 주어진 관찰 엔티티 집합을 설명할 수 있는 1차 논리 가설을 찾는 것을 목표로 합니다. 동일한 관찰을 여러 가설이 설명할 수 있기 때문에, 제어 가능한 가설 생성기들은 엔티티, 관계 또는 논리적 패턴에 따라 생성을 조건화하지만, 생성을 단일 단계로만 처리합니다. 생성된 가설은 형식이 올바르고 주어진 조건을 충족하더라도 관찰을 설명하는 데 실패할 수 있으며, 모델에는 이러한 불일치를 감지하거나 수정하는 메커니즘이 없습니다. 가추 주기를 완성하려면 이산적이고 구조화된 가설을 수정해야 하는데, 대규모 언어 모델(LLM)은 자연어로 쉽게 반복할 수 있음에도 불구하고 이러한 구조적 가설 수정은 안정적으로 수행하지 못합니다. 본 논문에서는 조건 신호를 사용자 의도의 표현뿐만 아니라 생성을 유도하는 연산자로 취급하는 에이전틱 가설 정제 프레임워크인 HypoAgent를 제안합니다. 가설 제안 에이전트(Hypothesis Proposal Agent)는 학습(training)된 소형 생성기를 호출하여 가설을 제안합니다. 이후 근본 원인 분석(Root-cause analysis)은 조각 수준의 커버리지를 활용해 검사할 가치가 있는 브랜치를 찾아내고 학습 그래프에서 이웃 증거를 수집합니다. 가설 정제 에이전트(Hypothesis Refiner Agent)는 이러한 진단 결과와 이전에 생성된 가설들을 결합하여 업데이트된 조건과 직접 수정된 가설을 생성합니다. HypoAgent는 BioKG, PharmKG8k, DBpedia50의 싱글턴 및 멀티턴 설정뿐만 아니라 DBpedia50의 무조건(unconditional) 설정에서도 원샷(one-shot) 생성을 능가하는 성능을 보입니다. 코드는 https://github.com/HKUST-KnowComp/HypoAgent 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 기반 에이전트(agent)의 최근 발전은 다양한 방식으로 문제 해결 과정을 이끄는 추론 프레임워크의 중요성을 부각하고 있습니다. 본 서베이 논문은 이러한 프레임워크를 단일 에이전트, 도구 기반, 다중 에이전트 방법론이라는 세 가지 구성 수준에서 체계적으로 분류하기 위한 통일된 정형 언어를 도입합니다. 이 분류 체계에 따라 과학적 발견, 의료, 소프트웨어 공학, 사회, 경제, 범용 작업 전반에 걸친 주요 적용 시나리오를 검토합니다. 또한 각 범주의 뚜렷한 특징과 평가 전략을 비교합니다. 본 서베이는 이러한 분류 체계와 비교를 통해 다양한 시나리오에서 LLM 기반 에이전트 프레임워크의 설계와 강점을 탐구하며, 실제 환경에서 복잡한 에이전트 시스템이 빠르게 발전해 온 과정을 살펴봅니다.
추론은 추론(inference), 문제 해결, 의사결정의 기반이 되는 근본적인 인지 과정이다. 대규모 언어 모델(LLM)은 폐쇄 세계(closed-world) 설정에서 강한 추론 능력을 보이지만, 개방형·동적 환경에서는 어려움을 겪는다. 에이전트적 추론(agentic reasoning)은 LLM을 지속적 상호작용을 통해 계획하고 행동하며 학습하는 자율 에이전트로 재구성함으로써 패러다임 전환을 이룬다. 본 서베이에서는 에이전트적 추론을 세 가지 상보적 차원으로 정리한다. 먼저 환경 역학을 세 층으로 특성화한다: 핵심 단일 에이전트 능력(계획, 도구 사용, 안정 환경에서의 검색)을 확립하는 기초적 에이전트적 추론; 피드백·기억·적응을 통해 이러한 능력을 정교화하는 방법을 다루는 자기 진화형 에이전트적 추론; 조율, 지식 공유, 공유 목표를 포함하는 협업 설정으로 지능을 확장하는 집합적 다중 에이전트 추론. 이들 층 전반에서, 구조화된 오케스트레이션을 통해 테스트 시점 상호작용을 확장하는 문맥 내 추론(in-context reasoning)과, 강화학습 및 지도 미세조정을 통해 행동을 최적화하는 사후 학습 추론을 구분한다. 과학, 로보틱스, 의료, 자율 연구, 수학 등 실제 응용과 벤치마크에 걸친 대표적인 에이전트적 추론 프레임워크도 검토한다. 본 서베이는 에이전트적 추론 방법을 사고와 행동을 잇는 통합 로드맵으로 종합하고, 개인화, 장기 지평 상호작용, 세계 모델링(world modeling), 확장 가능한 다중 에이전트 학습, 실세계 배포를 위한 거버넌스 등 열린 과제와 향후 방향을 개괄한다.
지식 그래프 기반 검색-증강 생성(KG-RAG)은 구조화된 기업 지식과의 자연어 상호작용을 가능하게 하지만, 공개 벤치마크에서 우수한 성능을 보이는 기존 에이전트 접근법은 밀집적이고 스키마 중심이며 운영상 제약이 있는 실제 기업 지식 그래프(KG)로 일반화하는 데 자주 실패한다. 이러한 한계를 해결하기 위해, 우리는 스키마 조건 구조적 사전 지식을 주입하고 다중 홉 추론 동안 스키마 인식 탐색을 강제함으로써 구조화된 계획과 제어된 반복 추론을 통합하는 학습 없는 프레임워크인 SCAIR(Schema-Conditioned Agentic Iterative Reasoning)을 제안한다. 실제 구성 관리 데이터베이스(CMDB)로부터 구축된 기업 지향 벤치마크에서의 실험은 SCAIR이 기존 KG-RAG 방법 대비 성능을 크게 향상시킴을 보여준다. 중요하게도, 본 연구는 신뢰할 수 있는 기업 그래프 추론이 범용적인 에이전트 설계에 의존할 수 없으며, 대신 추론 과정에 대상 도메인의 구조적·운영적 제약을 명시적으로 통합해야 함을 강조한다. 우리는 에이전트 설계를 비즈니스 로직에 정렬함으로써 비용이 큰 모델 재학습 없이도 상당한 성능 향상을 달성할 수 있음을 보여준다.
도구 접근만으로는 LLM의 경험적 추론을 통제 가능하게 만들 수 없다. 수용된 출력이 반드시 증명된 증거에서 파생될 필요는 없으며, 수용된 추론이 형식적 검증을 견디지 못할 수도 있다. 우리는 EG-VAR(Evidence-Grounded Verified Agentic Reasoning, 증거 기반 검증 에이전트 추론)를 제안한다. 이는 Lean 4 기반 도구 호출 아키텍처로, Lean 커널이 도구 증명(tool-attestation) 공리와 선언된 소스 리프트(source lift)를 통해 Verified 주장의 유일한 발행자(minter)이다. 모든 verified 출력은 구조적으로 증명된 도구 호출(정리 3.1)과 커널이 검증한 유효 추론의 연쇄(정리 3.2)에서 파생되며, 나머지 출력은 재현 가능한 감사 추적(audit trail)을 갖춘 정직한 Abstain이다. TableBench 수치 추론의 하위 집합(n=120)에서 EG-VAR는 120/120을 달성했고, 동일 도구 기준선은 95%였다. 반사실적 스트레스 테스트(5개 도메인 × 2개 모델)에서 EG-VAR는 100% 소스 충실(source-faithful)을 유지하는 반면, 동일 도구 방식은 80–90%로 하락한다(무 도구 50–80%). LLM을 배포 시점 형식화기(formalizer)로 두면, 잔여 의미-형식화 오류는 Sonnet에서 3.3%, Opus에서 1.7%이다. 우리는 EG-VAR를 고위험 경험적 주장을 위한 기술 거버넌스 인터페이스로 위치시킨다. 형식적 사이드카(sidecar)가 대상 명제, 소스 범위, 증거 경계, 증명 의무, 기권(abstention) 조건을 감사 가능하게 만들어, 오늘날 근거 없는 Verified 출력을 제거하면서 형식화 오류, 리프트 및 소스 권한 분쟁, 모호성, 기권을 명시적 감사 대상으로 전환한다. 시간이 지남에 따라 데이터셋, API, 공공 기록, AI 생성 문서의 타입이 지정된 사이드카가 이 형식화 부담을 재사용 가능한 인프라로 분摊할 수 있다.
문맥 학습(Context learning)은 대규모 언어 모델(LLM)이 사전학습에 부재한 복잡한 문맥으로부터 새로운 태스크 특화 지식을 학습하고 적용해야 하는 새롭게 부상하는 추론 시 태스크로, 프론티어 모델조차 태스크 성공률이 24% 미만이다. 본 연구에서는 이 설정이 여전히 어려운 이유를 이해하기 위해 포괄적인 실증 연구를 수행한다. 자연스러운 가설은 실패가 내용 접근 문제에서 비롯된다는 것이지만, 광범위한 문맥 학습 벤치마크인 CL-Bench에서 12가지 검색·반성·검증 기준선에 걸쳐 직접적인 전체 문맥 프롬프팅 대비 제한적인 성능 향상만이 관찰되었다. 추가적인 실패 분석은 핵심 발견을 드러낸다: 긴 문서 이해와 같은 일반적인 긴 컨텍스트 태스크와 달리, 문맥 학습은 로컬 내용의 복구뿐만 아니라 쿼리에 종종 명시되지 않고 문맥 전체에 분산되어 있는 로컬 명세—도메인 특화 형식, 로컬 규칙, 완전성 조건—의 습득도 요구한다. 31,592개의 루브릭 항목 전체에 걸쳐, 55.4%가 명세 습득을 명확히 평가하는 반면 내용 습득을 평가하는 항목은 22.6%에 불과했다. 또한, 명세의 76.7%가 사용자 쿼리에 명시되지 않음에도 불구하고 95.5%는 문맥에서 추적 가능하며, 이는 해당 명세들이 숨겨진 요구사항이 아닌 학습 가능한 의무임을 나타낸다. 이 진단을 검증하기 위해, 로컬 명세를 추출하고 적대적 검사 및 수정을 통해 이를 적용하는 의도적으로 단순한 개입 방법인 PSCI(private specification-contract induction)를 설계한다. PSCI는 CL-Bench에서 GPT-5.1로 최고 성능인 28.14%를 달성하며(절대값 +5.59 pp, 상대값 +24.8%), Qwen3.5-27B(+5.28 pp)와 Gemini 3 Pro(+6.17 pp)에서도 재현된다. 17가지 ablation 실험이 태스크 특화 명세의 역할을 추가로 분리한다. 전반적으로, 본 연구의 결과는 문맥 학습이 내용 습득뿐만 아니라 명세 습득에도 달려 있음을 시사한다.
대규모 언어 모델(LLM)은 수학의 열린 문제를 해결하는 데 있어 점점 더 높은 가능성을 보여주고 있다. 그러나 실제 수학적 실천에 맞게 설계된 에이전트 워크플로를 통해 성능을 더욱 향상시킬 수 있다. 이를 위해 우리는 저자-비평가(author-critic) 아키텍처를 사용하여 열린 문제를 해결하도록 설계된 수학 에이전트인 ProofCouncil을 소개한다. ProofCouncil은 에이전트가 10개의 실제 수학 문제를 자율적으로 풀어야 하는 챌린지인 FirstProof의 두 번째 배치에 제출물로 참가하였다. 10개 문제 중 6개에 대한 제출물이 심사위원으로부터 최소한의 수정만으로 올바른 것으로 판정받아, 참가 팀 중 최고 성능을 기록하였다. 또한 수학 연구자들로부터 수집한 30개의 열린 문제에 대해서도 ProofCouncil을 평가하였다. 인간 피드백을 받은 21개의 풀이 중 5개는 완전히 정확한 것으로 판정받았고, 2개는 최종 검증 후 유망한 것으로 판정받았으며, 추가로 8개는 유용한 부분적 진전을 담고 있었다. 이 단편 논문에서는 ProofCouncil의 개발 과정과 이를 만드는 데 사용된 에이전트 구축 라이브러리를 설명하며, 이를 커뮤니티에 오픈 소스로 공개한다.
비디오 이해는 폐쇄적 맥락 인식을 넘어 오픈월드 증거 탐험(exploration)으로 나아가고 있으며, 이러한 패러다임은 비디오 딥 리서치(VDR)로 공식화되고 있다. 그러나 기존의 멀티모달 검색 에이전트는 주로 정적 이미지를 대상으로 하며, 현재 VDR 벤치마크는 핵심 시각 정보를 폐기하는 텍스트 중심 검색에 의존한다. 이러한 한계를 해결하기 위해, 우리는 VDR을 위한 멀티툴 추론 능력을 비전-언어 모델(Vision-Language Model)에 부여하는 폐쇄 루프 에이전틱 프레임워크인 VideoSearcher를 제안한다. VideoSearcher는 시간적 로컬리제이션(temporal localization), 공간적 포커싱(spatial focusing), 멀티모달 검색을 단일 추론 궤적 내에 통합하여, 에이전트가 시각적 단서를 점진적으로 그라운딩하고, 관련 증거를 검색하며, 답변을 합성할 수 있도록 한다. 지식 집약적 추론 궤적을 최적화하기 위해, 우리는 도구 호출 최적화와 답변 정확도 최적화를 분리하는 강화학습 알고리즘인 이중 브랜치 시퀀스 정책 최적화(BiSPO, Bi-branch Sequence Policy Optimization)를 제안한다. 이 설계는 증거 기반 추론과 목적 지향적 도구 사용 모두에 안정적인 학습 신호를 제공한다. 나아가, 오픈월드 비디오 정보 그라운딩 및 멀티모달 검색 기반 추론을 평가하기 위한 최초의 벤치마크인 VideoSearch-QA를 구축한다. 광범위한 실험을 통해 VideoSearcher가 다양한 검색 지향 및 멀티모달 이해 벤치마크에서 기존 오픈소스 에이전틱 기준선을 크게 능가함을 입증한다.
멀티모달 대규모 언어 모델(LLM)은 짧은 클립에서는 뛰어난 성능을 보이지만, 제한된 메모리 환경에서 프레임을 점진적으로 처리하는 온라인 설정에서 수 시간 분량의 비디오를 다루는 데 어려움을 겪는다. 기존 온라인 방법들은 의미론적 구조가 부족한 간결한 시각적 표현을 유지하거나, 명시적 인과 관계가 아닌 시간적 근접성을 중심으로 구성된 고수준 메모리 저장소를 구축하여, 다단계 서술 추론을 매 쿼리마다 LLM이 재구성해야 하는 문제를 남긴다. 우리는 계층적 온라인 메모리 탐험 및 추론(Hierarchical Online Memory Exploration and Reasoning) 프레임워크인 \textsc{Homer}로 이 격차를 해소한다. \textsc{Homer}의 메모리는 원시 지각에서 반복 등장 개체, 명시적 시간적·인과 관계로 연결된 이벤트에 이르기까지 장시간 비디오의 다중 스케일 구조를 반영한다. 에이전틱 추론기는 인간의 방식처럼 이 메모리를 탐험하여 관련 장면을 찾고, 세부 정보를 조회하며, 다회 메모리 검색을 통해 답변을 구성하고, 각 단계를 검증 및 수정하는 하네스를 활용한다. \textsc{Homer}는 M3-Bench-robot, M3-Bench-web, Video-MME-Long에서 이전 최고 에이전트 방법보다 각각 $+5.5$, $+10.8$, $+4.4$점 높은 성능을 달성하며, 세 가지 다양한 LLM 백본 모두에서 일관되게 성능을 향상시켜 장시간 비디오에 대한 그라운딩된 검색에서 모델에 독립적인 구조적 능력을 보여준다.
과학적 아이디어 생성(scientific ideation)에서 사전 정의된 워크플로우의 한계를 극복하기 위해, 참조 아이디어를 오라클 가이던스로 활용하여 멀티 에이전트 시스템이 고품질 에이전트 궤적을 효율적으로 합성하는 Agentic-Ideation 프레임워크를 제안한다. 이 방법은 기존 워크플로우 기반 최신 기법 대비 전체 품질에서 11.91% 향상을 달성하고, 고품질 데이터 합성의 샘플 효율을 10배 이상 개선하였다.
대규모 언어 모델(LLM) 에이전트가 내부 직장 문서 아카이브에서 흩어진 근거를 찾고 용어·단위·시간 표기 불일치를 조정해 답을 계산하는 아카이브 기반 추론을 평가하기 위해, 362개 질문과 8개 도메인·9,664개 문서·372M 토큰으로 구성된 Agora 벤치마크를 제안한다. 에이전트 파이프라인으로 교차 문서 과제를 합성하고 누출 방지 난독화와 난이도 필터를 적용했으며, 8개 모델 평가에서 최고 성능도 59.4% 정확도에 그치고 도메인별 편차가 크다.
언어 모델은 의료 질의응답에서 현저히 뛰어난 능력을 보이며, 경우에 따라서는 일반 의사의 정확도를 능가하기도 합니다. 그러나 웨어러블 건강 데이터에 대한 질문에 답하는 것은 여전히 어렵고 연구가 부족한 분야입니다. 이는 범용적인 센서들이 연속적이고 고차원적이며 종단(longitudinal) 데이터를 생성하는데, 이를 LLM 사전학습의 텍스트 중심 분포와 정렬하는 것은 쉽지 않기 때문입니다. 센서 모달리티와 사용자 의도의 다양성은 고정된 추론 워크플로우나 단일 사전학습된 파운데이션 모델로는 효과적으로 처리할 수 없습니다. 이러한 문제를 해결하기 위해, 우리는 LLM 추론과 전문화된 웨어러블 분석 및 모델링 도구를 통합하는 쿼리 적응형 에이전트 프레임워크인 WEQA를 제안합니다. LLM 컨트롤러를 사용하여 실행 계획을 수립하고, 각 쿼리를 센서 분석 및 사전학습 모델의 적절한 조합으로 동적으로 라우팅하며, 외부 지식을 활용하여 그라운딩된 응답 감사를 수행합니다. 또한 3가지 다른 건강 도메인의 분석 및 예측 작업을 포함하는 4개의 공개 웨어러블 데이터셋에 걸친 벤치마크를 구성했습니다. 실험 결과, 우리의 프레임워크는 LLM 및 에이전트 기반 베이스라인보다 24% 더 높은 정확도를 보였으며, 12명의 의료 전문가와 8명의 사용자를 대상으로 한 맹검 연구에서 유용성과 임상적 타당성 측면에서 상당한 향상이 있음을 확인했습니다.
에이전트 강화학습은 대규모 언어 모델(LLM)이 외부 도구 사용을 교차하여 긴 사고의 연쇄(Chain-of-Thought) 궤적을 통해 추론할 수 있도록 발전시켰습니다. 기존 접근 방식은 고정된 도구 목록을 가정하므로, 새롭거나 진화하는 도구 세트에 대한 LLM 에이전트의 적응성이 제한됩니다. 본 논문에서는 추론 궤적 전반에 걸쳐 LLM 에이전트에게 동적 도구 선택 능력을 부여하는 학습 프레임워크인 AutoTool을 제시합니다. AutoTool은 (i) 일관된 추론을 위한 SFT 및 RL 기반 궤적 안정화, (ii) 일관된 다단계 도구 선택을 정교화하기 위한 KL 정규화된 Plackett-Luce 랭킹의 이중 단계 최적화 파이프라인을 사용합니다. 또한 수학, 과학, 코드 생성, 멀티모달 추론에 걸친 1,000개 이상의 도구와 100개 이상의 작업에서 명시적인 도구 선택 근거를 포함하는 20만 개의 데이터셋을 구축했습니다. 10개의 다양한 벤치마크에 대해 AutoTool을 사용하여 Qwen3-8B 및 Qwen2.5-VL-7B 두 가지 기본 모델을 학습시켰습니다. 더 적은 파라미터로도 AutoTool은 고급 LLM 에이전트 및 도구 통합 방법보다 일관되게 우수한 성능을 보였으며, 수학 및 과학 추론에서 평균 6.4%, 검색 기반 QA에서 4.5%, 코드 생성에서 7.7%, 멀티모달 이해에서 6.9%의 향상을 달성했습니다. 또한, AutoTool은 추론 과정에서 진화하는 도구 세트의 미지의 도구를 동적으로 활용하여 더 강력한 일반화 성능을 나타냅니다.