다단계 임베딩 검색을 통한 시각적 공간에서의 경로 탐색 학습
Learning to Route in Visual Space via Multi-Step Embedding Retrieval
한국어 초록
대규모 언어 모델(LLM) 에이전트는 외부 지식에 접근하기 위해 검색 도구에 의존하지만, 시각적 에이전트 탐색은 여전히 표준 단일 단계 검색기로 인해 심각한 병목 현상을 겪고 있습니다. 현재의 파이프라인에서는 에이전트가 모든 중간 단계마다 텍스트 쿼리를 생성해야 하므로, 시각적 단서를 설명하기 어렵거나 검색기가 상위 결과 내에 필요한 중간 증거를 제시하지 못할 때 어려움을 겪습니다. 본 논문에서는 전체 임베딩 공간에 걸친 다단계 탐색을 검색 도구로 직접 위임함으로써 이러한 성능 병목 현상을 해결할 수 있다는 가설을 세웁니다. 이를 체계적으로 연구하기 위해 시각적 매칭과 검색 계획을 모두 테스트하는 5가지 핵심 난이도를 갖춘 유연한 데이터 생성 프레임워크이자 벤치마크인 VHOP을 소개합니다. 이 프레임워크를 바탕으로 지도 미세조정(supervised fine-tuning), 온라인 모방 학습, 강화학습을 결합하여 표준 임베딩 모델을 자기회귀적 다단계 검색기로 변환하는 엔드투엔드 학습 파이프라인인 VHOP-Router를 개발했습니다. 시각적 잠재 공간(latent space)에서 직접 동작하는 VHOP-Router는 에이전트가 중간 텍스트 쿼리를 작성할 필요 없이 단 한 번의 도구 호출로 연결된 이미지 체인을 검색합니다. 실험 결과에 따르면 VHOP-Router는 검색 성능을 5% 미만에서 76.3%로 크게 향상시킵니다. 에이전트 탐색에서 작업 성공률을 52.7% 향상시키고 평균 토큰 길이를 1886개에서 728개로 61% 감소시킨 반면, 에이전트 자체를 업그레이드했을 때는 3.7%의 성능 향상에 그쳤습니다. 에이전트가 단계마다 상위 50개 결과를 검색하는 강력한 기준선과 비교했을 때, VHOP-Router는 문맥 내(in-context) 이미지를 23배 줄이고 누적 API 페이로드를 35배 절감하면서도 우수한 성능을 유지합니다. 또한 이 모델들은 학습 시 보지 못한 난이도와 실제 테스트 세트에서도 견고한 일반화 성능을 보입니다. 궁극적으로 VHOP과 VHOP-Router는 고유한 LLM 기능을 완전히 온전하게 유지하면서 시각적 에이전트 탐색을 위한 효율적이고 효과적인 솔루션을 제공합니다.
원문 초록
LLM agents rely on retrieval tools to access external knowledge, yet visual agentic search remains severely bottlenecked by standard single-step retrievers. In current pipelines, the agent must issue text queries for every intermediate step, struggling when visual clues are difficult to describe or when the retriever fails to surface necessary intermediate evidence within its top results. We hypothesize that offloading multi-step navigation across the entire embedding space directly to the retrieval tool resolves this performance bottleneck. To study this systematically, we introduce VHOP, a flexible data generation framework and benchmark with five core difficulty levels testing both visual matching and search planning. Using this framework, we develop VHOP-Router, an end-to-end training pipeline---combining supervised fine-tuning, online imitation learning, and reinforcement learning---that transforms a standard embedding model into an autoregressive multi-step retriever. Operating directly in the visual latent space, VHOP-Router retrieves linked image chains in a single tool call without requiring the agent to formulate intermediate text queries. Experiments show VHOP-Router boosts retrieval performance from under 5\% to 76.3\%. In agentic search, it improves task success rates by 52.7\% and reduces the average token length by 61\% from 1886 to 728, whereas upgrading the agent yields only a 3.7\% gain. Compared to a strong baseline where the agent retrieves the top 50 results per step, VHOP-Router maintains superior performance while reducing in-context images by $23\times$ and cutting the cumulative API payload by $35\times$. The models also generalize robustly to unseen difficulty levels and realistic test sets. Ultimately, VHOP and VHOP-Router provide an efficient and effective solution for visual agentic search that leaves native LLM capabilities entirely intact.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링
Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.
AX는 새로운 AEO이다
AX is the New AEO
2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.
정규화의 입증 가능한 이점: 적대적 모방 학습을 위한 빠른 수렴률
Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning
우리는 적대적 모방 학습(adversarial imitation learning, AIL)을 연구한다. AIL에서 에이전트(agent)는 전문가(expert) 행동과 학습자(learner) 행동을 구별하는 적대적 보상(reward)에 대해 정책(policy)을 최적화함으로써 전문가의 시연(demonstration)을 모방하는 법을 학습한다. 역사적으로 보상 정규화(regularization)와 엔트로피 기반 정책 정규화는 GAIL, LS-IQ와 같이 경험적으로 성공을 거둔 방법들의 핵심 구성 요소였지만, 유한 샘플(finite-sample) 환경에서의 이점은 아직 충분히 탐구되지 않았다. 우리는 일반적인 함수 근사(function approximation)를 사용하는 유한 구간(finite-horizon) 마르코프 결정 과정(Markov decision process)에서 공동으로 정규화된 AIL에 대한 빠른 수렴률을 도출한다. 우리의 모델 프리(model-free) 알고리즘인 Dually Regularized AIL은 KL 정책 정규화와 전문가 및 학습자의 점유율(occupancy)로 가중된 2차(quadratic) 보상 페널티를 결합한다. K개의 온라인 에피소드와 N개의 전문가 경로(trajectory)가 주어졌을 때, 고정된 정규화 파라미터에 대해 정규화된 모방 격차(imitation gap)에 대한 $\widetilde{O}\left(\frac{1}{K}+\frac{1}{N}\right)$ 경계(bound)를 증명한다. 우리의 분석은 유한한 전문가 데이터와 확률적(stochastic) 학습자 피드백으로 인한 추정 오차를 제어하기 위해 일반적인 컨벡스(convex) 보상 클래스에 대한 온라인 미러 디센트(mirror descent) 구성과, 낙관적(optimistic) KL 정규화 정책 학습에 대한 정교한(sharp) 분석을 결합한다. 우리가 아는 한, Dually Regularized AIL은 확률적 전문가(stochastic expert)가 존재하는 경우에도 이러한 정규화된 AIL 목적함수에 대해 전문가 시연과 온라인 상호작용(interaction) 양쪽 모두에서 $\widetilde{O}\left(\frac{1}ε\right)$ 샘플 복잡도(sample complexity)를 동시에 달성한 최초의 알고리즘이다. 이러한 결과는 AIL에서 보상 정규화와 정책 정규화가 갖는 상호 보완적인 통계적 이점을 엄밀하게 규명한다.
경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프
On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor
검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.
월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)
How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling
월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.