arXiv:2404.15406

Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMs

Davide Caffagni, Federico Cocchi, Nicholas Moratelli, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

제출 2024-04-23

원문 초록

Multimodal LLMs are the natural evolution of LLMs, and enlarge their capabilities so as to work beyond the pure textual modality. As research is being carried out to design novel architectures and vision-and-language adapters, in this paper we concentrate on endowing such models with the capability of answering questions that require external knowledge. Our approach, termed Wiki-LLaVA, aims at integrating an external knowledge source of multimodal documents, which is accessed through a hierarchical retrieval pipeline. Relevant passages, using this approach, are retrieved from the external knowledge source and employed as additional context for the LLM, augmenting the effectiveness and precision of generated dialogues. We conduct extensive experiments on datasets tailored for visual question answering with external data and demonstrate the appropriateness of our approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27279v1cs.AI공통 태그 Question Answering, Retrieval, Retrieval-augmented Generation

EnSIMem: 장기 에이전트 메모리를 위한 개체 구조화 색인

EnSIMem: Entity-Structured Indexing for Long-Term Agent Memory

오랜 기간 동안 사용자와 상호작용하는 에이전트는 지속적으로 증가하는 상호작용 기록에서 사실, 선호도, 사건 및 변화를 상기(recall)할 수 있어야 합니다. 기존 메모리 시스템은 상호작용을 일반적인 요약본으로 압축하거나 익명의 텍스트 청크를 검색하는 경우가 많아, 에이전트가 올바른 개체(entity), 속성(property) 및 뒷받침하는 근거를 식별하기 어렵게 만듭니다. 본 논문에서는 에이전트를 위한 개체 구조화 장기 메모리 아키텍처인 EnSIMem을 제안합니다. 오프라인 구축 단계에서 이 시스템은 상호작용을 주제 일관성을 갖는 에피소드로 구성하고, [개체][개체 유형][속성:값] 형태의 대화 기반 색인 항목을 생성합니다. 각 항목은 원래의 대화 턴(turn), 시간 정보 및 사용 가능한 멀티모달 필드를 보존합니다. 온라인 상호작용 단계에서는 에이전트의 요청이 메모리 색인과 속성이 정렬된 근거 요구사항으로 분해됩니다. 이후 개체-속성 조회 및 적응형 검색을 통해 포인트, 시간적, 구성적, 집계 추론에 필요한 근거를 수집합니다. 에이전트는 정보 손실이 있는 메모리 요약본 대신 보존된 원본 근거로부터 응답을 생성합니다. 장기 에이전트 메모리 벤치마크에서 EnSIMem은 간결한 컨텍스트와 우수한 온라인 효율성을 유지하면서도 높은 답변 정확도를 달성합니다. 이러한 결과는 개체 구조화 색인과 에피소드 수준의 출처 추적이 에이전트의 장기 메모리를 위한 신뢰할 수 있는 기반을 제공함을 보여줍니다. 모델의 코드는 https://github.com/RamonMeng/EnSIMem 에서 확인할 수 있습니다.

arXiv:2609.27297v1cs.AI공통 태그 Question Answering, Retrieval, Retrieval-augmented Generation

대규모 지식 모델: 논문에서 과학적 추론 지형으로

Large Knowledge Model: From Papers to a Scientific Reasoning Landscape

축적된 과학적 지식은 이전의 발견이 연구자들로 하여금 새로운 연구 질문을 선택하고, 조사를 설계하며, 결과를 해석하는 데 기여할 때 학문적 탐구를 발전시킵니다. 이러한 가치를 대규모로 실현하려면 연구 문제, 과학적 절차, 결론, 그리고 증거를 연결하는 추론에 접근할 수 있어야 합니다. 본 연구에서는 학술 문헌을 공유 가능하고 계산적으로 접근 가능한 추론 자원으로 변환하는 과학적 지식 인프라인 대규모 지식 모델(Large Knowledge Model, LKM)을 소개합니다. LKM은 논문을 출처에 기반한(source-grounded) 추론 그래프로 표현하고, 동일한 객체에 대한 구조적 순회(structural traversal)와 의미론적 검색(semantic retrieval)을 결합하며, 여러 논문에 걸쳐 관련된 질문, 주장 및 추론 연쇄(reasoning chains)를 정렬합니다. 이러한 표현은 세 가지 연결된 뷰로 구성된 과학적 추론 지형(Scientific Reasoning Landscape)을 형성합니다. 즉, 연구 문제와 미해결 연구 방향을 구성하는 질문 지형(Question Landscape), 재사용 가능한 과학적 절차를 제시하는 워크플로 지형(Workflow Landscape), 결론을 그에 대한 지지, 불일치 및 조건과 연결하는 증거 지형(Evidence Landscape)입니다. 이 통합된 기반은 추론을 인식하는 과학적 검색, 증거 기반 질의응답, 비교 증거 분석, 연구 계획 수립을 지원합니다. 연구자와 에이전트(agent)는 과학적 의도를 통해 관련 연구를 검색하고, 검토 가능한 뒷받침 논거를 바탕으로 답변을 종합하며, 기존 워크플로와 아직 해결되지 않은 증거를 참고하여 연구 계획을 개발할 수 있습니다. 본 연구에서는 코퍼스 규모의 시스템을 설명하고, 과학적 검색 및 지식 집약적 질의응답을 평가합니다. 답변 모델을 고정한 상태에서 LKM 검색은 ChemBench, PubMedQA, SciBench에서 각각 9.30%, 4.20%, 14.69%의 정확도 향상을 달성합니다. 지식 접근을 과학적 추론 및 행동과 연결함으로써, LKM은 관련 연구 탐색, 과학적 지식 재사용, 그리고 연구자, 에이전트, 연구 주기 전반에 걸친 누적적 탐구 조율을 위한 공통 기반을 제공합니다.

arXiv:2609.23971v1cs.AI공통 태그 Question Answering, Retrieval, Retrieval-augmented Generation

UniK: 디지털 AI와 물리 AI를 위한 범용 지식 인식

UniK: Universal Knowledge Perception for Digital and Physical AI

조직의 운영 방식을 바꾸고 있는 두 가지 혁신적인 AI 시스템 유형이 있다. 하나는 기업 지식 위에서 추론하여 챗봇과 에이전트 워크플로를 구동하는 디지털 AI(digital AI)이고, 다른 하나는 영상, 게임플레이, 센서 원격 측정(telemetry)으로부터 로봇과 자율 시스템의 제어를 학습하는 물리 AI(physical AI)이다. 둘 다 동일한 근본적 병목에 직면한다. 이질적 모달리티에 걸친 대규모 원시 지식이 사설 코퍼스에 갇혀 있어, 기존 AI 인프라가 이를 신뢰성 있게 또는 효율적으로 접근하지 못한다는 점이다. 본 논문은 범용 지식 인식(Universal Knowledge Perception, UniK)을 두 유형 모두를 아우르는 공통 플랫폼으로 제안한다. 풍부한 텍스트와 영상부터 분자 데이터 및 센서 원격 측정에 이르는 다양한 모달리티에 걸쳐, 수집(ingestion), 강화(enrichment), 색인(indexing), 검색(retrieval), 지속적 평가(evaluation)를 포함하는 지식 전 생애주기 전반을 다룬다. 과제별 미세조정 없이, 자동으로 강화된 색인에 대한 다중 색인 융합(multi-index fusion)인 Polymath Retrieval 위에 구축된 UniK를 제시한다. 의학 문헌, 개방형 QA, 화학, 법률 영상 절차, 정부 공개 데이터 등 다섯 디지털 AI 도메인에서, 오픈소스 700억 매개변수 모델과 결합한 UniK는 차수적으로 더 큰 프론티어 독점 LLM과 지속적으로 동등하거나 그 이상의 성능을 보였다. 정부 데이터에서 RAG 정확도 76%(GPT-5는 47%), 미세조정 없이 의학 QA에서 77.9%, 모든 오픈소스 화학 파이프라인을 상회했다. 동일한 인프라가 물리 AI 월드 모델 학습이 직면한 데이터 큐레이션, 색인, 검색 과제를 직접 해결할 수 있음을 보이며, 해당 영역에서는 지식 문제가 더 어렵지만 구조적으로 동일하다.

arXiv:2609.23121v1cs.CV공통 태그 Question Answering, Retrieval, Visual Question Answering

MM-ContextFold: 멀티모달 에이전틱 검색을 위한 컨텍스트 폴딩

MM-ContextFold: Context Folding for Multimodal Agentic Retrieval

멀티모달 에이전틱 검색(Multimodal Agentic Retrieval, MAR)은 에이전트가 외부 도구를 반복적으로 호출하여 복잡한 정보 탐색 작업을 해결할 것을 요구한다. ReAct와 같은 일반적인 프레임워크는 원본 멀티모달 입력과 누적되는 상호작용 이력을 단일한, 계속 커지는 컨텍스트에 유지하며, 이는 컨텍스트 폭발 문제로 이어진다. 기존 방법들은 중복된 텍스트를 압축함으로써 이 문제를 완화하지만, 토큰 소모가 큰 시각적 콘텐츠를 관리하는 효과적인 전략은 여전히 대부분 충분히 연구되지 않았다. 이러한 격차를 해소하기 위해, 우리는 먼저 약 1만 개의 궤적(trajectory)에 대한 체계적인 실증 연구를 수행한다. 그 결과, 시각적 단서가 외부 도구를 통해 점진적으로 추출되어 컨텍스트에 텍스트화됨에 따라 원본 이미지가 점점 더 중복되는 것으로 나타났다. 이미지를 계속 유지하는 것은 더 높은 출력 엔트로피와 관련이 있으며, 심지어 작업 정확도를 저하시킬 수도 있다. 이러한 발견에 착안하여, 우리는 필요할 때만 원본 이미지를 불러오는 학습이 필요 없는(training-free) 프레임워크인 MM-ContextFold를 제안한다. 이 프레임워크는 상위 수준의 계획(planning)을 위해 텍스트만으로 구성된 영속적인 메인 컨텍스트를 유지하며, 이미지에 의존하는 하위 작업을 위해 일시적인 분기 컨텍스트(branch context)를 생성한다. 각 분기 내에서 에이전트는 관련 이미지를 불러와 하위 작업을 완료한 뒤, 그 결과를 간결한 텍스트 요약으로 메인 컨텍스트에 다시 접어 넣는다(fold back); 이후 이미지와 분기 흔적(branch trace)은 폐기된다. 다섯 개의 백본 모델에 걸친 일곱 개의 MAR 벤치마크에서의 실험 결과, MM-ContextFold는 ReAct 대비 평균 정확도를 6.3퍼센트 포인트 향상시키는 동시에 작업 컨텍스트 길이를 27.5% 줄이는 것으로 나타났다.

arXiv:2609.23601v1cs.CV공통 태그 Question Answering, Retrieval, Visual Question Answering

PREM: 장시간 비디오 이해를 위한 접두 문맥 기반 순환 메모리

PREM: Prefix-Steered Recurrent Memory for Long-Video Understanding

장시간 비디오 이해(long-video understanding)는 엄격한 토큰(token) 예산 하에서 일시적인 시각적 증거를 포착해야 하지만, 기존 방법들은 프레임을 압축하거나, 메모리 토큰을 추가하거나, 내부 키-값(KV) 캐시를 변경한다. 본 논문에서는 고정된(frozen) 비전-언어 모델(VLM)을 위한 메모리 토큰이 필요 없는 프레임워크인 접두 문맥 기반 순환 메모리(Prefix-Steered Recurrent Memory, PREM)를 제안한다. PREM은 비디오 수집(ingestion)과 질의 응답을 분리한다: 순환 작성기(recurrent writer)가 시각적 스트림을 256 KiB 크기의 컴팩트한 다중 슬롯 연상 상태(multi-slot associative state)로 증류(distill)하는 동안, 질문 조건부 판독기(question-conditioned readout)는 프리필(prefill) 과정에서 메모리에서 유래한 키/값(K/V) 조향(steering) 변조를 기존의 비시각적 프롬프트 접두 문맥에 추가한다. 이를 통해 추가적인 프롬프트 토큰이나 디코딩 순환(recurrence) 없이 한 번 작성하고 여러 번 질의하는(write-once, query-many) 추론이 가능해진다. 오프라인 및 스트리밍 종료 시점(end-of-stream) 설정에서 6개의 장시간 비디오 벤치마크(benchmark)에 걸쳐, PREM은 평가된 모든 시각 예산 수준에서 고정(frozen) 베이스라인을 일관되게 능가한다. 16프레임으로 제한된 예산 하에서, PREM은 Qwen2.5-VL-3B에서 매크로 평균 정확도를 3.06% 향상시키며, 행동 반의어 식별(action antonym identification)에서 11.0%, 국소화된 니들 검색(localized needle retrieval)에서 9.9%의 향상을 보인다. 이러한 향상은 백본(backbone) 파라미터의 0.24%만을 튜닝하고, 최대 GPU 메모리 오버헤드 0.03 GiB만을 필요로 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.