PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01871v1cs.CR

임베딩 공간 탐색: 멀티모달 RAG로부터의 데이터스토어 추출

Walking the Embedding Space: Datastore Extraction from Multimodal RAG

멀티모달 검색-증강 생성(MRAG)은 멀티모달 대규모 언어 모델(MLLM)의 생성 능력을 관련성 높고 최신의 외부 지식에 그라운딩(grounding)하는 신뢰성 있고 비용 효율적인 기법으로 부상했습니다. 환각(hallucination) 동작 완화와 같은 여러 이점을 제공함에도 불구하고, 개인정보 유출 및 데이터 추출 공격에 대한 취약성을 포함한 새로운 공격 표면 또한 초래합니다. 본 논문에서는 검색된 시각적 아티팩트 자체가 응답이 되는 구성인 \emph{image-returning} MRAG를 대상으로 블랙박스 환경에서 동작하는 적응형 자동 데이터 추출 공격 절차인 $\immrag$를 소개합니다. 각 쿼리는 공격자가 보유한 섀도우(shadow) 이미지와 시스템으로부터 이미 복구된 이미지를 혼합하며, 관련성 가중 재샘플링을 통해 후속 쿼리를 여전히 새로운 검색 결과를 산출하는 임베딩 공간 영역으로 유도합니다. 텍스트 프롬프트 형태로 악의적인 쿼리를 배치하여 모델이 데이터를 유출하도록 유도하는 기존 추출 공격과 달리, $\immrag$는 사용자가 제공하는 입력 이미지 내에 악의적인 지침을 임베딩합니다. 우리는 의료 보조, 문서 중심 도우미, 범용 도구라는 타당하고 뚜렷이 구별되는 세 가지 실제 시나리오에서 $\immrag$를 평가합니다. 실험에는 다양한 CLIP 계열 검색기(retriever)에 대한 공격 효과 분석과 여러 생성기(generator)의 영향 연구가 포함됩니다. 단 2500회 쿼리 실행만으로 로컬 특징(local-feature) 대응 하에 최대 611개의 고유한 방사선 이미지, 566개의 문서 스캔, 416개의 범용 이미지를 재구성하며, 비적응형 기준선(baseline) 대비 최대 $5.6\times$ 더 많은 고유 데이터스토어 항목을 확보합니다. 우리의 결과는 멀티모달 데이터에 맞게 특별히 설계된 안전장치의 시급한 필요성을 보여줍니다.

arXiv:2609.23769v1cs.CV

PRISM-RAG: 담배 제품 및 입법 정책 추론을 위한 멀티모달 하이퍼그래프 검색-증강 생성

PRISM-RAG: Multimodal Hypergraph Retrieval-Augmented Generation for Tobacco Product and Legislative Policy Reasoning

관할권 간 의미적으로 유사한 법령 문구를 구분하는 문제는 기존 방법으로는 해결되지 않는 검색(retrieval) 문제이다. 이러한 문맥 간 충돌은 생성 모델이 주제적으로는 관련 있으나 관할권상으로는 잘못된 출처에 근거한, 확신에 찬 답변을 내도록 이끌 수 있다. 담배 및 니코틴 규제는 미국 관할권마다 달라 종종 유사한 표현을 공유하므로, 견고한 추론을 위해서는 관련 문장만 검색하는 것이 아니라 특정 제품에 어떤 관할권의 법이 적용되는지 식별해야 한다. 신규 제품(예: 파우치)은 모호한 정의를 이용해 규제를 회피한다. 최신(SOTA) 문서 검색-증강 생성(RAG) 방법은 이러한 문맥 간 충돌을 다루기 어려워, 이미지 속성(예: 풍부한 속성 캡션)과 유사한 법령 텍스트 집합을 연결하는 데도 어려움을 겪는다. 우리는 NicoPRISM(Nicotine Product and Regulation Image-and-Text Surveillance Multimodal)을 제안하며, 이는 161,563장의 이미지, 속성 캡션, 13개 미국 관할권에 걸친 제품·보건·입법 문서 지식 베이스, 그리고 정책 준수 QA와 제품 지식 QA 두 과제에 걸친 1,495개의 검증된 질의-응답 쌍으로 구성된다. 또한 PRISM-RAG를 제안한다. 이는 이미지, 캡션, 엔티티 위에 구축된 멀티모달 하이퍼그래프 RAG 프레임워크로, 인덱싱 시점에는 LLM 호출 없이 모든 질의를 제품 이미지에 그라운딩(grounding)하고, 질의된 관할권의 법령 텍스트가 구조적으로 언어 모델에 전달되도록 관할권 인식 문맥 조립 메커니즘을 통해 검색을 라우팅한다. PRISM-RAG는 정책 준수 질의의 93.9%에서 올바른 관할권의 구절을 검색하며, 표준 RAG 대비 48.6%p 우위(p<0.001)를 보인다. 인덱싱 시점 LLM 호출은 0회, 쿼리 시점 1회이며, 키워드·의미·관할권·준수 정확도 지표에서 최신 RAG 프레임워크와 동등하거나 더 나은 성능을 낸다.

arXiv:2607.22643v1cs.AI

검색 전에 추론하라: 멀티모달 RAG를 위한 에이전트적 계획

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

멀티모달 검색-증강 생성(mRAG)은 외부 지식을 활용해 이미지-텍스트 쿼리에 답하는 것을 목표로 하지만, 기존 대부분의 시스템은 평탄한 증거 공간에서 원시 멀티모달 입력으로부터 직접 검색한다. 이 설계는 두 가지 핵심 과제에서 종종 어려움을 겪는다. 질문 의도를 올바른 시각적 지시 대상(referent)에 그라운딩(grounding)해야 하므로 검색 대상이 불충분하게 명시되고, 검색 공간의 구조가 약해 의미적으로 구별되는 증거가 단일 전역 순위 단계에서 경쟁하게 된다. 우리는 검색 전에 추론하며 무엇을 검색할지와 어디서 검색할지를 명시적으로 모델링하는 멀티모달 에이전트 기반 검색 프레임워크인 MM-R2를 제안한다. MM-R2는 먼저 이미지-질문 쌍으로부터 의도 기반 검색 상태를 구성하여 정보 필요, 그라운딩된 지시 대상, 검색 제약을 포착한다. 이어 구조화된 KnowledgeMap 위에서 검색을 수행하며, 에이전트는 해당 단위 내에서 그라운딩된 쿼리를 발행하기 전에 관련 검색 단위를 선택한다. 이 능력을 가능하게 하기 위해 다단계 검색 과정의 대규모 궤적 데이터셋인 MM-R2-Traj를 구축하고, 지도 미세조정과 GRPO를 활용한 2단계 사후 학습 전략을 채택한다. Infoseek 및 Encyclopedic VQA 데이터셋에서의 실험은 MM-R2가 답변 정확도에서 강력한 베이스라인을 크게 능가할 뿐만 아니라, 더 해석 가능하고 검증 가능한 검색 궤적을 생성함을 보여준다.

arXiv:2607.10798v1cs.CL

융합 전 신뢰 검증: 오염된 멀티모달 RAG를 위한 QIMG-7 및 소스 인식 해석 방법

Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG

멀티모달 검색-증강 생성(RAG)은 주로 깨끗한 증거로 평가되지만, 실제 검색에서는 주제적으로 관련이 있으나 신뢰하기 어려운 콘텐츠가 반환될 수 있다. 이는 손상된 메타데이터, 개체 교체, 타이포그래피 오버레이, 의미론적 편집, 적대적 패치, 혼합, 스타일 전이 등으로 인한 잘못된 텍스트와 오해를 유발하는 이미지를 포함한다. 본 논문에서는 다중 문장 사실 기반 QA에서의 멀티모달 검색 오염을 위한 통제된 벤치마크인 QIMG-7을 소개한다. QIMG-7은 4개의 데이터셋, 7가지 이미지 공격 유형, 16개의 깨끗한/오염된 페어 레짐을 포함하며, 방법당 1,760개의 평가 행으로 구성된다. 4가지 생성기/게이트 스택에 걸쳐 단순 멀티모달 융합은 취약한 것으로 나타났다. 주요 gpt-4o-mini 스택에서 Full-MM 지원 점수는 깨끗한 텍스트에서 0.908이었으나 오염된 텍스트에서 0.490으로 하락하였으며, 이는 종종 검색보다 매개변수 기반(Parametric) 폴백이 더 안전함을 시사한다. 우리는 학습이 불필요한 방법인 소스 인식 신뢰 해석(SATR, source-aware trust resolution)을 제안한다. 이 방법은 매개변수 기반(Parametric), 텍스트 전용(Text-only), 전체 멀티모달(Full-MM) 후보 답변을 비교하여 소스 신뢰도에 따라 후보 답변을 선택하거나 폴백한다. Field-Selector 변형이 최고의 균형 점수인 0.816을 달성하였으며, 이는 Full-MM 대비 11.7포인트, 연쇄 라우터(Cascaded Router) 대비 2.7포인트 향상된 결과이다. 절제 실험(ablation)에 따르면, 이 텍스트 우선 설정에서 명시적인 텍스트 신뢰도 모델링이 성능 향상의 주된 요인임을 보여준다. 전반적으로, 멀티모달 검색 충돌이 있는 텍스트 우선 사실 기반 QA 환경에서 본 연구 결과는 무조건적 융합보다 선택적 신뢰가 적합함을 지지한다. 관련 자료는 https://github.com/SaadElDine/Trust_Before_Fusion 에서 확인할 수 있다.

arXiv:2607.05438v1cs.IR

모달리티 관련성은 모달리티 유용성이 아니다: 비용 인식 멀티모달 RAG를 위한 사후 선택적 모달리티 에스컬레이션

Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG

멀티모달 RAG에서 모달리티의 관련성(relevance)이 실제 유용성(utility)을 예측하지 못한다는 문제를 지적하며, 검색 전 라우팅 대신 텍스트·표로 초안을 생성한 뒤 검증기로 누락된 모달리티를 식별해 필요한 경우에만 VLM을 호출하는 사후 선택적 모달리티 에스컬레이션(post-hoc selective modality escalation) 방법을 제안한다. MultiModalQA 실험에서 제안 방법은 항상 VLM을 사용하는 파이프라인과 거의 동일한 정확도를 유지하면서 시각적 호출 횟수를 크게 줄였다.

arXiv:2606.17449v1cs.CL

MODE-RAG: 다양체 이상치 진단 및 에너지 기반 검색-증강 생성 평가

MODE-RAG: Manifold Outlier Diagnosis and Energy-based Retrieval-Augmented Generation Evaluation

다중모달 검색-증augmented 생성(M-RAG)은 대규모 비전-언어 모델을 향상시키지만, 교차 모달 환각, 인과적 허구, 아첨(sycophancy)에 매우 취약하다. 또한 기존 완화 파이프라인은 종종 개입 역설에 직면한다. 정적 규칙은 불필요하게 정확한 생성을 방해하는 경향이 있는 반면, 다중모달 추론을 완전히 무안내로 두면 기존 불일치가 심각한 논리적 허구로 연쇄적으로 확대될 수 있다. 이러한 환각을 정량화하고 완화하기 위해, 우리는 변분 자유 에너지(VFE)와 내부 어텐션 상태에 의해 구동되며 개입을 동적으로 게이팅하는 다중 에이전트 시스템 MODE-RAG를 제안한다. 고위험 쿼리는 다섯 개의 단계별 에이전트로 라우팅되며, 엄밀한 인과 도출을 위해 몬테카를로 트리 탐색(MCTS)을 통합하고 아첨을 억제하기 위해 로짓 교란을 적용한다. 전담 Correction 및 Overseer 에이전트는 형식 안정성을 보장하고 사후 사실 검증을 수행한다. 우리의 접근법을 객관적으로 평가하기 위해, MultiVent 데이터셋에서 파생된 도전적인 부분집합 ModeVent를 도입한다. 광범위한 실험은 우리 시스템이 환각률과 논리적 허구를 효과적으로 줄이고 M-RAG 시스템의 견고성을 크게 향상시킨다는 것을 보여준다.