도표가 이야기를 들려주도록 돕기! 복잡한 과학 도표를 설명하는 논문 기반 비디오 생성
Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures
한국어 초록
과학 도표는 복잡한 파이프라인을 하나의 캔버스로 압축하지만, 이를 이해하기 위해서는 시각적 하이라이트와 정렬된 논문 기반의 단계별 설명이 필요합니다. 이는 현재 비디오 생성 시스템과 벤치마크에서 결여된 기능입니다. 이를 해결하기 위해 우리는 논문 기반 도표-비디오 생성(figure-to-video generation)을 소개합니다. 이는 도표와 해당 논문을 사용하여 설명이 포함되고 영역 그라운딩(grounding)된 워크스루 비디오를 생성하는 방식입니다. 우리는 논문 기반 설명을 생성하고 이를 도표 영역에 순차적으로 그라운딩(grounding)하는 파이프라인인 MINARD를 제안합니다. 또한, 새로운 순차적 및 구성 요소 수준의 그라운딩(grounding) 메트릭(지표)이 포함된 FigTalk 벤치마크를 공개합니다. FigTalk에서 MINARD는 사람과 같고 논문에 충실한 설명을 생성하며, 자동 및 인간 평가 모두에서 기존 접근 방식보다 설명 조건부 도표 공간 그라운딩(grounding) 성능이 뛰어납니다.
원문 초록
Scientific figures compress complex pipelines into a single canvas, yet understanding them requires paper-grounded, step-by-step narration aligned with visual highlights a capability missing from current video generation systems and benchmarks. To address this, we introduce paper-grounded figure-to-video generation: generating narrated, region-grounded walkthrough videos from a figure and its paper. We propose MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition), a pipeline that generates paper-grounded narrations and sequentially grounds them to figure regions. We also release FigTalk, a benchmark with new sequential and component-level grounding metrics derived. On FigTalk, MINARD generates humanlike, paper-faithful narrations and outperforms narration-conditioned figure spatial grounding compared to existing approaches in both automatic and human evaluation
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12576v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증
Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.
EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축
EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability
기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.
CAGE: 장문 질의응답에서 충실한 인라인 인용 생성을 위한 인지적 귀속 그래프
CAGE: Cognitive Attribution Graphs for Faithful Inline Citation Generation in Long-Form Question Answering
장문 질의응답은 대규모 언어 모델(LLM) 출력을 검증 가능하게 만들기 위해 검색된 근거에 점점 더 의존하고 있으며, 인라인 인용이 주장을 원본 문서에 연결한다. 그러나 기존 시스템은 주제적으로는 관련 있지만 주장을 뒷받침하기에 불충분한 인용을 붙이는 경우가 많다. 우리는 귀속 모호성(attribution ambiguity)을 구조적 과제로 식별한다. 종단 간(end-to-end) 생성은 조합론적 주장-문서 할당을 암묵적으로 해결해야 하며, 이는 증거적 경계를 모호하게 하고 주장이 인용된 근거를 초과하는 증거-경계 초과(evidence-boundary overrun) 위험을 높인다. 이 과제를 해결하기 위해, 우리는 CAGE(Cognitive Attribution Graphs for Citation Generation)를 제안한다. 이는 답변 생성 전에 명시적인 인지적 귀속 맵을 도입하는 2단계 프레임워크이다. CAGE는 먼저 플러그 앤 플레이(plug-and-play) 인지 맵 유도 모델(Cognitive Map Induction Model)을 학습하여 답변 중심 지원 서브그래프를 구성하고, 명시적 관계를 통해 각 의미적 답변 단위를 지원 문서와 정렬한다. 그다음 구조화된 인용 추론 모델(Structured Citation Reasoning Model)이 이러한 단위를 맵에 정렬된 인용과 함께 문장 수준 주장으로 구현한다. ASQA, ELI5, ExpertQA에서의 실험은 CAGE가 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 귀속 공간 수축(attribution-space contraction)과 맵 기반 인용 생성(map-guided citation generation)의 효과를 입증한다.
TokenMem: 동결 LLM을 위한 충실한 지식 주입
TokenMem: Faithful Knowledge Injection for Frozen LLMs
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)에 외부 지식을 더해 성능을 높이지만, 지식 충돌 문제가 있습니다. 검색된 정보가 파라미터 메모리와 모순될 때, 공유된 셀프-어텐션(self-attention) 경로가 예측 불가능한 출력을 만들어냅니다. 우리는 TokenMem을 제안합니다. TokenMem은 전용 크로스-어텐션(cross-attention) 채널을 통해 동결 LLM에 지식을 주입하는 경량 메모리 시스템으로, 잔차 스트림(residual stream)에서 파라미터 메모리와의 경쟁을 우회합니다. TokenMem은 2단계 커리큘럼을 통해 얇은 게이팅 어댑터(약 3–7M 파라미터)만 학습합니다. 먼저 일반적인 지식 활용을 학습하고, 이어서 반사실적(counterfactual) 지식 하에서 충실한 준수(faithful compliance)를 강화합니다. 세 가지 모델 패밀리에 걸친 다섯 모델(Qwen3-4B/8B/14B, LLaMA-3.1-8B, OLMo-3-7B)에 대한 통제 실험에서 TokenMem은 반사실적 벤치마크에서 69–70%의 지식 준수(Knowledge Compliance, KC)를 달성했으며, 바닐라 RAG의 20–52%와 비교해 최대 49퍼센트포인트 차이를 보였습니다. ablation 연구는 2단계 커리큘럼이 핵심적임을 보여줍니다. Phase 2를 제거하면 KC가 거의 0에 가까워집니다. 메커니즘 분석은 게이트 어댑터가 명시적 감독 없이 충돌 인식(conflict-aware), 층별(layer-specific) 주입 전략을 학습함을 밝혀냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.