PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27784v1cs.IR

EidosDoc: 비용 효율적인 반구조화 문서 QA를 위한 암시적 구조 인코딩

EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA

반구조화 문서는 과학 보고서, 재무제표, 기술 매뉴얼 등에서 흔히 등장한다. 이러한 문서에 대한 질의응답(QA)은 텍스트, 표, 차트, 복잡한 계층적 레이아웃을 동시에 이해해야 한다. 기존 방법은 구조 파싱과 검색을 위해 대규모 언어 모델(LLM)을 반복 호출하여 높은 비용과 큰 지연을 초래하거나, 문서를 평탄화하여 레이아웃과 계층 정보를 잃고 답변 정확도를 희생한다. 이를 해결하기 위해 최소한의 계산 비용으로 최고 수준의 정확도를 달성하는 새로운 시스템 EidosDoc을 제안한다. 우리 접근법은 세 가지 핵심 혁신을 도입한다. (1) 대조 학습(contrastive learning)과 구조 일관성 손실(structure consistency loss)으로 학습되는 암시적 구조 인코더(Implicit Structure Encoder). 이 모듈은 계층적 관계, 공간적 위치, 텍스트 내용을 밀집 벡터 공간에 공동 임베딩하여, 수동으로 정의하고 오류가 발생하기 쉬운 구조 없이 문서 구조를 전체적으로 포착한다. (2) BM25, 레이아웃 핑거프린트, 경량 cross-encoder를 활용해 LLM을 전혀 호출하지 않고 고정밀도 검색을 수행하는 하이브리드 검색 파이프라인으로, 비용과 지연을 크게 줄인다. (3) 공간적으로 인접하고 구조적으로 관련된 증거를 적응적으로 검색하여 고정 경로 검색 방법에서 흔한 증거 누락을 극복하는 동적 증거 확장(Dynamic Evidence Expansion) 메커니즘. 네 개의 벤치마크에서 EidosDoc을 평가했으며, 종합 평가 결과 EidosDoc은 네 벤치마크 모두에서 새로운 최고 수준의 정확도를 달성한다. 특히 이전 최고 수준 방법 대비 비용은 50배 감소하고 지연은 4배 낮다. 이 결과는 EidosDoc이 정확도, 비용, 속도 사이의 새로운 최적 절충을 확립하며, 정확한 반구조화 문서 분석을 위한 실용적이고 확장 가능한 경로를 제공함을 보여준다.

arXiv:2607.14682v1cs.AI

생각을 멈추고, 보기를 시작하라: 추론 없는 정렬을 통한 멀티모달 문서 질의응답의 효율적 사후 학습

Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment

각 답변을 뒷받침하는 정확한 문서 영역을 찾는 명시적 시각 그라운딩(grounding)을 갖춘 효율적인 멀티모달 문서 질의응답은 여전히 해결되지 않은 과제이다. 현재 접근법은 대규모 주석 데이터셋이 필요하고 최적화 정체에 이르는 지도 미세조정(SFT), 그리고 명확한 이점 없이 장황한 중간 추적(trace)에 의존하여 추론 토큰 비용을 부풀리는 추론 중심 강화학습(RL)으로 나뉜다. 우리는 Perception-RFT를 제안한다. 이는 멀티모달 문서 QA에 Group Relative Policy Optimization(GRPO)을 적용하는 학습 프레임워크로, 중간 추론 토큰을 우회하여 시각 특징을 구조화된 그라운딩 출력과 직접 정렬한다. 추론의 필요성을 엄밀히 평가하기 위해 동일한 보상 설정 하에서 추론 변형을 구성한다. 추론이 활성화된 모델은 학습 중 추론 추적을 억제하며 4B 매개변수 규모에서 직접 지각(perception) 기반 정책으로 수렴하고, 쿼리당 추론 토큰 길이를 60% 이상 줄이는 반면, 추론 활성화 RL은 지각 전용 학습보다 성능이 낮다. Qwen3-VL-4B 최적화 동역학에 대한 세밀한 분석을 통해, 텍스트 도메인 사후 학습에서 확인된 SFT 포화와 cold-start RL 불안정성이 멀티모달로 확장됨을 확인하고, 공동 RL 최적화 하에서 두 분포 외(OOD) 벤치마크(4,828 샘플)에서 의미론적 견고성과 기하학적 정밀도 사이의 선택적 trade-off인 Grounding Divergence를 새롭게 규명한다. 또한 초기 SFT→RL 전환이 65% 적은 학습 데이터로 동등한 정밀도를 달성함을 보인다.