PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.05256v2cs.CV

Wiki-R1: 데이터 및 샘플링 커리큘럼을 통한 지식 기반 VQA의 멀티모달 추론 촉진

Wiki-R1: Incentivizing Multimodal Reasoning for Knowledge-based VQA via Data and Sampling Curriculum

외부 지식 통합 시 노이즈가 많은 검색으로 인해 강화학습의 희소 보상 문제가 심화되는 KB-VQA 과제를 해결하기 위해, Wiki-R1은 검색기를 조작하여 난이도를 제어하는 커리큘럼 데이터 생성과 관측 전파(observation propagation) 기반 샘플링 전략을 결합한 커리큘럼 강화학습 프레임워크를 제안한다. Encyclopedic VQA와 InfoSeek 벤치마크에서 각각 37.1%, 44.1%의 새로운 최고 성능(state-of-the-art)을 달성했다.

arXiv:2607.00159v1cs.CL

Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting

기존 KB-VQA 벤치마크(InfoSeek, E-VQA)가 답변 도출 불가, 불명확한 질문, 단일 개체 중심의 시각적 단순화 등 체계적 결함을 내포하고 있음을 감사(audit)를 통해 밝히고, 이를 해결하기 위한 정제 프로토콜과 다중 개체 증강 파이프라인을 제안하여 재평가 시 기존과 상이한 모델 성능 순위 및 추론 능력 측정치를 도출했다.