PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10889v1cs.CV

SPLIT-RL: 주장 수준 이점을 활용한 단계별 지각-언어 추론 학습

SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages

비전-언어(Vision-Language, VL) 추론은 모델이 이미지로부터 관련성 있고 정확한 정보를 추출하는 과정(시각적 추론, VR)과, 이로부터 답을 추론하는 과정(언어적 추론, LR)을 모두 수행해야 합니다. 검증 가능한 보상을 사용하는 강화학습은 일반적으로 최종 답변 보상을 포함하는 단일 사고의 연쇄(Chain-of-Thought, CoT)를 통해 두 과정을 함께 학습합니다. 이는 모든 CoT 토큰에 동일한 시퀀스 수준 이점을 부여하므로 능력별 오류를 구분하지 못합니다. 본 논문에서는 VR과 LR을 서로 분리된 단계에서 학습하는 단계별 사후 학습 접근법인 SPLIT-RL을 제안합니다. 한 그룹의 롤아웃이 한 번에 하나의 능력에 대해서만 달라지기 때문에, 그룹 상대적 이점은 해당 능력을 분리해 내며 각 단계는 단계별 보상을 통해 최적화됩니다. 나아가 VR 단계의 롤아웃을 원자적 시각 주장으로 분해하고 시각적 유형 그룹 형성을 기반으로 주장 수준에서 세분화된 이점을 제공하는 주장 수준 이점(CLA-GRPO)을 도입합니다. 비록 두 단계로 학습되지만, 학습된 정책은 추론 시점에 단일 CoT 호출을 사용하는 GRPO 모델처럼 평가됩니다. 이러한 프로토콜 하에서 SPLIT-RL은 2B부터 30B-A3B에 이르는 Qwen3-VL 모델들과 InternVL3.5-8B 전반에서 GRPO 대비 평균 정확도를 1.4-6.1점 향상시킵니다. 오라클 기반 진단을 사용하여 각 능력을 평가한 결과, 답변 전용 GRPO는 지각 능력을 변화시키지 않는 반면, SPLIT-RL은 VR과 LR을 모두 향상시키는 것으로 나타났습니다.