PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01800v1cs.AI

LineupRL: 캡션-시계열 식별을 통한 시계열 캡셔닝용 검증 가능한 강화학습

LineupRL: Verifiable Reinforcement Learning for Time Series Captioning via Caption-to-Series Identification

시계열 캡셔닝(time series captioning)은 시계열 이해의 핵심적인 단계이며, 신호와 자연어 사이를 잇는 가교 역할을 할 수 있습니다. 지도 미세조정(SFT)은 더 큰 모델의 캡션에 의존하므로 해당 모델의 품질을 뛰어넘을 수 없습니다. 강화학습(RL)은 이를 넘어설 수 있지만, 기존 보상은 다른 양식(modality)과 과제를 위해 설계되어 시계열 도메인의 개방형 생성(open-ended generation)에는 잘 전이되지 않습니다. 본 연구에서는 보상으로 캡션-시계열 식별(caption-to-series identification)을 활용하는 검증 가능한 보상 기반 강화학습(RLVR) 파이프라인인 LineupRL을 제안하여 이를 해결합니다. 보상 모델은 차트가 아닌 생성된 캡션과 원시 값 형태의 후보 시계열을 읽고, 여러 오답 선택지(distractors) 중에서 설명된 시계열을 선택해야 하는 동결된 대규모 언어 모델(LLM) 검증기입니다. 이러한 매칭은 질문을 작성하거나 캡션을 직접 평가하는 것보다 검증기에 훨씬 적은 부담을 주므로, 상용(off-the-shelf) LLM으로도 보상을 제공할 수 있습니다. 두 가지 캡셔닝 벤치마크뿐만 아니라 예측기가 캡션만 확인하는 예측 및 재구성 과제에서도 LineupRL은 모든 지표에서 SFT 및 RL 기준선을 능가합니다. 또한 LineupRL로 학습된 3B 비전-언어 모델(VLM)은 24분의 1에 불과한 파라미터 수로도 SFT 기준선이 증류된 원본 72B VLM을 능가합니다. 사례 연구를 통해 LineupRL이 보상 해킹(reward hacking)에 강건하며, 이를 통해 학습된 캡셔너가 추세를 추적함과 동시에 주요 지점의 값을 정확히 명시함을 보여줍니다.