PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25356v1cs.CL

TelecomGPT-R1: 이종 통신 작업 전반의 추론을 위한 통합 사후 학습

TelecomGPT-R1: Unified Post-Training for Reasoning Across Heterogeneous Telecom Tasks

대규모 언어 모델(LLM)은 표준, 네트워크 구성, 수학적 모델, 소스 코드 및 운영 로그를 기반으로 추론하여 광범위한 통신 엔지니어링 작업을 자동화할 수 있는 큰 잠재력을 제공합니다. 그러나 기존 통신 LLM은 이러한 다양한 작업과 데이터 유형 전반에서 안정적으로 추론하는 데 어려움을 겪고 있습니다. 범용 LLM은 통신 특화 지식에 대한 신뢰할 수 있는 그라운딩(grounding)이 부족한 경우가 많으며, 통신 특화 모델은 일반적으로 더 좁은 작업군을 대상으로 개발되어 제한적인 다중 작업 성능을 보입니다. 이러한 격차를 해소하기 위해, 우리는 프로토콜, 지식, 모델링, 장애라는 상호 보완적인 네 가지 축을 중심으로 구조화된 오픈 소스 통합 통신 추론 모델 제품군인 TelecomGPT-R1을 소개합니다. 먼저, 가공되지 않은 공개 통신 산출물을 검증된 질문-답변 쌍과 고품질의 사고의 연쇄(Chain-of-Thought, CoT) 추론 궤적으로 정제하는 축 인식(axis-aware) 데이터 생성 프레임워크를 개발하여 104,880개의 예제를 포함하는 학습 말뭉치를 구축합니다. 이 말뭉치를 기반으로 지도 미세조정(SFT)을 통해 통신 지식과 증거 기반 추론 패턴을 주입함으로써 강화학습(RL)의 콜드 스타트 장벽을 극복합니다. 그런 다음 작업별로 라우팅되는 루브릭 보상을 갖춘 동적 샘플링 정책 최적화(DAPO)를 적용하여 이종 통신 추론 작업 전반에서 RL 업데이트가 유익하고 안정적으로 유지되도록 합니다. 이러한 보상은 축 특화 CoT 추적을 검증 가능한 추론 단위로 분해하고 그라운딩된 조밀한 과정 크레딧(dense process credit)과 결과의 정확성을 결합하여, RL이 검증 가능한 통신 증거로부터 일반화 가능한 문제 해결 행동을 학습할 수 있도록 합니다. 우리는 추가적인 커뮤니티 발전을 지원하기 위해 TelecomGPT-R1 모델과 재현 가능한 학습 레시피를 공개합니다. GSMA Open Telco Leaderboard의 7개 벤치마크 평가 결과, 오픈 소스 TelecomGPT-R1-27B는 89.64%의 평균 점수를 달성하여 GPT-5, Claude, Gemini를 포함한 주요 상용 모델을 능가하는 성능을 보였습니다.