PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30518v1cs.CL

이질적 지식 충돌 하에서 강건한 RAG를 위한 레짐 인식 피어 특화

Regime-Aware Peer Specialization for Robust RAG under Heterogeneous Knowledge Conflicts

검색-증강 생성(RAG)은 외부 컨텍스트에 생성을 그라운딩함으로써 언어 모델을 개선한다. 그러나 검색된 컨텍스트가 모델의 파라메트릭 지식과 충돌할 때 취약해질 수 있다. 이러한 충돌은 신뢰할 수 있는 증거, 부분적으로 신뢰할 수 있는 증거부터 적대적 컨텍스트까지 신뢰성 스펙트럼에 걸쳐 있다. 기존 방법들은 이러한 이질적 충돌을 레짐 비인식 감독으로 처리하는 경우가 많아, 신뢰성 레짐 전반에 걸쳐 양립 불가능한 학습 신호를 혼재시킬 수 있다. 이러한 신호를 분리하기 위해, 우리는 두 가지 상호 보완적 단위에서 충돌을 해결하는 레짐 인식 피어 특화 프레임워크인 RAPS-DA를 제안한다. 샘플 수준에서 충돌은 그라운딩(Grounding), 중재(Arbitration), 저항(Resistance)의 세 가지 레짐으로 구분되며, 공유된 기반 모델로부터 레짐별로 동일 규모의 피어 전문가 모델이 하나씩 학습된다. 각 샘플은 온-정책(on-policy) 역방향 KL 감독을 위해 해당 레짐에 일치하는 피어로 하드 라우팅된다. 토큰 수준에서 이중 층(dual-layer) 선택기는 교사 간 불일치, 학생-교사 발산, 학생 엔트로피를 활용하여 비정보적이거나 불안정한 토큰을 걸러내고, 확실하게 잘못 정렬된 토큰의 가중치를 높이며, 학생이 성숙해짐에 따라 점차 고충돌 토큰에 감독을 집중시킨다. 성능 향상은 더 강력한 교사가 아닌 고정된 모델 규모에서의 특화에서 비롯되며, 피어 전문가들은 학습 중에만 존재하므로 배포된 학생 모델은 레짐 레이블이나 피어 접근이 필요하지 않다. 다섯 가지 충돌 시나리오와 두 가지 분포 외(out-of-distribution) 벤치마크에 대한 실험에서 RAPS-DA는 모든 프롬프팅, 디코딩, 미세조정(fine-tuning), 강화학습(RL), 단일 교사 기준선을 능가함을 보인다.