PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.12682v2cs.LG공식 코드 · Papers with Code

RAFP: 희귀 영역 지문을 통한 LLM 계보 식별

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

대규모 언어 모델(LLM)이 점점 더 제한된 라이선스 하에 공개되면서, 견고한 모델 소유권 검증에 대한 수요가 커지고 있다. 기존 지문(fingerprinting) 방법은 하류 파인튜닝(downstream finetuning)에서 종종 취약하며, 침습적인 학습 수정을 필요로 하거나 블랙박스 설정에서 실패한다. 우리는 희귀 영역 지문을 통해 LLM 계보를 식별하는 견고한 프레임워크인 RAFP를 제안한다. 핵심 통찰은, 하류 파인튜닝이 주로 일반적인 고밀도 언어 행동을 갱신하는 반면, 낮은 확률의 프롬프트 영역은 파인튜닝된 분포 하에서 약한 최적화 신호와 제한적인 그래디언트 정렬만을 받는다는 것이다. 그 결과, 희귀한 프롬프트-응답 행동은 일반적인 모델 적응을 가로질러 안정적으로 유지된다. RAFP는 비침습적이며, 모델 가중치를 수정하지 않고 희귀 프롬프트에 대한 이산 그래디언트 기반 최적화를 통해 지문을 구성한다. 파인튜닝 하에서 희귀 영역 지문의 가능도 변화가 유계로 남는다는 것을 보여주는 이론적 분석을 제공한다. 4개 LLM 패밀리와 지도 학습(supervised finetuning), LoRA, 양자화, 프롬프트 템플릿 변화, 디코딩 변경 등 다양한 하류 적응에 걸친 실험은, RAFP가 강한 지문 지속성을 달성하고 블랙박스 설정에서 기존 지문 기준선을 크게 능가함을 보여준다.