PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21638v1cs.CR

위험 없는 오픈 가중치 모델을 향하여: LLM에서 공개·비공개 기능 분리

Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

오픈 가중치 공개와 민감 기능 접근 제어를 함께 달성하기 위해, 비밀 키가 소규모 매개변수 부분집합의 순열을 지정해 동일 가중치 위에 대체 연산 그래프를 형성하는 계층형 언어 모델(TLM)을 제안하고 공동 사전학습과 정규화 기반 비공개 미세조정으로 공개·키 구성의 기능 분리를 학습한다. 1.8억 및 6.5억 매개변수 TLM에서 키 구성은 새 언어, 지시 따르기, 비공개 사실 지식을 습득하고 공개 구성에는 누출되지 않으며, 입력 공간이 아닌 가중치 구조에서 인가가 작동해 미세조정 기반 추출과 부분 키 노출에 더 견고하다.