PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11033v1cs.CL

FedAlphaEdit: 협업적 지식 편집을 위한 영공간 정렬 병합

FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing

여러 기관이 각자의 비공개 지식 편집 요청을 보유하고 있으며, 원본 편집 요청을 공유하지 않고 이를 단일 대규모 언어 모델(LLM)에 통합하고자 할 수 있습니다. AlphaEdit과 같은 영공간(null-space) 제약 기반 편집 방식은 각 업데이트가 무관한 지식을 온전히 보존하도록 수학적으로 보장하며, CollabEdit과 같은 협업 프레임워크는 데이터 공유 없이 여러 클라이언트의 편집 내용을 취합합니다. 이 두 방식을 결합하는 것은 언뜻 단순해 보입니다. 그러나 본 논문에서는 이러한 단순한 결합이 구조적으로 실패함을 보이고 그 원인을 규명합니다. 이 분석을 바탕으로 FedAlphaEdit을 제안합니다. 우리가 아는 한, 이는 기존 지식을 보존하기 위한 단일 영공간 원칙 하에 로컬 편집과 서버 측 병합 규칙을 모두 정렬하는 최초의 협업적 지식 편집 프레임워크입니다. FedAlphaEdit은 영공간 정렬 병합(null-space-aligned merging)을 기반으로 구축되며, 클라이언트는 투영된 통계량을 공유하고 서버는 원샷 이상화(one-shot idealization) 조건에서 모든 항목을 한곳에서 편집한 결과를 증명 가능하게 복원합니다. 실증적으로 제안된 방법은 이러한 붕괴 현상을 해결하고, 두 가지 아키텍처 계열 전반에서 편집 성공률과 지식 보존율을 중앙 집중식 편집 수준에 근접하게 동시에 끌어올립니다. 따라서 FedAlphaEdit은 병원이나 금융 기관처럼 원본 편집 데이터를 공유할 수 없는 기관들이 모든 사실을 한곳에서 편집하는 것에 가깝게 근사하여 공유 모델을 공동으로 유지 관리할 수 있도록 지원합니다.