PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24084v1cs.CR

비트에서 신념으로: 대규모 언어 모델 블랙박스 검증을 위한 복구 가능한 의미론적 지문

From Bits to Beliefs: Recoverable Semantic Fingerprints for Black-Box Verification of Large Language Models

오픈 가중치(open-weight) 대규모 언어 모델(LLM)은 복제·수정·재배포되어 블랙박스 API 뒤에 숨겨질 수 있어, 공개 이후 소유권 검증이 어렵다. 기존 블랙박스 지문(fingerprint)은 비밀 질의-키 쌍에 의존해 미리 정해진 응답을 재현하는 경우가 많아, 미세조정, 가지치기, 양자화, 모델 병합, 서빙 시점의 프롬프트 변경에 쉽게 깨진다. 본 논문은 블랙박스 LLM 소유권 검증을 위한 복구 가능한 의미론적 지문 프레임워크 SimPrint를 제안한다. 고립된 완전 일치에 의존하는 대신, SimPrint는 사유자(owner)의 비공개 서명을 부호화된 의미론적 지문 영역에 담아, 자연스러운 이진형 질의응답 프로브에 소유권 증거를 분산한다. 원래 모델 동작을 유지하는 저간섭 배치 업데이트를 통해 기본 모델과만 다른 프로브만 심고, 이후 의심 모델의 응답을 신뢰할 수 있는 비트 또는 지움(erasure)으로 파싱한 뒤 오류 정정 복구 메커니즘으로 서명을 복원한다. 검증이 입출력 질의만 사용하므로, 모델 가중치나 활성화(activation)에 접근할 수 없을 때도 SimPrint를 적용할 수 있다. 세 가지 오픈 가중치 LLM에 대한 실험에서 SimPrint는 깨끗한 설정과 수정된 설정 모두에서 소유자 서명을 안정적으로 복구하며, 미세조정, 가지치기, 양자화, 모델 병합, 서빙 시점 perturbation에도 견고하고, 하류(downstream) 유용성도 유사한 수준을 유지한다.

arXiv:2607.13046v1cs.LG

모델이 버린 것과 다시 필요하게 될 이유: 마스킹, 핑gerprinting, 폐기된 기하로부터의 프라이버시

What Your Model Threw Away and Why You'll Want It Back: Masking, Fingerprinting, and Privacy from Discarded Geometry

Lie 군(Lie group) 작용을 갖는 입력을 다루는 머신러닝 모델이 버린 정보에 대한 프레임워크를 개발한다. Lie 군 $G$의 공간 $V$ 위 표현 $π$와 학습된 함수 $f\colon V \to \mathbb{R}$이 주어졌을 때, $f$에 대해 보이지 않는 대칭성을 측정하는 두 객체를 정의한다. 점 $x \in V$에서의 null fiber는 $f$에 의해 $x$에 대한 역작용이 탐지되지 않는 군 원소들의 집합 $N_G(f,x) = \{g \in G : f(π(g^{-1}) \cdot x) = f(x)\}$이다. $N_G(f,x)$가 $x$에 무관할 때, 이는 $f$가 불변인 $G$의 최대 부분군인 안정화자(stabilizer) $\mathrm{Stab}_G(f)$와 일치한다. $\mathbb{R}$로의 매끄러운 사상에 대해, 역상 정리(preimage theorem)는 아키텍처와 무관하게 일반적인(generic) 입력에서 null fiber의 차원이 최소 $\dim G - 1$임을 보장한다. 자기 자신 위에서 작용하는 콤팩트(compact) 군에 대해, Peter--Weyl 정리는 $f$의 푸리에 계수 행렬(Fourier coefficient matrices)로 두 객체의 스펙트럴 특성화를 제공한다. null fiber 원소는 궤도 사상(orbit map)에 대한 Newton 반복(iteration)을 통해 효율적으로 계산할 수 있으며, 비용은 몇 번의 그래디언트 평가와 비슷하다. 데이터 마스킹, 모델 핑gerprinting, 프라이버시 보존(privacy-preserving) 계산에 대한 응용을 개발하고, $\mathrm{SO}(3)$ 하에서의 분자 물성 예측과 Möbius 군 $\mathrm{PSL}(2, \mathbb{C})$ 하에서의 구면 이미지 분류(image classification)에서 실험적으로 검증한다. 이 프레임워크는 고전적 신경망과 변분 양자 회로(variational quantum circuits)에 균일하게 적용된다.

arXiv:2505.12682v2cs.LG공식 코드 · Papers with Code

RAFP: 희귀 영역 지문을 통한 LLM 계보 식별

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

대규모 언어 모델(LLM)이 점점 더 제한된 라이선스 하에 공개되면서, 견고한 모델 소유권 검증에 대한 수요가 커지고 있다. 기존 지문(fingerprinting) 방법은 하류 파인튜닝(downstream finetuning)에서 종종 취약하며, 침습적인 학습 수정을 필요로 하거나 블랙박스 설정에서 실패한다. 우리는 희귀 영역 지문을 통해 LLM 계보를 식별하는 견고한 프레임워크인 RAFP를 제안한다. 핵심 통찰은, 하류 파인튜닝이 주로 일반적인 고밀도 언어 행동을 갱신하는 반면, 낮은 확률의 프롬프트 영역은 파인튜닝된 분포 하에서 약한 최적화 신호와 제한적인 그래디언트 정렬만을 받는다는 것이다. 그 결과, 희귀한 프롬프트-응답 행동은 일반적인 모델 적응을 가로질러 안정적으로 유지된다. RAFP는 비침습적이며, 모델 가중치를 수정하지 않고 희귀 프롬프트에 대한 이산 그래디언트 기반 최적화를 통해 지문을 구성한다. 파인튜닝 하에서 희귀 영역 지문의 가능도 변화가 유계로 남는다는 것을 보여주는 이론적 분석을 제공한다. 4개 LLM 패밀리와 지도 학습(supervised finetuning), LoRA, 양자화, 프롬프트 템플릿 변화, 디코딩 변경 등 다양한 하류 적응에 걸친 실험은, RAFP가 강한 지문 지속성을 달성하고 블랙박스 설정에서 기존 지문 기준선을 크게 능가함을 보여준다.

arXiv:2607.10252v1cs.CR

하나의 토큰으로 충분하다: 단일 토큰 출력 분포를 통한 대규모 언어 모델 핑거프린팅 및 검증

One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions

대규모 언어 모델(LLM)은 API 집계자, 재판매자, 추론(inference) 제공업체 등 불투명한 서비스 체인을 통해 점점 더 많이 제공되고 있으며, 이 환경에서 클라이언트는 실제로 응답하는 모델(model)이 광고된 모델과 동일한지 기술적으로 확인할 수단이 없다. 최근 감사 결과에 따르면 상당수의 상용 엔드포인트가 공급업체의 참조 가중치(weight)에서 벗어나 있음이 드러났다. 기존 식별 기법은 긴 생성 텍스트, 토큰(token) 수준의 로그 확률, 적대적으로 설계된 프롬프트, 또는 모델 소유자의 협조를 필요로 한다. 우리는 훨씬 약한 증거만으로도 충분함을 보인다. 우리는 LLM의 행동적 핑거프린트를 단순한 단일 단어 프롬프트—"1에서 100 사이의 임의의 숫자를 말하시오"—에 대한 답변의 경험적 분포로 정의하며, 이를 네 가지 언어에 걸쳐 쿼리당 하나의 출력 토큰 비용으로 수집한다. 대형 상용 집계자(OpenRouter)를 통해 제공되는 165개의 모델을 측정한 결과, (i) 이러한 분포는 매우 비균등하며(중앙값 셀 엔트로피 1.0비트) 모델 특이적이다: 동일 모델의 표본을 절반으로 분할한 쌍은 서로 다른 모델의 표본 쌍보다 한 자릿수 더 가깝게 위치한다; (ii) 핑거프린트 간 Jensen-Shannon 발산은 모델 계보를 복원하며, 18.4%의 우연 기준 대비 59.5%의 리브-원-아웃 정확도로 모델을 문서화된 패밀리에 할당한다; (iii) 생체인식 방식의 검증 프로토콜은 40셀 전체 배터리에서 7.3%의 동일 오류율(equal error rate)을 달성하고, 8개의 프로브 셀만으로도 11% 미만을 기록한다—감사당 약 100회의 단일 토큰 쿼리에 해당한다. 또한, 오픈 가중치 Qwen 모델과 분포적으로 구별 불가능한 독점 브랜드 플래그십 엔드포인트를 포함한 생태계 이상 현상도 보고한다. 프로토콜, 프롬프트, 원시 데이터, 분석 코드는 재현 및 실무 활용을 위해 공개된다.

arXiv:2607.01276v1cs.CR

Embedding Inference Attack

블랙박스 정보 검색(IR) 시스템 API에서 반환된 비순위 문서 집합만을 관찰하여 해당 시스템이 사용하는 임베딩(embedding) 모델을 식별하는 임베딩 추론 공격(EIA, Embedding Inference Attack)을 제안한다. 맞춤형 판별 쿼리를 생성해 리랭커(reranker) 방어 수단이 존재하는 환경과 실제 검색-증강 생성(RAG) 시스템에서도 후보 모델 중 피해자 모델을 높은 정확도로 추론할 수 있음을 MS MARCO 및 Alloprof 교육 QA 데이터셋으로 검증하였다.

arXiv:2606.12977v1cs.CV

효율적·강인·반결탁 이미지 확산 모델 지문 삽입

Efficient, Robust, and Anti-Collusion Fingerprinting of Image Diffusion Models

모델 지문(model fingerprinting)은 생성된 출력물에 사용자별 식별자(지문)를 삽입하는 기법으로, 최근 생성적 텍스트-투-이미지(text-to-image, T2I) 모델의 지식재산권(intellectual property rights, IPR)을 보호하고 무단 재배포를 방지하는 널리 쓰이는 방법으로 부상했다. 본 연구에서는 기존 생성 모델 지문 방법에 이전까지 탐색되지 않은 체계적 취약점이 존재함을 밝힌다. 즉, 다수의 공격자가 각자의 모델을 결합해 지문을 제거하거나 흐릿하게 만드는 결탁 공격(collusion attacks)에 대한 강인성이 부족하다는 점이다. 이 문제를 해결하기 위해, 우리는 반결탁(anti-collusion) 기능을 갖춘 T2I 모델용 강인한 지문 방법을 향한 첫걸음을 내딛는다. 제안 방법은 T2I 모델에 통합된 개인화 정규화 모듈(personalized normalization module, PNM)의 계수에 지문인 비트열을 인코딩하여, 생성된 모든 이미지에서 지문을 신뢰성 있게 복원할 수 있게 한다. 결탁 공격을 방어하고 모델의 무단 재배포를 막기 위해, 무손실 함수 불변 매개변수 변환(lossless function-invariant parameter transformations)에 기반한 반결탁 메커니즘을 도입한다. 이 메커니즘은 결탁된 모델의 이미지 생성 품질을 현저히 저하시켜 사실상 사용할 수 없게 만든다. 더 나아가, 우리 방법은 PNM을 재매개변수화함으로써 재학습 없이 지문이 삽입된 T2I 모델의 사본을 효율적으로 여러 개 생성할 수 있게 한다. 또한 모델 수준 공격에 대한 강인성을 높이기 위해 최악의 경우(worst-case) 최적화 전략을 도입한다. 실험 결과, 제안 방법은 다양한 T2I 이미지 생성 및 편집 작업에서 높은 충실도와 강인성을 달성하며, 지문 추출 정확도는 99.5%를 넘는다. 기존 방법과 비교할 때, 우리 방법은 결탁된 모델의 FID를 현저히 높임으로써 결탁 공격에 대한 눈에 띄는 선제적 강인성을 처음으로 입증한다.