PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22766v1cs.LG

Shapley를 넘어서: LLM 정렬 및 평가를 위한 영향 기반 데이터 감사 파이프라인

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

대규모 언어 모델(LLM)의 정렬은 점점 더 데이터 품질에 의해 병목이 발생하고 있다. 데이터셋이 확장됨에 따라, 방대한 선호(preference) 및 인스트럭션 튜닝(instruction tuning) 코퍼스에는 필연적으로 숨겨진 구조적 모순, 안전성(safety) 위험, 체계적인 인간 어노테이션 오류가 누적된다. 의미 중복 제거(semantic deduplication)나 LLM-as-a-judge와 같은 표준 데이터셋 감사 방법은 개별 레코드의 실제 예측적 영향을 포착하기 어렵고, 종종 깊은 기능적 규칙 충돌을 놓친다. 이를 해결하기 위해, 우리는 반복적 모델 재학습 없이 Shapley value를 근사하는 확장 가능하고 추론 전용 데이터 가치 평가 파이프라인을 제안한다. 의미적 k-NN 이웃을 방향 그래프로 매핑함으로써, 우리 프레임워크는 제로샷(zero-shot) 및 원샷(one-shot) 조건부 로그 가능도(log-likelihood) 변화를 사용하여 참조 LLM의 확률 분포를 통해 데이터 유틸리티를 직접 평가한다. 우리 파이프라인은 이러한 예측적 영향 점수를 국소화된 advantage 지표로 변환하여 그래디언트 충돌 레코드를 분리한다. 우리는 두 개의 철저히 검증된 정렬 데이터셋을 정화하는 데 있어 파이프라인의 효과를 입증한다. 첫째, HelpSteer2 데이터셋에 우리 파이프라인을 적용하면 수동 감사 탐색 공간을 99.1% 줄였으며, 다양한 실패 모드에 걸쳐 잘못 라벨링된 레코드를 성공적으로 발견했다. 둘째, Anthropic의 HH-RLHF 학습 및 평가 분할에 자동화된 감사 전략을 적용하면 수천 건의 숨겨진 안전성 및 사실적 선호 역전(preference inversion)을 식별했다. 결정적으로, 이 감사를 평가 분할로 확장함으로써 현재 벤치마크 무결성의 심각한 취약점을 드러낸다: 고성능 모델은 더 안전하거나 더 도움이 되는 응답을 자주 예측하지만, 객관적으로 결함이 있는 인간 정답(ground-truth) 라벨에 의해 페널티를 받는다. 전반적으로, 우리 연구는 인간 라벨 실패를 밝혀내고, 평가 벤치마크를 정화하며, LLM 정렬 데이터의 무결성을 보장하는 수학적으로 근거 있는 고효율 진단 도구를 제공한다.

arXiv:2606.24774v1cs.CV

Revealing Training Data Exposure in Vision Language Large Models via Parameter Gradients

Vision-Language Large Models (VLLMs) trained on massive crawled corpora raise pressing copyright and data-provenance concerns. These concerns are particularly acute in healthcare, where patient medical images paired with clinical reports demand rigorous privacy safeguards. However, existing training data detection methods either fail in cross-modal scenarios or rely on superficial output signals with insufficient discriminative power. We introduce GradAudit, a gradient-based auditing framework that examines internal optimization dynamics rather than treating VLLMs as black boxes. Our approach builds on a key observation: model parameters converge to regions where gradients on training samples become stable and well-aligned, whereas gradients on non-training samples remain noisy and inconsistent. By analyzing these gradient signatures, GradAudit achieves strong separability and detects genuine image-text associations learned during training, not merely individual modality membership. Empirically, across both medical and general-domain datasets, GradAudit substantially outperforms state-of-the-art baselines in both pretraining and fine-tuning VLLMs. In a case study employing copyrighted content, we show that existing training data detection methods not only underestimate the extent of unauthorized data usage, but that this underestimation becomes more pronounced as models become more recent and more advanced.

arXiv:2606.12433v1cs.CY

주변 분포 정렬은 결합 분포 충실도를 보장하지 않음: 교차 지역 복제를 통한 Nemotron-Personas-Korea의 공식 참조 감사

Marginal Alignment Does Not Guarantee Joint-Distribution Fidelity: An Official-Reference Audit of Nemotron-Personas-Korea with Cross-Locale Replication

합성 페르소나 데이터셋의 주변 분포(marginal distribution) 정렬이 결합 분포(joint distribution)의 정확성을 보장하지 않음을 밝히고, 외부 공식 참조를 활용한 Independence-Assumption Footprint(IAF) 감사 방법론을 제안합니다. NVIDIA Nemotron-Personas-Korea에 대한 적용 결과, 주변 분포는 일치하지만 직업별 전공이나 군 복무 연령 등 결합 분포에서 상당한 불일치가 발견되었습니다.