PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.13835v2stat.ML

분포 내(in-distribution) 데이터 확보를 위한 컨포멀(conformal) 데이터 오염 검정

Conformal Data Contamination Tests for In-distribution Data Acquisition

많은 머신러닝(machine learning) 과제에서 양질의 데이터 양은 데이터 소유자가 로컬에서 보유한 것으로 제한된다. 양질의 데이터 집합은 외부 데이터 에이전트(agent)와의 거래나 공유를 통해 확장될 수 있다. 그러나 외부 데이터는 오염되어 있거나 바람직하지 않은 샘플 다양성을 유입시킬 수 있으며, 이는 희귀 질환 진단이나 추천 시스템과 같은 개인화된 머신러닝 과제의 성능을 저하시킬 수 있다. 따라서 데이터 구매자는 데이터 획득 이전에 품질 보증이 필요하다. 기존 연구들은 주로 서로 다른 에이전트의 데이터에 대한 분포 가정에 의존하여, 품질 검사를 비용이 많이 드는 데이터 가치 평가(valuation) 절차를 수반하는 사후(post-hoc) 단계로 미뤄왔다. 본 논문은 소량의 데이터만 검사함으로써 모델 개인화(personalization)에 가장 유용한 데이터를 보유한 외부 데이터 에이전트를 식별하는, 분포에 대한 가정이 없고(distribution-free) 오염을 인지하는 데이터 획득 프레임워크를 제안한다. 이를 위해, 전체 데이터 획득에 앞서 수행되는 새로운 이표본 검정(two-sample testing) 절차를 도입하며, 이는 컨포멀(conformal) 이상치 탐지(outlier detection)에 대한 엄밀한 이론적 토대에 기반하여 어떤 에이전트의 데이터가 오염 임계값을 초과하는지를 판단한다. 제안된 검정은 '컨포멀 데이터 오염 검정(conformal data contamination test)'이라 명명되며, 임의의 오염 수준(arbitrary contamination level)에서도 유효성을 유지하고, 새롭게 제시된 스토리(Storey) 유형 검정은 벤자민-호크버그(Benjamini-Hochberg) 절차를 통해 유한 표본(finite-sample)에서의 거짓 발견율(false discovery rate) 제어를 입증 가능하게 한다. 다양한 협력 학습(collaborative learning) 시나리오에 대한 실증적 평가는 본 접근법의 강건성과 효과성을 보여준다. 전반적으로, 컨포멀 데이터 오염 검정은 통계적으로 엄밀한 품질 보증과 함께 데이터를 집계하는 범용적인 절차로서 차별성을 가진다.

arXiv:2607.22766v1cs.LG

Shapley를 넘어서: LLM 정렬 및 평가를 위한 영향 기반 데이터 감사 파이프라인

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

대규모 언어 모델(LLM)의 정렬은 점점 더 데이터 품질에 의해 병목이 발생하고 있다. 데이터셋이 확장됨에 따라, 방대한 선호(preference) 및 인스트럭션 튜닝(instruction tuning) 코퍼스에는 필연적으로 숨겨진 구조적 모순, 안전성(safety) 위험, 체계적인 인간 어노테이션 오류가 누적된다. 의미 중복 제거(semantic deduplication)나 LLM-as-a-judge와 같은 표준 데이터셋 감사 방법은 개별 레코드의 실제 예측적 영향을 포착하기 어렵고, 종종 깊은 기능적 규칙 충돌을 놓친다. 이를 해결하기 위해, 우리는 반복적 모델 재학습 없이 Shapley value를 근사하는 확장 가능하고 추론 전용 데이터 가치 평가 파이프라인을 제안한다. 의미적 k-NN 이웃을 방향 그래프로 매핑함으로써, 우리 프레임워크는 제로샷(zero-shot) 및 원샷(one-shot) 조건부 로그 가능도(log-likelihood) 변화를 사용하여 참조 LLM의 확률 분포를 통해 데이터 유틸리티를 직접 평가한다. 우리 파이프라인은 이러한 예측적 영향 점수를 국소화된 advantage 지표로 변환하여 그래디언트 충돌 레코드를 분리한다. 우리는 두 개의 철저히 검증된 정렬 데이터셋을 정화하는 데 있어 파이프라인의 효과를 입증한다. 첫째, HelpSteer2 데이터셋에 우리 파이프라인을 적용하면 수동 감사 탐색 공간을 99.1% 줄였으며, 다양한 실패 모드에 걸쳐 잘못 라벨링된 레코드를 성공적으로 발견했다. 둘째, Anthropic의 HH-RLHF 학습 및 평가 분할에 자동화된 감사 전략을 적용하면 수천 건의 숨겨진 안전성 및 사실적 선호 역전(preference inversion)을 식별했다. 결정적으로, 이 감사를 평가 분할로 확장함으로써 현재 벤치마크 무결성의 심각한 취약점을 드러낸다: 고성능 모델은 더 안전하거나 더 도움이 되는 응답을 자주 예측하지만, 객관적으로 결함이 있는 인간 정답(ground-truth) 라벨에 의해 페널티를 받는다. 전반적으로, 우리 연구는 인간 라벨 실패를 밝혀내고, 평가 벤치마크를 정화하며, LLM 정렬 데이터의 무결성을 보장하는 수학적으로 근거 있는 고효율 진단 도구를 제공한다.

arXiv:2512.15765v3cs.LG

순차적 선호 최적화를 통한 LLM 정렬을 위한 Shapley 기반 데이터 가치 평가

Shapley-based Data Valuation for LLM Alignment via Sequential Preference Optimization

DPO, IPO 등 Direct Alignment Algorithm(DAA)을 활용한 LLM 정렬 시 여러 선호 데이터셋의 기여도를 Shapley 값으로 평가하려면 지수적 수의 파인튜닝이 필요한 문제를 해결하기 위해, 순차적 선호 최적화(Sequential Preference Optimization)를 도입하여 로그-정책 비율 공간에서의 가법적 합성 구조를 활용해 필요한 파인튜닝 횟수를 데이터 소스 수에 대해 선형으로 줄였다. 이를 통해 실제 선호 데이터셋에 대한 Shapley 값을 효율적으로 계산하고 각 소스가 모델 정렬에 미치는 영향을 정량적으로 규명했다.

arXiv:2607.03675v1cs.LG

검증-유도 샤플리 이동: 검증 구조가 데이터 가치 평가를 왜곡하는 방식

Validation-Induced Shapley Shifts: How Validation Structure Distorts Data Valuation

검증 세트에 노이즈를 추가하는 소폭의 변화만으로도 샤플리 값(Shapley value)이 일관되게 0으로 수렴하는 방향성 이동이 발생한다는 체계적 취약점을 KNN-Shapley 프레임워크를 통해 규명하였으며, 이는 경계 샘플의 값 범위 축소와 비경계 샘플의 양수 값 감소라는 두 가지 메커니즘에 기인함을 보였다. 이러한 왜곡을 완화하기 위해 엔트로피 인식 정규화 및 경계 인식 검증 전략을 제안하여 머신러닝 마켓플레이스에서의 공정한 데이터 가치 평가를 지원한다.

arXiv:2606.18729v3stat.ML

TimeLAVA: 시계열을 위한 학습 무관 데이터 가치 평가

TimeLAVA: Learning-Agnostic Valuation for Time Series Data

데이터 가치 평가는 체계적인 데이터 큐레이션, 품질 관리 및 강건한 학습을 가능하게 하기 위해 개별 샘플의 내재적 품질을 정량화합니다. 의료, 금융 및 산업 모니터링과 같은 중요한 도메인의 시계열 데이터의 경우, 효과적인 가치 평가 방법은 필수적이지만 근본적으로 부족합니다. 기존 접근 방식은 모델 의존적이어서 일반화 가능성을 제한하거나, 독립 동일 분포(i.i.d.) 데이터용으로 설계되어 순차 데이터에 내재된 시간적 의존성, 다중 스케일 패턴 및 비정상성 동역학을 포착하지 못합니다. 우리는 평가 대상 데이터와 참조 데이터 간의 분포 차이를 최소화하는 데 대한 시계열 세그먼트의 한계 기여도를 기반으로 가치를 매기는 학습 무관 프레임워크인 TimeLAVA를 소개합니다. 그 핵심은 시간적 국소화를 위한 다중 스케일 웨이블릿 변환과 분포 변화에 대한 강건성을 위한 불균형 최적 전송을 결합한 새로운 선택적 웨이블릿 기반 와서스타인 차이입니다. 세그먼트 값은 모델 학습 없이 민감도 분석을 통해 효율적으로 계산되며 점별 점수로 집계됩니다. 우리는 가치 평가와 모델 무관 일반화를 연결하는 이론적 보장을 제공하고 이상치 오염에 대한 유계 민감도를 증명합니다. 이상 탐지, 데이터 가지치기 및 레이블 노이즈 탐지에 걸친 광범위한 실험을 통해 TimeLAVA가 다양한 실제 데이터셋에서 기존 방법보다 훨씬 더 유익한 가치 점수를 생성함을 입증합니다.

arXiv:2606.28217v1cs.LG

완전 위임 AI 협동체에서 가치 제약 신용 배분을 향하여

Towards Value-Constrained Credit Assignment in Fully Delegated AI Cooperatives

인간이 데이터를 기여하고 이질적인 가치 제약 하에서 모델 업데이트에 참여하는 에이전트(agent)로 표현되는 완전 위임 AI 협동체에서 보상 할당을 위한 프레임워크를 제안한다. 핵심 아이디어는 각 principal(위탁자)의 가치 프로필에 대해 선별한 후에도 허용 가능한(admissible) 업데이트에만 기여도를 부여하는 것이다. 우리는 traversal learning(TL) 기질(substrate) 내에서 가치 조건 그래디언트 필터링, 온라인 한계 기여 신호, 누적 수익 정산을 공식화한다. TL은 집계 중심 분산 학습과 관련된 품질 손실 없이 분산 역전파를 수행하고, 명시적 순회(traversal) 및 그래디언트 경로를 보존함으로써 FedAvg 스타일 연합 학습(federated learning)보다 더 정교한 귀속(attribution) 기질을 제공한다고 주장하므로, 여기서 특히 매력적이다. 이 프레임워크는 데이터 가치 평가(data valuation), 연합 기여도 추정, 개인화 연합 학습, 다원적 정렬(pluralistic alignment)과 대비하여 위치시킨다.