arXiv:2606.11616v1 cs.LG

DeMix: 영향 벡터 분석을 통한 혼합 데이터 오류 유형 학습 데이터 디버깅

DeMix: Debugging Training Data with Mixed Data Error Types by Investigating Influence Vectors

Jiale Deng, Yanyan Shen, Xiaogang Shi, Chai Junjun

제출 2026-06-10

한국어 초록

고품질 학습 데이터는 머신러닝 모델의 성공에 필수적입니다. 그러나 실제 데이터셋은 종종 레이블 오류, 특징 오류, 가상 상관관계를 포함하여 데이터 준비 파이프라인의 체계적 결함에서 비롯된 혼합 유형의 오류를 포함합니다. 학습 데이터의 효과적인 디버깅은 표적화된 수정을 위해 오류 샘플을 탐지하고 그 구체적인 오류 유형을 식별하는 것이 모두 필요하지만, 기존 데이터 정제 및 귀인 방법은 이 이중 요구 사항을 적절히 해결하지 못합니다. 본 논문에서는 오류 샘플과 그 오류 유형을 동시에 진단하는 새로운 프레임워크인 DeMix를 제안합니다. 우리의 핵심 통찰은 서로 다른 오류 유형이 모델 동작에 서로 다른 패턴을 생성한다는 것입니다. DeMix는 각 학습 샘플이 모든 검증 샘플에 걸쳐 모델 예측에 미치는 영향을 특징으로 하는 영향 벡터를 통해 이러한 오류 특정 패턴을 포착합니다. 우리는 영향 벡터로부터 직접 오류 유형을 예측하도록 분류기를 개발하여 학습 데이터 디버깅을 다중 레이블 분류 문제로 공식화합니다. 또한, 학습된 분류기가 효과적으로 일반화되도록 보장하기 위해 각 오류 유형에 특정한 불변의 근거를 포착하도록 분류기를 안내하는 개입 기반 학습 전략을 도입합니다. 테이블 데이터 예측, 추천 시스템, LLM 정렬에 걸친 11개 작업에 대한 실증적 평가 결과, DeMix는 최첨단 방법론보다 유의미하게 우수하며, 데이터 디버깅 F1 점수에서 22.61% 향상을 달성하고 데이터 수정 후 작업 모델 성능에서 9.32%의 이득을 보였습니다. 코드는 https://github.com/SJTU-DMTai/DeMix에서 확인할 수 있습니다.

원문 초록

High-quality training data is essential for the success of machine learning models. However, real-world datasets often contain mixed types of errors arising from systematic flaws in data preparation pipelines, including label errors, feature errors, and spurious correlations. Effective debugging of training data requires both detecting erroneous samples and identifying their specific error types to enable targeted repair, yet existing data cleaning and attribution methods fail to adequately address this dual requirement. In this paper, we propose DeMix, a novel framework that simultaneously diagnoses erroneous samples and their error types. Our key insight is that different error types produce distinct patterns on model behavior. DeMix captures such error-specific patterns by influence vectors that characterize how each training sample affects model predictions across all validation samples. We formulate training data debugging as a multi-label classification problem where a classifier is developed to predict error types directly from influence vectors. We further introduce an intervention-based learning strategy that guides the classifier to capture invariant rationales specific to each error type, ensuring the learned classifier generalizes effectively. Empirical evaluations on 11 tasks across tabular data prediction, recommendation systems, and LLM alignment demonstrate that DeMix significantly outperforms state-of-the-art approaches, achieving a 22.61% improvement in data debugging F1-score and a 9.32% gain in task model performance after data repair. Code is available at: https://github.com/SJTU-DMTai/DeMix.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11616v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02070v3cs.AI공통 태그 Causal Inference, Large Language Model

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

arXiv:2610.02254v1cs.LG공통 태그 Causal Inference, Large Language Model

대규모 언어 모델을 통한 해석적 구조 모델링의 한계 극복

Overcoming Challenges of Interpretive Structural Modeling with Large Language Models

해석적 구조 모델링(Interpretive Structural Modeling, ISM)은 다기준 의사결정을 위한 대표적인 방법론이다. 다른 방법론 대비 ISM의 강점은 인과 관계를 모델링하는 능력, 요인의 이진 척도, 그리고 이를 통해 도출되는 계층적 표현에 있다. 전통적으로 모델링 과정은 합의가 도출될 때까지 주제별 전문가(SME)와의 반복적인 상호작용을 통해 수행된다. 그러나 이러한 과정은 지루하고 노동 집약적이며, 무엇보다도 수백 개의 변수를 다루는 연구로 ISM을 확장하는 데 한계가 있다. 대규모 언어 모델(LLM)을 불완전한 전문가로 활용하는 기존의 인과 그래프 탐색 연구를 바탕으로, 본 연구는 ISM을 위한 통합적 LLM-ISM 접근 방식을 탐구한다. 쌍별(pairwise), k-wise, 행별(rowwise), 전체 그래프(full graph) 탐색 방법론을 비교 및 평가하였다. 그 결과, ISM을 위한 인과 그래프 탐색 방법론 중 행별(SHD=160, F1-score=0.77) 및 전체 그래프 방식(SHD=135, F1-score=0.73)을 활용했을 때 가장 우수한 성능을 보이는 것으로 나타났다.

arXiv:2610.02594v1cs.LG공통 태그 Causal Inference, Large Language Model

인과성이 의미론적 간극을 메우는 방법

How Causality Bridges the Semantic Gap

수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.

arXiv:2610.02925v1cs.AI공통 태그 Anomaly Detection, Large Language Model

에이전트 안전성 오경보 감사를 위한 포지티브-비라벨 학습

Positive-Unlabeled Learning for Agent Safety False Alarm Auditing

안전성(safety) 모니터는 외부 도구 및 환경과 상호작용하는 언어 모델 에이전트(agent)를 보호하는 데 도움이 되지만, 보수적인 모니터링은 많은 오경보(false alarm)를 발생시켜 광범위한 검토 자원을 소모하고 경보에 대한 신뢰를 약화시킬 수 있습니다. 오경보와 실제 경보는 기존 모니터 점수 내에서 서로 뒤섞여 있는 경우가 많기 때문에, 신뢰할 수 있는 기준값(cutoff)을 얻으려면 여전히 상당한 수작업 검증이 필요합니다. 실제 환경에서는 안전성이 검증된 소수의 비경보 궤적(trajectory)을 확보할 수 있는 반면 경보는 라벨이 지정되지 않은 상태로 남아 있어, 오경보 감사는 자연스럽게 포지티브-비라벨(Positive-Unlabeled, PU) 랭킹 문제로 귀결됩니다. 핵심 과제는 모니터로 인해 유도된 선택 편향(monitor-induced selection)입니다. 관측된 안전 레퍼런스는 모니터가 수용한 것인 반면, 복구하고자 하는 숨겨진 안전 경보는 모니터가 잘못 플래그를 지정한 것이므로, 관측된 포지티브가 복구 대상 포지티브를 제대로 대표하지 못합니다. 이러한 문제를 해결하기 위해 본 논문에서는 2단계 프레임워크를 제안합니다. 여기서는 신뢰 인식 PU 지도(Trust-aware PU Supervision)를 통해 안전 레퍼런스를 경보 도메인에 맞게 적응시키고 타당한 오경보가 과도한 네거티브 압력을 받지 않도록 보호하는 한편, 신뢰도 게이트 순위 증류(Reliability-gated Rank Distillation)를 통해 여러 PU 레퍼런스 모델의 일관된 순서 선호도를 단일 학생 모델로 통합합니다. 이후 합의 기반 구조적 정제(Consensus-guided Structural Refinement)는 계층적 안전 레퍼런스 지원, 경보 간 관계, 예측된 레퍼런스 합의를 활용하여 학생 모델의 순위를 개선합니다. 이 프레임워크는 학습을 위한 경보 안전성 라벨을 필요로 하지 않으며 기존 모니터를 변경하지 않고 그대로 유지합니다. 주요 안전성 모니터 전반에서 본 방법은 $0.6444$의 매크로 AUPRC를 달성하여 평가된 8개의 PU 기준선(baseline)을 절대 백분율 포인트 기준 5.27~16.98%p 앞섰으며, 평가된 가장 강력한 PU 기준선인 PULDA와 비교했을 때 5%의 검토 예산에서 33.3% 더 많은 오경보를 복구합니다.

arXiv:2610.02968v1cs.AI공통 태그 Recommendation Systems, Large Language Model

단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명

Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation

대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.

arXiv:2610.02979v1cs.AI공통 태그 Recommendation Systems, Large Language Model

RASPER: EHR 결과 예측을 위한 임상 기록의 보상 정렬 요약

RASPER: Reward-Aligned Summarization of Clinical Notes for EHR Outcome Prediction

전자의무기록(EHR)의 비정형 퇴원 요약지는 종종 정형화된 의료 코드와 상호보완적인 신호를 지니며, 표준화된 코호트 수준의 코드만으로는 포착할 수 없는 환자별 근거를 담고 있습니다. 그러나 이러한 임상 기록 내 근거는 특정 임상 예측을 염두에 두고 작성되지 않은 길고 노이즈가 많은 텍스트 속에 묻혀 있는 경우가 많습니다. 요약은 직관적인 해결책이지만, 결과 예측보다는 유창성에 맞춰 조정된 일반적인 요약은 그럴듯하지만 정보성이 없는 세부 사항을 유지하면서 결정적인 근거를 일상적으로 누락합니다. 이를 위해 본 논문에서는 다운스트림 임상 작업에 맞춰 임상 기록 요약을 직접 최적화하는 EHR 예측용 보상 정렬 요약기인 RASPER를 제안합니다. RASPER는 미세조정 가능한 대규모 언어 모델(LLM) 기반 요약기를 활용하여 퇴원 요약지에서 작업 관련 근거를 추출하고, 다운스트림 예측기의 손실(loss)에서 도출된 보상(reward)을 사용하여 예측 피드백 기반 강화학습(reinforcement learning)으로 이를 학습합니다. 요약기를 그라운딩하기 위해 종단적 인코더가 정형 코드를 소프트 프롬프트로 변환하여 각 환자의 임상적 맥락을 임상 기록 요약에 반영합니다. 최종적인 멀티모달 예측 품질에 보상을 제공함으로써, RASPER는 요약기가 정형 코드로 포착된 정보를 중복하기보다는 이를 보완하는 환자별 근거를 유지하도록 유도합니다. RASPER는 MIMIC-III 및 MIMIC-IV 전반에서 재입원 예측과 약물 추천 모두에 대해 강력한 베이스라인을 일관되게 능가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.