PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02418v2cs.CR

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.00421v1cs.CV

유지되는 점수와 누출되는 벤치마크: 공개 뇌종양 MRI 분류에서의 데이터셋 오염 측정

Scores That Hold, Benchmarks That Leak: Measuring Dataset Contamination in Public Brain-Tumor MRI Classification

MRI를 이용한 뇌종양 자동 분류(classification)는 의료 영상 분야에서 심층 학습(deep learning)이 활발히 적용되는 연구 주제로, 공개 벤치마크에서 보고되는 정확도는 일상적으로 98%를 웃돕니다. 그러나 정확도는 벤치마크 품질의 중요한 차원인 데이터셋(dataset) 무결성, 즉 영상, 환자, 획득 출처 수준에서 테스트 데이터가 학습(training) 데이터로부터 독립적인지 여부를 포착하지 못합니다. 본 연구에서는 관련 문헌의 기반이 되는 공개 코퍼스를 평가하기 위해 중복, 환자, 출처-라벨 누출로 구성된 3개 층(layer) 오염 프레임워크를 도입합니다. 가장 널리 사용되는 3개 코퍼스를 흉부 X선 음성 대조군과 비교 감사하고, 9개 아키텍처와 3개 평가 조건에 걸쳐 각 층이 측정된 성능에 미치는 영향을 정량화합니다. 모든 층에서 오염이 심각한 수준이었습니다. 가장 지배적인 코퍼스의 공식 테스트 분할 중 28.8%는 자체 학습 분할 내에 유사 복제본이 존재했고, 두 번째 코퍼스는 테스트 영상의 22.3%가 바이트 단위로 동일하게 누출되었으며, 추적 가능한 테스트 영상의 95.5%가 학습 데이터와 동일한 환자를 공유했고, 해부학적 정보를 포함하지 않는 파일 헤더 특징만으로도 파인튜닝(fine-tuning)된 ResNet 백본과 동등한 수준인 0.959의 균형 정확도로 종양과 비종양을 구분했습니다. 예상치 못한 결과는 확인된 모든 누출 테스트 영상을 제거해도 균형 정확도가 실질적으로 변하지 않았다는 점입니다. 즉, 중복 제거 후에도 성능이 안정적으로 유지된다고 해서 벤치마크의 무결성이 입증되는 것은 아닙니다. 본 연구의 결과는 데이터셋 무결성이 안정적인 리더보드만으로는 보증할 수 없는 벤치마크 품질의 명확하고 측정 가능한 축임을 규명합니다. 생물의학 연구에서 이러한 코퍼스만을 바탕으로 보고된 정확도는 모델(model)이 데이터셋 특화 단서를 악용하는 대신 종양을 인식하도록 학습되었음을 증명하지 못합니다. 연구진은 오염된 파일 목록, 복구된 환자 식별자, 중복이 제거된 분할 데이터를 공개합니다.

arXiv:2609.27311v1cs.CR

암호화된 C2 탐지를 위한 다중 뷰 융합: 평가 함정에 대한 데이터 누출 통제 측정 연구

Multi-View Fusion for Encrypted C2 Detection: A Leakage-Controlled Measurement Study of Evaluation Pitfalls

명령 및 제어(C2) 트래픽이 점차 TLS 내에 숨어들면서, 방어자들은 이제 트래픽 메타데이터에 머신러닝을 적용하고 있다. 많은 연구에서는 플로우 통계와 TLS 핸드셰이크 핑거프린트라는 두 가지 메타데이터 뷰를 결합하면 정확도와 견고성이 모두 향상된다고 가정한다. 본 연구에서는 62개의 실제 Cobalt Strike 캡처에서 추출한 17,577개의 TLS 플로우를 대상으로 이 가정을 검증했다. 우리의 평가는 지나치게 낙관적으로 보고된 점수를 초래하는 데이터 누출(data leakage)을 제거한다. 우리는 융합 결과 자체보다 더 중요한 세 가지 발견 사항을 보고한다. 첫째, 잘못된 전처리 단계로 인해 F1 점수가 0.28 증가한다. 이 단계는 각 교차 검증(cross-validation) 폴드 내에서가 아니라 전체 데이터셋에 걸쳐 빈도 인코딩을 계산한다. 이 증가는 우리가 측정한 실제 효과보다 약 10배 더 크다. 둘째, 라벨과 행동 특징(feature) 모두 목적지 주소에 의존한다. 이로 인해 17,577개의 플로우는 2,132개의 독립적인 그룹만을 형성하며, 균형 잡힌 것처럼 보이던 55.1%의 양성 비율은 4.2%로 떨어진다. 따라서 클래스 균형은 플로우를 세는지 아니면 엔드포인트를 세는지와 같이 데이터를 어떻게 분석하는지에 따른 결과일 뿐, 과제의 실제 특징이 아니다. 셋째, 62개 캡처 중 20개(32%)에는 알려진 C2 주소로 향하는 TLS 플로우가 전혀 없으므로 정상 샘플만 포함되어 있다. 우리는 이러한 캡처를 직접 확인하여 이것이 라벨링 오류가 아니라 정답 레이블(ground truth)의 공백임을 확인했다. 이러한 맥락에서 융합은 가장 우수한 단일 뷰보다 F1 기준 겨우 0.022 앞설 뿐이다. 공격자가 두 특징 표면을 동시에 위조할 경우, 모든 모델은 항상 양성을 예측하는 단순 기준선(baseline, F1 = 0.711)보다 성능이 떨어진다. 암호화된 C2 탐지에서 평가 설계는 예비 단계가 아니다. 그것은 바로 주요 결과이다.

arXiv:2607.11963v1cs.LG

만성 신장질환 조기 예측을 위한 머신러닝 모델의 신뢰성 평가: 데이터 누출 및 예측 변수 안정성에 대한 체계적 문헌고찰

Evaluating Reliability in Machine Learning Models for Early Chronic Kidney Disease Prediction: A Systematic Review of Data Leakage and Predictor Stability

머신러닝을 이용한 만성 신장질환(Chronic Kidney Disease) 조기 진단은 의료 관련 컴퓨터 과학 분야에서 상당한 관심을 받아왔다. 이 분야가 빠르게 발전했음에도 불구하고, 보고된 많은 연구는 일관성이 없고 잠재적으로 오해를 불러일으킬 수 있다. 중요한 한계는 방법론적 우려에 대한 체계적인 평가가 부족하다는 점이다. 핵심 이슈로는 데이터 누출(data leakage), 시간적 환자 기록에 대한 제한적 접근, 보고된 임상 지표의 불일치가 포함된다. 본 연구는 해석 가능한(interpretable) 머신러닝 기법을 사용한 기존 CKD 예측 연구에 대한 체계적 문헌고찰을 제공하며, 주요 학술 데이터베이스에 대한 체계적 검색을 통해 19편의 관련 연구를 선정했다. 방법론적 신뢰성을 평가하기 위해, 본 연구는 정보 누출에 대한 구조화된 분류 체계와 정량적 누출 점수 프레임워크를 도입하여 CKD 예측 연구 전반의 신뢰성을 체계적으로 평가한다. 분석 결과 누출과 부풀려진 성능 사이에 강한 관계가 나타났다. 여기서 높은 누출 연구는 평균 정확도 95.48%를 보고한 반면, 누출이 없는 연구는 80.2%로, 약 15.28%의 증가를 반영한다. 또한 교차 연구 특징 안정성 분석은 일관되게 재현 가능한 예측 변수가 극히 일부에 불과하며, 80% 이상이 신뢰성을 결여하고 있음을 보여준다. 전반적으로, 이러한 결과는 보고된 많은 성능 향상이 실제 예측 능력이라기보다 방법론적 한계에서 비롯된 것임을 시사한다.

arXiv:2607.12278v1cs.CV

전체 슬라이드 이미지 멀티모달 벤치마크의 데이터 누수 감사

Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks

최근 계산 병리학을 위한 비전-언어 모델(VLM)들이 전체 슬라이드 이미지(WSI) 시각적 질의응답(VQA) 벤치마크에서 놀라운 제로샷 성능을 보고하고 있다. 이러한 주장을 감사한 결과, 두 가지 계층적 수준의 데이터 누수로 인해 근본적으로 훼손되었음을 발견했다: 환자 수준 누수—동일 사례의 슬라이드가 학습 및 테스트 폴드 모두에 등장하는 경우—와 기관 수준 누수—서로 다른 사례임에도 공통 Tissue Source Site(TSS)를 통해 염색 배치 및 스캐너 시그니처를 공유하는 경우. 주요 공개 자료에서 표준 슬라이드, 사례, TSS 식별자를 추적함으로써, TCGA 기반 벤치마크에서 92.3~100%의 사례 수준 학습-테스트 중복과 함께 거의 완전한 TSS 중복을 문서화했다. 또한 두 누수 수준 모두 파운데이션 모델 특징 공간에서 선형적으로 디코딩 가능함을, 공개된 체크포인트에서 누수된 사례와 감사를 통해 정제된 사례 간 측정 가능한 정확도 격차를 유발함을, 그리고 여러 공개 WSI VLM에서 보고된 최고 정확도가 가장 심하게 오염된 벤치마크에 집중됨을 추가로 입증한다. 따라서 현재의 WSI VQA 평가는 진정한 멀티모달 추론과 기억된 기관 및 환자 특이적 인공물에 대한 최근접 이웃 검색을 구별할 수 없다. 마지막으로, 오염 없는 평가를 위한 구체적 권고사항을 제시한다. 벤치마크 구축, 출처 공개, 자동화된 중복 감사를 다룸으로써, 향후 연구가 검증 가능한 진전 주장을 향하도록 안내하는 것을 목표로 한다.

arXiv:2607.02825v1cs.CR

JavaVulBench: 현실적 분할 전략, 통합 멀티백엔드 하네스, 누출 인식 평가 모드를 갖춘 Java 취약점 벤치마크

JavaVulBench: A Java Vulnerability Benchmark with Realistic Splits, a Unified Multi-Backend Harness, and a Leakage-Aware Evaluation Mode

우리는 Java 취약점 탐지를 위한 벤치마크 데이터셋과 평가 하네스인 JavaVulBench를 공개한다. 이 데이터셋은 1,740개의 CVE와 700개 이상의 프로젝트에 걸친 약 30,600개의 Java 메서드를 포함하며, 메서드 및 라인 단위로 레이블이 부여되어 있고, CVE별 공개 날짜와 다섯 가지 현실적 분할 전략(무작위, 프로젝트 비중복, 시간적, 중복 제거, 미확인 CWE 계열)을 제공한다. 하네스는 세 가지 백엔드 계열(인코더 분류기, Ollama로 서빙되는 로컬 생성 모델, OpenRouter를 통해 라우팅되는 API 서빙 대규모 언어 모델(LLM))에 걸쳐 단일 LlmPrediction 스키마를 제공하므로, CodeBERT, GraphCodeBERT, UniXcoder, DeepSeek-Coder-1.3B 및 8개의 API/오픈 가중치 LLM(GPT-4o, GPT-4.1-mini, Claude Sonnet 4, DeepSeek-v3, DeepSeek-Coder-v2, Qwen-2.5-Coder-14B/7B, CodeLlama-13B)을 포함한 12개의 참조 탐지기가 단일 명령어로 동일한 조건에서 평가된다. 사전학습 오염 감사가 모든 모델과 함께 제공되어 사용자가 진정으로 미확인 테스트 CVE와 잠재적으로 기억된 CVE를 구분할 수 있다. 데이터, 코드, 파인튜닝된 체크포인트는 Zenodo [31]에 보관되어 있으며, 짧은 시연 영상은 YouTube(https://www.youtube.com/watch?v=nMTX_hqkuoM)에서 확인할 수 있다.

arXiv:2607.02055v1cs.LG

Beyond the Performance Illusion: Structure-Aware Stratified Partitioning and Curriculum Distributionally Robust Optimization for Spatially Correlated Domains

공중 감시, 정밀 농업, 의료 영상 등 시공간적으로 상관된 도메인에서 무작위 데이터셋 분할이 데이터 누수(data leakage)와 은닉 계층화(hidden stratification)를 유발해 성능을 과대평가하는 문제를 분석하고, 이를 해결하기 위해 의미적으로 분리된 균형 잡힌 검증 분할을 구성하는 Structure-Aware Stratified Partitioning(SASP)과 커리큘럼 기반의 분포적 강건 최적화인 Curriculum Distributionally Robust Optimization(CDRO)을 통합 프레임워크로 제안한다. 여러 벤치마크 실험에서 이 조합이 일반화 성능과 신뢰도 보정을 향상시키고 기존 무작위 분할 평가에서는 드러나지 않던 모델의 취약점을 노출함을 보인다.

arXiv:2606.29815v1cs.CL

SrDetection: 코드 대규모 언어 모델의 데이터 누출 탐지를 위한 자기참조 프레임워크

SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models

코드 대규모 언어 모델(Code LLM)을 평가하려면 데이터 누출(data leakage)의 신뢰할 수 있는 탐지가 필요하다. 데이터 누출이란 사전학습 중 벤치마크 데이터에 노출됨으로써 벤치마크 성능이 인위적으로 부풀려지는 현상이다. 기존 접근법들은 독점적인 학습 코퍼스에 대한 접근을 가정하거나, 타임스탬프 필터링과 같은 취약한 휴리스틱에 의존하거나, 수동으로 조정된 일반화되지 않는 임계값을 가진 외부 참조 세트를 사용한다. 이러한 한계를 해결하기 위해, 우리는 그레이박스(모델 로짓 접근 가능) 및 블랙박스(모델 출력 접근 가능) 설정 모두를 위한 통합 자기참조(self-referential) 누출 탐지 프레임워크인 SrDetection을 제안한다. SrDetection은 벤치마크 샘플의 의미적으로 동등한 변형을 생성하고, 원본과 변형에 대한 모델의 동작을 대조함으로써 누출을 탐지하며, 원본이 모델에게 불균형적으로 쉬운 경우를 플래그로 표시한다. 또한 통제된 누출 탐지 테스트베드를 설계하고 해당 환경에서 SrDetection을 평가한다. 다양한 모델과 학습 단계에 걸쳐, SrDetection은 강력한 기준선 대비 그레이박스 설정에서 평균 F1을 21.52포인트, 블랙박스 설정에서 14.46포인트 향상시키며 임계값에 독립적인 강건한 누출 탐지를 입증한다. 마지막으로, 네 가지 인기 벤치마크에서 15개의 널리 사용되는 Code LLM에 대한 그레이박스 연구는 기존 중복 기반 분석을 넘어서는 벤치마크별 누출 패턴을 밝혀낸다.

arXiv:2606.24944v1eess.IV

신뢰할 수 있는 백혈병 검출을 위한 누출 인식 비교 벤치마크: 머신러닝, 심층 학습 및 트랜스포머 모델

A Leakage-Aware Comparative Benchmark of Machine Learning, Deep Learning, and Transformer Models for Reliable Leukemia Detection

말초 혈액 도말 이미지에서 급성 림프모구 백혈병(ALL)을 자동 분류하는 연구들은 C-NMC 2019 데이터셋에서 거의 완벽한 성능을 보고하는 경우가 많다. 본 연구는 이러한 결과가 무작위 이미지 수준 분할로 인한 환자 수준 데이터 누출에 의해 부풀려질 수 있음을 보인다. 이 경우 동일 피험자의 세포가 학습 폴드와 테스트 폴드 양쪽에 모두 등장할 수 있다. 우리는 엄격한 피험자 비중복 프로토콜 하에 누출 인식 벤치마크를 수립하여 LightGBM, RBF-SVM, EfficientNet-B0, EfficientNet-B1, ViT-Tiny를 비교한다. 모델은 73명의 피험자로 구성된 세 개의 피험자 비중복 폴드를 사용하여 개발되었으며, 환자 중복이 전혀 없는 28명의 미관측 피험자로부터 수집한 1,867장의 이미지로 구성된 외부 예비 단계 테스트 세트에서 평가하였다. 판별 성능 외에도, 기대 캘리브레이션 오차(ECE), 브라이어 점수, 온도 스케일링을 이용하여 캘리브레이션을 평가하였다. 공정한 평가 하에서 EfficientNet-B1이 AUROC 0.913, 민감도 0.87, 특이도 0.80, 캘리브레이션 후 ECE 0.024로 최고 성능을 달성하였다. 동결 특징(frozen-feature) 분류기와 ViT-Tiny는 높은 민감도를 보이나 특이도가 낮아 악성 클래스를 과도하게 예측하는 경향을 나타낸다. 무작위 분할 대 피험자 비중복 분할 절제 연구(ablation)에 따르면, 보수적인 동결 특징 설정에서도 무작위 분할이 AUROC를 약 0.04 부풀리는 것으로 나타났다. 이러한 결과는 C-NMC 2019에서의 이미지 수준 평가에 대한 주의를 촉구하며, 향후 연구를 위한 재현 가능한 캘리브레이션 인식 벤치마크를 제공한다.

arXiv:2606.17114v1cs.CR

현실적 시나리오에서 도구 사용 대규모 언어 모델(LLM) 에이전트의 데이터 유출 위험 평가

An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios

AI 에이전트는 이메일, 데이터베이스, 문서 및 기타 도구에 접근하여 민감한 정보를 읽고, 업데이트하고, 유포할 수 있는 기업 및 개인 환경에서 점점 더 채택되고 있습니다. 에이전트의 데이터 유출 위험에 대한 대부분의 이전 연구는 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)을 통한 적대적 데이터 반출에 초점을 맞추었습니다. 그러나 민감한 정보는 비적대적 사용 중에도 노출될 수 있으며, 이는 사용자가 양성(benign) 요청을 발행할 때에도 유출 위험을 초래합니다. 우리는 싱가포르 AI 안전 연구소(Singapore AI Safety Institute)와 한국 AI 안전 연구소(Korea AI Safety Institute)의 공동 평가 결과를 보고하며, 이는 고객 지원, DevOps, 웹 자동화, 기업 및 개인 생산성에 걸친 12가지 현실적이고 비적대적인 작업에서의 에이전트 데이터 유출을 조사했습니다. 이 평가는 데이터 인식 부재, 대상 인식, 정책 준수, 데이터 최소화, 접근 경계 인식의 다섯 가지 위험 유형을 다룹니다. 두 연구소는 독립적인 테스트 환경과 작업별 LLM 판사(LLM-judge) 루브릭을 사용하여 실제 배포를 반영하는 공통 시나리오 세트를 테스트했습니다. 테스트된 세 에이전트 모두 모든 시나리오에서 완전히 정확하고 완전히 안전한 실행을 달성하지 못했습니다. 성공적인 작업 완료는 불필요한 정보에 접근하거나 부적절한 수신자에게 정보를 공개하는 것과 같은 데이터 처리 실패와 자주 동반되었으며, 이는 능력(capability)과 데이터 처리 안전성이 별도로 평가되어야 함을 시사합니다. 정성적 검토는 또한 주장-행동 불일치, 시뮬레이션 인식 행동, 사용자-시뮬레이터 역할 전환, 자동화된 판단의 해석 격차를 드러냈습니다. 전반적으로, 결과는 운영상 데이터 유출이 적대적 반출과 구별되는 1차적 에이전트 안전 우려 사항임을 나타내며, 향후 에이전트 데이터 처리 안전성 평가를 위한 방법론을 제공합니다.

arXiv:2606.11267v1cs.LG

모델 예측에서의 정보 유출에 대한 사전 정보 없는 맹검출

A prior-free blind detection of information leakage from model predictions

데이터 유출(기준선에서 사용할 수 없는 정보로 모델이 오염되는 것)은 기계 학습 기반 과학에서 가장 지배적인 재현성 실패 원인이지만, 검출 도구는 학습 코드, 외부 데이터 또는 도메인 전문 지식을 필요로 합니다. 감사자가 가장 자주 보유하는 산출물인 모델의 출력에 대해 작동하는 도구는 없습니다. 우리는 예측과 결과만으로 유출에 대해 무엇을 결정할 수 있는지 질문합니다. 우리는 유출 진단이 예측 위험/결과 법칙의 범함수이며, 적절한 점수 규칙(proper scoring rules) 및 의사결정 곡선 분석과 연결된 임계값 가중치에 의해 매개변수화되는 의사결정 이론적 프레임워크를 제시합니다. 우리는 명확한 불가능성을 증명합니다: 정직한 모델의 보정(calibration) 및 식별력(discrimination)과 일치하는 재보정된 유출은 예측의 *어떤* 함수로도 정직한 성능과 구별할 수 없으므로, 이 광범위한 클래스는 달성 가능한 식별력에 대한 외부에서 제공된 상한선에 대해서만 검출 가능합니다. 그 다음 우리는 유출이 숨길 수 없는 것을 증명합니다: 거의 레이블 유출의 특징인 거의 결정론적인 하위 그룹은 비결정론적 결과의 합법적인 예측기가 만들어낼 수 없는 지속적인 단위 순도(unit-purity) 헤드를 생성하며, 이는 사전 정보 없는 테스트를 제공합니다. 이러한 결과들은 유출을 오보정된(miscalibrated), 광범위하게 보정된(broad-calibrated), 결정론적(deterministic)의 3가지로 분류하며, 각각은 일치하는 검출기와 실패 모드를 가집니다. 우리는 등급화된 심각도가 알려진 시간 창 기반 동반질환 유출을 사용하여 영국 바이오뱅크(UK Biobank)에서 검증하며, 이 종점에서 $Δ\cstar \approx 0.007$의 검출 하한선을 측정했습니다. 이 값 미만에서는 잔여 유출이 출력에서 검출할 수 없으며, 결론을 바꿀 수 없을 만큼 작습니다. 수치적 하한선은 코호트 및 종점에 따라 다르지만, 구조적 교훈은 일반적입니다. 출력 전용 검출은 잔여 유출이 정직하게 더 강력한 예측기와 구별할 수 없는 경우 실패합니다. 이 테스트는 범용 하드웨어에서 1초도 안 되는 시간 안에 예측 벡터에 대한 결과를 반환합니다.