PyTorchKR Papers

최신 논문

총 26편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.16959v3cs.LG

클수록 항상 암기하는 것은 아니다: 과대매개변수화된 확산 모델의 조기 종료

Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models

확산 확률 모델은 현대 생성형 AI의 핵심이 되었지만, 그 일반화의 기저 메커니즘은 여전히 잘 이해되지 않고 있다. 실제로 이러한 모델이 학습 손실을 완벽하게 최소화한다면, 과대매개변수화 영역에서 경험적으로 발견되듯이 학습 집합에 속한 데이터만 생성하게, 즉 암기하게 될 것이다. 우리는 이러한 관점을 재검토하여, 고도로 과대매개변수화된 확산 모델에서 자연 데이터 영역의 일반화가 암기가 시작되기 전에 학습 과정에서 점진적으로 달성됨을 보인다. 이미지 확산 모델부터 언어 확산 모델에 이르는 우리의 결과는 암기 시간이 데이터셋 크기에 비례한다는 경험 법칙을 체계적으로 뒷받침하며, 이는 낮은 잡음에서 경험적 스코어를 적합하는 데 필요한 시간에 대한 커널 회귀 한계와 일치한다. 따라서 일반화 대 암기는 시간 척도 간의 경쟁으로 가장 잘 이해된다. 우리는 이러한 현상이 무작위 규칙을 가진 단순한 확률적 문맥 자유 문법을 학습하는 확산 모델에서도 재현됨을 보이며, 여기서 일반화는 학습 시간이 늘어남에 따라 더 깊은 문법 규칙을 계층적으로 습득하는 것에 해당하고, 조기 종료의 일반화 비용을 특성화할 수 있다. 우리는 이러한 결과를 상 다이어그램으로 요약한다. 전반적으로 우리의 결과는 데이터셋 크기에 비례하여 조정되는 원칙적인 조기 종료 기준이 암기를 피하면서 일반화를 효과적으로 최적화할 수 있음을 뒷받침하며, 이는 하이퍼파라미터 전이와 프라이버시에 민감한 응용에 직접적인 시사점을 갖는다.

arXiv:2610.02418v2cs.CR

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.02902v4cs.AI

LUMOS: 대규모 언어 모델(LLM)에서 학습 데이터로부터 행동 출력까지의 파라메트릭 지식 추적

LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs

LLM의 매개변수적 지식에 대한 현재의 분석은 대체로 출력 중심적이어서, 모델이 실제로 무엇을 학습했는지 검증하지 않은 채 모델이 무엇을 아는지에 대한 결론을 도출한다. 이 때문에 올바른 응답이 진정한 일반화를 반영하는지 단순 암기를 반영하는지와 같은 근본적인 질문이 증거가 아닌 추측에 기반하게 된다. 이러한 모호성을 해소하기 위해 우리는 학습 데이터가 완전히 공개된 OLMo 2를 활용하여, 학습 데이터 노출, 내부 표현, 행동 출력에 걸쳐 지식을 추적하는 진단 프레임워크 LUMOS를 소개한다. 검증된 노출에 근거해 분석한 결과, 모델은 드문 사실을 높은 분리도(84%)로 내부에 인코딩하지만 행동으로는 이를 표현하지 못하며(54%), 이러한 인출 격차는 규모가 커질수록 줄어든다. 또한 모델에게 자신의 답변을 스스로 성찰하도록 요청하면, 학습된 내용에서는 안정적으로 수행하지만(83%) 보지 못한 내용에서는 무작위 기준선 수준(49%)으로 떨어진다. 이러한 붕괴는 보정을 개선하지 않고 확신 신호만 부풀리는 사고 연쇄(chain-of-thought) 프롬프팅 하에서도 지속된다. 종합하면, 이러한 결과는 LLM 평가에 학습 데이터 축을 포함하면 추측에 의한 진단이 검증 가능한 주장으로 바뀜을 보여 주며, 우리는 이 축이 LLM 지식 평가의 표준 구성 요소가 되어야 한다고 주장한다.

arXiv:2506.20856v1cs.LG

더 가벼운 학습, 더 낮은 유출: LoRA를 이용한 LLM 미세조정에서의 암기 재고찰

Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA

대규모 언어 모델(LLM)의 암기는 이를 데이터 추출 공격에 취약하게 만든다. 사전 학습 단계의 암기는 폭넓게 연구되었으나, 미세조정에서의 영향, 특히 널리 채택된 파라미터 효율적 방법인 LoRA 미세조정에 대한 연구는 상대적으로 적다. 본 연구에서는 미세조정에서의 암기를 다시 살펴보고, 미세조정 전략에 따라 기존 연구 결과와 놀랍게 달라지는 양상을 발견한다. 사전 학습과 전체 미세조정에서 암기에 큰 영향을 미치는 모델 규모와 데이터 중복과 같은 요인이 LoRA 미세조정에서는 동일한 경향을 따르지 않는다. 보다 완화된 유사도 기반 암기 지표를 사용하여, LoRA가 강력한 과제 성능을 유지하면서도 전체 미세조정에 비해 암기 위험을 크게 줄임을 보인다.

arXiv:2610.13786v1cs.LG

이산 그래프 확산 모델은 은밀하게 암기하고 있다

Your Discrete Graph Diffusion Model is Secretly Memorizing

이산 그래프 확산 모델(Discrete graph diffusion models, GDM)은 마르코프(Markovian) 노이즈 모델 하에서 노드(node)와 에지에 독립적으로 노이즈를 추가하여 그래프 구조를 손상시킵니다. 노드 특징이 없는 무조건부 설정에서, 단일 그래프로 학습(training)된 등변 노이즈 제거기(equivariant denoiser)는 새로운 그래프를 생성할 수 있으며 에지 겹침(edge overlap) 및 WL 커널(kernel) 유사도와 같은 샘플 수준의 지표에서는 암기의 증거를 찾을 수 없습니다. 본 연구에서는 이러한 관점에 이의를 제기하고, 그래프 확산 모델이 실제로 암기 현상을 보인다는 점을 최초로 입증합니다. 2-블록 확률적 블록 모델(stochastic block models, SBM)로 학습된 GDM의 역방향 확산 궤적(reverse diffusion trajectory)을 분석한 결과, 강력한 학습 데이터 바이어스(bias)를 발견했습니다. 즉, 모델(model)은 제외된 테스트 그래프에 비해 손상된 학습 그래프를 거의 완벽하게 복원합니다. 이러한 현상은 역방향 궤적이 손상된 학습 그래프에 조건화될 때만 나타나고 추론(inference) 중에는 드러나지 않으므로, 우리는 이를 조건부 암기(conditional memorization)라고 명명합니다. 이는 제외된 그래프에서의 손실(loss)이 악화되는 반면 학습 손실은 개선되는 일반화 격차(generalization gap)의 확대와 일치하며, 조기 종료(early stopping)로도 완화할 수 없습니다. 암기의 시작은 항상 생성된 그래프에서 커뮤니티 구조의 출현보다 앞서 발생하므로, 그보다 앞선 모든 체크포인트(checkpoint)는 구조가 없는 그래프만을 생성합니다. 이러한 동작은 우리가 테스트한 모든 노드 크기에 걸쳐 유지됩니다.

arXiv:2603.13419v3cs.LG

샘플 복제를 넘어서: 디퓨전 모델의 구조적 암기

Beyond Sample Copying: Structural Memorization in Diffusion Models

디퓨전 모델(diffusion model)은 실제로 일반화(generalization)가 잘 된다. 역설적으로, 최적의 디퓨전 모델은 학습 데이터를 완전히 암기하여 일반화에 실패하는데, 이는 실제 디퓨전 모델에서 무엇이 일반화를 유도하는지에 대한 의문을 제기한다. 우리는 디퓨전 모델이 디노이징(denoising) 학습 목표에 점진적으로 과적합되어, 중간 노이즈 수준에서 검증 성능과 학습 성능 사이에 일반화 격차(generalization gap)를 만든다는 것을 보인다. 디노이징 오차가 통제된, 완전히 해석적인(analytic) 2차원 토이 모델(toy model)에서, 우리는 이 격차를 모델 오차와 데이터 분포 지지집합(support)의 밀도 사이의 상호작용으로 추적한다. 최적의 디노이징 흐름장(flow field)은 개별 학습 포인트 주변에 날카롭게 국소화(localize)되는 반면, 모델 오차는 학습 포인트의 정확한 재현을 억제하여 매끄럽고 일반화하는 흐름장을 만들어낸다. 마지막으로, 우리는 학습 시점의 과적합이 추론 궤적(trajectory)을 따라 어떻게 나타나는지 검토한다. 우리는 중간 궤적 상태에서 이루어진 예측이 노이즈가 추가된 학습 및 검증 이미지로부터 이루어진 예측과는 구별되는 특징 공간(feature space) 영역을 차지한다는 것을 발견한다. 학습이 진행되고 모델 크기가 커질수록, 이러한 예측들은 검증 데이터에 대한 절대적 유사도가 감소하지 않음에도 불구하고 학습 데이터에 대해 더 큰 상대적 친화도(affinity)를 갖게 된다. 종합적으로, 이러한 결과는 디노이징 목표와 추론 궤적이 구조적 암기(structural memorization)를 서로 다르게 표현한다는 것을 보여준다.

arXiv:2607.23440v1cs.CL

추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?

Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?

본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.

arXiv:2607.21351v1cs.LG

어댑터는 몇 비트를 기록할 수 있을까? 파라미터 효율적 미세조정의 용량과 기억화 측정

How Many Bits Can an Adapter Write? Measuring the Capacity and Memorization of Parameter-Efficient Fine-Tuning

LoRA 어댑터는 몇 메가바이트에 불과하지만, 거의 모든 사람이 이를 뒤에 있는 데이터의 기록이 아니라 일종의 능력으로 취급한다. 우리는 그 가정을 검증한다. 압축 기반 기억화(memorization) 분석을 고정 베이스(frozen-base) 설정으로 확장하여, 저랭크(low-rank) 어댑터가 전혀 변경하지 않는 모델에 몇 비트만큼 기록하는지를 직접 측정한다. 그 답은 전체 미세조정보다 작으며, 매개변수 개수로 예측하는 것보다 덜 규칙적이다. 어댑터는 학습 가능한 매개변수당 몇 비트 정도를 저장하며, 이는 전체 모델의 예산에 훨씬 못 미치지만, 그 수치는 어댑터가 얼마나 많은 매개변수를 갖는지보다 어디에 위치하는지에 더 크게 좌우된다. 동일한 매개변수 예산을 어텐션에서 MLP로 옮기면 거의 두 배 가까이 담을 수 있고, 고정 베이스의 구조를 제거하면 용량은 거의 사라진다. Qwen2.5에 대한 현실적인 미세조정에 적용하면, 동일한 측정 도구는 프라이버시 누출이 어댑터가 명목상 갖는 매개변수 수가 아니라 어댑터가 기록하는 비트 수에 따라 증가함을 보여 주며, 지도 미세조정과 강화학습 사이에 뚜렷한 경계를 그어 준다. 지도 미세조정이 그대로 복사해 내려 놓는 비밀은, 검증 가능한 보상으로 학습된 어댑터는 결코 기록하지 않는다. 사후에 공격하는 대신 미세조정이 무엇을 기록하는지 측정하는 것은, 일종의 미신을 설계에 대응할 수 있는 정량으로 바꾼다.

arXiv:2502.19499v4cs.LG

확산 모델에서 스코어 스무딩의 보간 효과

On the Interpolation Effect of Score Smoothing in Diffusion Models

확산 모델은 학습 집합에 존재하지 않는 새로운 데이터를 생성하는 흥미로운 능력과 함께 다양한 분야에서 놀라운 발전을 이루었다. 본 연구에서는 이러한 창의성이 신경망 백본이 경험적 스코어 함수의 스무딩된 버전을 학습함으로써 발생한다는 가설을 연구한다. 이 스코어 함수는 디노이징 역학을 안내하여 학습 데이터를 보간하는 데이터 포인트를 생성한다. 주로 학습 집합이 일차원 부분공간에 균일하게 놓여 있는 설정에 초점을 맞춰, 해석적 해법과 수치 실험을 통해 스코어 스무딩과 디노이징 역학 간의 상호작용을 밝히며, 스코어 함수를 스무딩하는 것이 어떻게 디노이징된 데이터 샘플이 부분공간을 따라 학습 집합을 보간하게 만들 수 있는지를 보여준다. 또한, 명시적 정규화 유무와 관계없이 신경망으로 스코어 함수를 학습하는 것이 데이터가 단순한 비선형 매니폴드(manifold)에 속하는 경우에도 유사한 효과를 자연스럽게 달성할 수 있다는 이론적·실증적 근거를 제시한다.

arXiv:2205.04599v2cs.LG공식 코드 · Papers with Code

지각 정렬 AI 출력: 임상 의사결정에서 불확실성 전달을 위한 종단간 시각적 예측

Perception-Aligned AI Outputs: End-to-End Visual Prediction for Uncertainty Communication in Clinical Decision-Making

설명 가능한 인공지능(XAI)은 의료 분야에서 신뢰할 수 있는 AI에 필수적이지만, 기존 방법의 많은 부분이 임상의와 환자가 해석하기 어려운 기술적 설명에 의존한다. 본 연구는 수치적 설명이나 사후적(post-hoc) 설명이 아니라 직관적인 시각적 표현을 통해 모델 예측과 불확실성을 전달하는 인간 중심 설명 가능성 프레임워크인 Visualized Learning for Machine Learning(VL4ML)을 제안한다. VL4ML은 색상, 패턴, 공간 구조에 진단 정보를 인코딩함으로써, 사용자가 모델 내부 구조나 통계적 전문 지식 없이도 예측을 해석할 수 있게 한다. 분류, 회귀, 종단 예측, 멀티모달 분석을 포함한 여러 임상 과제에서 이 프레임워크를 시연하였다. 효과는 158명(임상 전문가 39.2%)이 참여한 인간 중심 연구와 전문가 해석 가능성 평가를 통해 검증되었다. 평가 차원 전반에서 79% 이상의 참가자가 시각적 설명에 긍정적으로 평가했으며, 84.0%는 수치 출력보다 기억하기 쉽다고 응답했고, 76.9%는 의사결정이 더 빨라졌다고 보고했다. 82% 이상이 사전 통계 학습 없이도 시각적 표현에 내재된 불확실성을 성공적으로 인지했다. 임상의와 비임상 전문가 간, 또는 남성과 여성 참가자 간에는 유의미한 차이가 관찰되지 않아 폭넓은 접근성을 시사한다. 이러한 결과는 VL4ML이 직관적이고 보편적으로 해석 가능한 시각적 설명을 제공함으로써 기존 XAI 및 불확실성 정량화 방법을 보완하고, 투명하고 신뢰할 수 있는 임상 의사결정을 지원할 수 있음을 시사한다.

arXiv:2607.12649v1cs.LG

제1원리로부터의 추출 가능한 암기

Extractable Memorization From First Principles

대규모 언어 모델(LLM)에서 추출 가능한 암기에 대한 최근 연구는 상반되는 두 가지 타당성 문제를 겪고 있다. 일부 연구는 추출을 과장하는데, 예를 들어 암기와 예측 가능성을 구분하기에 너무 짧은 시퀀스에 의존한다. 다른 연구들은 모델이 명시적으로 학습하지 않은 실세계 텍스트도 재생산할 수 있기 때문에, 추출이 암기의 신뢰할 수 있는 증거가 아니라고 암시한다. 서로 다른 방식으로, 둘 다 유효한 추출 주장을 만드는 요건을 간과한다: 모델은 암기를 나타낼 만큼 충분히 높은 확률로 학습 시퀀스를 생성해야 한다. 무엇이 충분히 높은지 판단하려면 대응 비교(matched comparison)를 수행해야 한다. 즉 관심 있는 학습 시퀀스와 비교 가능한 비학습 시퀀스 모두의 생성 확률을 측정하는 것이다. 비학습 시퀀스는 암기될 수 없으므로, 이들의 확률은 예측 가능성에 대한 기준선을 제공한다. 이 기준선을 초과하는 학습 시퀀스는 암기의 증거를 제공한다. 우리는 대응 비교를 두 가지 방식으로 형식화한다: (1) 학습 및 비학습 시퀀스가 모집단에서 샘플링될 때 임계값을 선택한 거짓 양성 비율(FPR)에 맞게 보정하는 컨포멀(conformal) 검정, (2) 대상이 단일 문서(예: 책)일 때 대응하는 비학습 문서에 대해 보정하는 센서스(census). 대응 비교가 엄밀하고 보정된 암기 주장을 가능하게 하며, 이전 설정들이 타당성 문제를 갖는 지점을 밝혀준다는 것을 보인다. 예를 들어 Wikipedia에서 OLMo 2 32B는 비학습 10-토큰 접미사를 학습 접미사의 대략 24% 빈도로 재생산한다. 학습 생성률 대비 그 비율은 암기가 아니라 거짓 양성을 반영한다. 책에 대한 Llama 3.1 70B의 경우, 우리가 보정한 임계값은 1e-27까지 낮아, 실행 가능한 샘플링 예산으로는 추출할 수 없는 시퀀스에 대해서도 암기 주장을 뒷받침한다. 이 결과를 바탕으로, 우리는 "추출 가능한 암기"를 유효한 암기 주장과 현실적인 예산 내에서 거의 확실한 생성을 요구하도록 정제한다.

arXiv:2607.12616v1cs.LG

암기의 기하학: 플로우 매칭 모델 진단을 위한 유한시간 스펙트럴 민감도

The Geometry of Memorization: Finite-Time Spectral Sensitivity as a Diagnostic for Flow Matching Models

연속시간 생성 프레임워크는 시간 의존 속도장(velocity field)을 최적화하여 기본 도메인과 목표 도메인 사이의 확률 경로를 구성한다. 이론적 목표는 직선 궤적을 선호하지만, 실증적 네트워크는 복잡한 경로 변형을 발달시킨다. 본 논문은 상태 전이 행렬(state-transition matrix)의 특이값(singular value) 제곱평균제곱근(root-mean-square singular value)을 추적하여 플로우 기하학을 드러내는 그래디언트 없는 순전파(forward-pass) 지표인 유한시간 스펙트럴 민감도(Finite-Time Spectral Sensitivity, FTSS) g(t)를 제시한다. 안정 순위(stable rank)에 대한 연속적 대리 지표로서 g(t)는 데이터 부족 하에서 뚜렷한 기하학적 병리를 드러낸다: 일반화하는 모델은 안정적인 유효 차원을 유지하는 반면, 과적합은 스펙트럴 붕괴를 유발한다. 우리는 이 구조적 현상을 활용하여 g(t)에 기반한 내부 기하학적 감사(internal geometric audit)를 개발한다. 우리의 프레임워크는 순수하게 내부 궤적 동역학만을 사용하여 생성적 암기를 탐지하며, 외부 멤버십 쿼리(membership query)나 기준선 데이터 비교의 필요성을 제거한다.

arXiv:2607.12438v1cs.LG

Fisher Rank Inflation: 라벨 노이즈 하에서 암기화의 스펙트럴 시그니처

Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise

라벨 노이즈로 학습된 깊은 신경망은 손상된 라벨을 암기하기 전에 종종 깨끗한 구조를 먼저 학습한다. 우리는 이 전환이 예시별 마지막 층 그래디언트의 중심화된 scatter에 스펙트럴 시그니처를 남긴다는 것을 보여준다. 유효 순위(effective rank)는 암기화 동안 일시적으로 확장되고, 손상된 라벨이 맞춰진 뒤에는 수축한다. 우리는 이 현상을 Fisher Rank Inflation이라 부른다. 손상된 라벨은 저에너지 또는 이전에 사용되지 않았던 고유방향(eigendirection)에 스펙트럴 질량(spectral mass)을 주입하여 유효 순위를 높이고, 그래디언트 스펙트럼의 엔트로피를 증가시킨다. 우리는 1차 leave-one-out 기여(attribution) 공식을 유도하고, 손상된 예시가 깨끗한 예시보다 더 강하게 기여하는 조건을 밝히며, 정규화된 Fisher-그래디언트 스펙트럼이 안정화된 뒤 기여 신호가 약해지는 이유를 설명한다. 우리는 SmallCNN, ResNet18, Vision Transformer를 사용해 CIFAR-10, CIFAR-100, CIFAR-10N에서 이러한 예측을 검증한다. 모든 설정에서 Fisher 유효 순위는 암기화와 정렬된 일관된 팽창-붕괴(inflation-collapse) 궤적을 보인다. 순위가 최고인 체크포인트에서 손상된 예시는 순위 기여도가 가장 높은 샘플들 가운데 풍부하게 나타나며, 5-seed 합성 손상 실험에서는 top-100 noisy fraction이 \(69.2\%\)에서 \(96.2\%\)이고 CIFAR-10N에서는 \(94.4\%\pm1.9\%\)이다. 1차 스펙트럴 기여(attribution)는 합성곱 모델에서 정확한 leave-one-out 기여와 밀접하게 일치하며 Vision Transformer에서도 풍부함을 유지한다. 최고 유효 순위는 손상 심각도에 따라 단조 증가하며, 깨끗한 학습에서는 \(28.88\pm1.95\)에서 \(60\%\) 손상에서는 \(97.09\pm1.78\)까지 증가한다. 여러 설정에서 사후적으로 식별된 순위 팽창의 시작은 관측 가능한 테스트 성능 저하보다 앞서 나타난다. 이러한 결과는 Fisher Rank Inflation을 손상된 예시의 풍부화, 손상 심각도, 구조 학습에서 암기화로의 전환을 연결하는 스펙트럴 시그니처로 확립한다.

arXiv:2603.13421v2cs.LG

Rectified Flow에서의 일반화와 암기

Generalization and Memorization in Rectified Flow

Flow Matching 목적 함수에 기반한 생성 모델, 특히 Rectified Flow는 효율적이고 고품질의 이미지 합성을 위한 지배적 패러다임으로 부상했다. 그러나 기존 연구가 생성 품질과 아키텍처 스케일링에 크게 우선순위를 두는 반면, RF 모델이 학습 데이터를 암기하는 기저 역학은 여전히 거의 탐구되지 않았다. 본 논문에서는 멤버십 추론 공격(Membership Inference Attack, MIA)의 검정 통계량을 통해 RF의 암기 행동을 체계적으로 조사한다. 우리는 점진적으로 세 가지 검정 통계량을 정식화하고, 이미지의 고유한 공간 복잡도를 진정한 암기 신호와 성공적으로 분리하는 복잡도 보정 지표에 이르게 한다. 이 보정은 상당한 성능 향상을 가져오며—공격 AUC를 최대 15%까지, 프라이버시에 중요한 TPR@1%FPR 지표를 최대 45%까지 끌어올려—RF에 특화된 최초의 비자명한 MIA를 확립한다. 이 정교화된 지표를 활용해 우리는 뚜렷한 시간적 패턴을 밝혀낸다: 표준적인 균등 시간 학습 하에서 모델의 MIA 취약성은 적분 중간점에서 엄격히 최고조에 이르며, 이 현상은 네트워크가 선형 근사에서 강제로 벗어나야 하는 특성을 통해 설명한다. 마지막으로, 균등 타임스텝 샘플링을 대칭 지수(Symmetric Exponential, U형) 분포로 대체하면 취약한 중간 타임스텝에 대한 노출을 효과적으로 최소화함을 보인다. 세 데이터셋에 걸친 광범위한 평가는 이 시간적 정규화가 생성 충실도를 유지하면서 암기를 억제함을 확인한다.

arXiv:2607.11541v1cs.LG

심층 신경망의 기억화 연구를 위한 무작위 레이블 예측 헤드

Random Label Prediction Heads for Studying Memorization in Deep Neural Networks

우리는 분류(classification) 작업에서 심층 신경망의 기억화(memorization)를 경험적으로 연구하기 위한 간단하면서도 효과적인 방법을 소개한다. 우리의 접근법은 각 학습 샘플에 보조 무작위 레이블을 추가하고, 이를 무작위 레이블 예측 헤드(RLP-head)가 예측하도록 한다. RLP-head는 네트워크의 임의 깊이에 부착될 수 있으며, 해당 중간 표현으로부터 무작위 레이블을 예측함으로써 기억화 용량이 레이어에 걸쳐 어떻게 변화하는지 분석할 수 있다. RLP-head의 성능을 라데마허 복잡도(Rademacher complexity)의 경험적 추정치로 해석함으로써, 샘플 수준의 기억화와 모델 용량 모두에 대한 직접적인 측정값을 얻는다. 우리는 이 무작위 레이블 정확도 지표를 활용하여 다양한 모델과 데이터셋에서 일반화와 과적합을 분석한다. 이 접근법을 기반으로, RLP-head의 출력에 기반한 새로운 정규화 기법을 추가로 제안하며, 이는 기억화를 입증 가능하게 감소시킨다. 흥미롭게도, 우리의 실험은 기억화 감소가 데이터셋과 학습 설정에 따라 일반화를 개선하거나 저해할 수 있음을 보여준다. 이러한 발견은 과적합이 기억화와 동등하다는 전통적인 가정에 도전하며, 이 겉보기에 모순적인 결과들을 조화시키기 위한 새로운 가설을 제시한다. 소스 코드는 https://github.com/MarlonBecker/RandomLabelHeads 에서 확인할 수 있다.

arXiv:2607.08041v1cs.LG

베이지안 확산 모델에서 일반화 상전이의 엄밀한 정보 이론

An exact information theory of generalization phase transitions in Bayesian diffusion models

확산 모델이 유한한 학습 데이터로 고차원 분포를 암기 없이 학습하는 메커니즘을 규명하기 위해, 각 픽셀이 노이즈 데이터의 제한된 정보를 관찰하고 베이지안 사후 확률로 역확산을 수행하는 BIRD(Bayesian Information Restricted Diffusion) 모델을 제안한다. 학습 데이터 양, 역 생성 시간, 정보 제한량의 결합 공간에서 암기와 일반화 사이의 정보 이론적 상경계(phase boundary)를 도출하고, UNet·DiT 등 다양한 아키텍처에서 이를 실험적으로 검증하며 생성이 암기의 경계 근방에서 진행됨을 보인다.

arXiv:2606.10062v2cs.AI

파운데이션 모델 에이전트의 배포 시점 기억화

Deployment-Time Memorization in Foundation-Model Agents

파운데이션 모델 에이전트의 배포 시점 메모리 설계가 개인화 유용성, 적대적 정보 추출, 삭제 충실도에 미치는 영향을 분석하기 위해 개인화 재현율(PR), 적대적 추출률(AER), 망각 잔류 점수(FRS)를 도입하고 LongMemEval에서 실험한 결과, 핵심 사실 요약 방식이 카나리아 추출을 약 60% 감소시키면서 개인화 성능을 거의 유지하지만, 원본 청크만 삭제하는 방식은 파생 요약본에 정보가 약 20% 잔류하여 완전한 망각을 보장하지 못함을 보였다.

arXiv:2605.10439v2cs.CV

확산 모델의 매개변수 공간에서 암기 필터링

Filtering Memorization from Parameter-Space in Diffusion Models

LoRA 파인튜닝된 확산 모델(diffusion model)이 학습 이미지를 암기(memorization)해 저작권 콘텐츠를 재현하는 문제를 해결하기 위해, Base-Anchored Filtering(BAF)은 학습 데이터나 추론 과정 접근 없이 LoRA 업데이트를 SVD로 스펙트럼 채널로 분해한 뒤 사전학습 백본의 주요 부분공간(principal subspace)과의 정렬 정도를 기준으로 암기 관련 채널을 선별적으로 억제한다. 여러 데이터셋과 확산 백본 실험에서 BAF는 생성 품질을 유지하거나 향상시키면서 암기를 일관되게 감소시킴을 입증했다.

arXiv:2408.00001v2cs.CV공식 코드 · Papers with Code

시각적 확산 모델에서의 복제: 서베이 및 전망

Replication in Visual Diffusion Models: A Survey and Outlook

시각적 확산 모델(visual diffusion model)이 학습 데이터의 개념·콘텐츠·스타일을 추론 단계에서 복제하는 현상을 개인정보 보호, 보안, 저작권 관점에서 체계적으로 분석한 최초의 종합 서베이로, 복제 현상의 규명(unveiling)·이해(understanding)·완화(mitigation) 세 범주로 기존 연구를 분류하고 의료·예술·법규 등 실세계 영향까지 포괄적으로 검토한다.

arXiv:2607.04969v1cs.LG

더 길게가 아닌 더 스마트하게 학습하기: 효율적인 LLM 학습을 위한 암기 기반 데이터 재사용

Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training

손실 보존 동역학과 다운스트림 평가 점수에서 도출한 "암기 윈도우(Memorization Window)" 신호를 활용해, 대규모 언어 모델(LLM) 사전학습 시 데이터를 언제·어떻게 재사용할지 적응적으로 결정하는 "암기 기반 데이터 재사용(Memorization-guided Data Reuse)" 패러다임을 제안한다. 예비 실험 결과, 암기 인식 스케줄링 하에서 반복 학습의 효용이 통상적으로 알려진 4 에포크 한계를 훨씬 넘어 지속되며, 충분한 간격으로 재노출된 데이터는 새로운 데이터와 동등한 학습 효율을 달성함을 확인했다.