PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.14868v2cs.LG

그래디언트 예측을 활용한 고속 적대적 공격

Fast Adversarial Attacks with Gradient Prediction

대규모로 적대적 예제(adversarial examples)를 생성하는 것은 강건성 평가, 적대적 학습(adversarial training), 레드팀 테스팅(red-teaming)을 위한 핵심 기본 요소이지만, FGSM과 같은 '빠른' 공격조차도 역전파(backward pass) 비용으로 인해 처리량(throughput)이 제한됩니다. 본 연구에서는 가벼운 선형 회귀(linear regression)를 통해 순전파(forward pass)의 은닉 상태(hidden state)로부터 입력 그래디언트를 예측함으로써 역전파 과정을 제거하는 일련의 공격 기법을 제안합니다. 이론적으로는 정확한 아핀 조건부 그래디언트 평균(affine conditional gradient means)을 유도하여, (이상화된) NTK 영역에서의 최적성을 보입니다. 실증적으로는 본 방법이 실제 유한 너비 모델에 적용될 때도 잘 작동함을 확인하였으며, FGSM 공격 성능의 대부분을 복원하면서도 시간의 극히 일부만을 사용하여 처리량이 $532\%$ 증가했습니다. 이러한 결과는 현실적인 실제 소요 시간(wall-clock) 제약 조건 하에서 그래디언트 예측이 적대적 예제 생성을 크게 가속화할 수 있는 단순하고 범용적인 경로임을 시사합니다.

arXiv:2602.04548v2cs.LG

다이어그램 전개를 통한 그래디언트 흐름: 학습 체제와 명시적 해

Gradient Flow Through Diagram Expansions: Learning Regimes and Explicit Solutions

대규모 학습에서 그래디언트 흐름(GF)의 스케일링 체제를 분석하기 위해 손실 진화를 파인만 다이어그램과 유사한 다이어그램으로 인코딩한 멱급수 전개 프레임워크를 제안하고, 고차 텐서의 CP 분해 학습에서 NTK·평균장·자유 진화 등 lazy/rich GF 체제를 분류해 명시적 해를 도출한다. 형식적 손실 전개는 1차 편미분방정식(PDE)으로 환원되어 특성곡선법으로 풀 수 있으며, 이론적 예측이 실험과 잘 일치한다.

arXiv:2606.18024v1cs.LG

치명적 망각은 저계수입니다: 지속적 적응을 위한 함수 공간 이론

Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation

지속적 적응(continual adaptation)에서의 치명적 망각(catastrophic forgetting)은 일반적으로 매개변수 드리프트, 리플레이, 또는 증류를 통해 연구되지만, 이러한 관점들은 어떤 출력 공간 방향이 취약한지 식별하지 못합니다. 우리는 NTK(신경망 접선 커널) 체제에서 함수 공간적 설명을 제시합니다: 새 작업 학습은 교차 작업 커널을 통해 이전 작업 예측 드리프트를 유발하며, 이는 새 작업의 그래디언트 스텝 이전에 망각 벡터에 대한 닫힌 형식 예측기를 산출합니다. 학습 가능한 매개변수에 대해 모델이 선형인 동결된 백본 선형 헤드 PEFT-CL(지속적 학습을 위한 파라미터 효율적 미세조정)에서, 예측기는 수치적 정밀도 내에서 정확합니다. 비선형 어댑터나 완전 미세조정의 경우, 이는 국소 NTK 근사입니다. 동일한 식은 망각이 소수의 이전 작업 NTK 고유모드에 집중됨을 보여주며, 동결된 선형 헤드 하에서는 취약 랭크에 대한 크로네커 스케일링 규칙을 제공합니다. 이러한 결과들은 기존 NTK 중첩 이론과의 관계를 명확히 하고, 매개변수 공간 정규화기가 출력 공간 간섭을 놓칠 수 있는 이유를 설명하며, 표적화된 스펙트럴 정규화기를 제안합니다.