arXiv:2606.12655v1 cs.CR

Amnesia: 지속적 학습 드림에 대한 은밀한 리플레이 공격

Amnesia: A Stealthy Replay Attack on Continual Learning Dreams

Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

제출 2026-06-10

한국어 초록

지속적 학습(CL) 모델은 치명적 망각(catastrophic forgetting)을 완화하기 위해 경험 리플레이(experience replay)를 널리 사용하지만, 리플레이 샘플링 간섭에 대한 견고성은 아직 충분히 연구되지 않았습니다. 기존 CL 공격은 입력이나 학습 파이프라인(포이즈닝/백도어)을 변조하지만, 명시적인 감사 가능 제약(auditable constraints)을 거의 포함하지 않아 현실성이 제한됩니다. 여기서 감사 가능성(auditability)은 모니터가 샘플러 가시 텔레메트리(예: 기록된 리플레이 인덱스/라벨 통계)를 통해 규정 준수를 검증할 수 있음을 의미합니다. 구체적으로, 실현된 리플레이 클래스 히스토그램이 명목상 기준선(nominal baseline)에 근접하게 유지되고, 배치별 및/또는 롤링 윈도우(rolling window) 기간 동안 리플레이 비율이 변경되지 않았는지 확인하는 것을 말합니다. 본 연구에서는 픽셀, 라벨, 모델 파라미터가 아닌 리플레이 인덱스 선택만 제어하면서, 큐 우선순위(queue priorities)와 같은 감사 가능 한도 내에 머무는 제한된 권한의 내부자(limited-privilege insider)를 다룹니다. Amnesia라는 리플레이 구성 공격(replay composition attack)을 제안합니다. 이 공격은 두 가지 예산 하에서 성능 저하를 최대화합니다: 명목 클래스 히스토그램 p0로부터의 TV/KL 발산을 제한하는 가시성 예산 δ와 리플레이 비율을 고정하는 질량 예산 f입니다. Amnesia는 두 단계로 수행됩니다: (i) EMA 손실이나 신뢰도(confidence)와 같은 가벼운 클래스 유틸리티(class utilities)를 계산하여 p0를 유해한 클래스 쪽으로 기울이는(tilt) 단계, (ii) 효율적인 KL(지수 기울임, exponential tilt) 또는 TV(균형 질량 재분배, balanced mass redistribution) 최적화 도구를 사용하여 기울임을 δ-볼(delta-ball) 내로 다시 투영(project)하는 단계입니다. 윈도우 스케줄러(windowed scheduler)가 롤링 감사(rolling audits)를 강제합니다. 다양한 도전적인 CL 벤치마크와 강력한 리플레이 기준선에서 Amnesia는 최종 정확도(ACC)를 일관되게 낮추고 역전이(-BWT)를 악화시켰습니다. KL 변형(variant)은 배치별 및 롤링 윈도우 검사를 포함한 다양한 감사 방식(audit schemes) 하에서도 대부분 탐지되지 않으면서 높은 영향력을 발휘했습니다. TV 변형은 더 큰 피해를 입히지만 탐지하기 쉬우며, 특히 엄격한 클래스별 제약(per-class constraints) 하에서 그러합니다. 이러한 결과는 인덱스 전용 리플레이 제어가 CL 시스템 내 실용적이고 감사 가능한 위협 표면(threat surface)임을 보여주며, 원칙적인 영향력-가시성 트레이드오프(impact-visibility trade-off)를 확립합니다.

원문 초록

Continual learning (CL) models often use experience replay to reduce catastrophic forgetting, but their robustness to replay sampling interference remains underexplored. Existing CL attacks alter inputs or training pipelines (poisoning/backdoors) and rarely include explicit auditable constraints, limiting realism. Here, auditability means a monitor can verify compliance from sampler-visible telemetry - e.g., logged replay index/label statistics - by checking that the realized replay class histogram stays close to a nominal baseline and that replay rate is unchanged per batch and/or over a rolling window. We study a limited-privilege insider who controls only replay index selection, not pixels, labels, or model parameters, while staying within auditable limits such as queue priorities. We introduce Amnesia, a replay composition attack that maximizes degradation under two budgets: a visibility budget delta bounding the TV/KL divergence from a nominal class histogram p0, and a mass budget f fixing the replay rate. Amnesia has two steps: (i) compute lightweight class utilities, such as EMA loss or confidence, to tilt p0 toward harmful classes; and (ii) project the tilt back into the delta-ball using efficient KL (exponential tilt) or TV (balanced mass redistribution) optimizers. A windowed scheduler enforces rolling audits. Across challenging CL benchmarks and strong replay baselines, Amnesia consistently lowers final accuracy (ACC) and worsens backward transfer (-BWT). The KL variant delivers high impact while remaining largely undetected under multiple audit schemes, including per-batch and rolling-window checks. The TV variant is more damaging but easier to detect, especially under tight per-class constraints. These results expose index-only replay control as a practical, auditable threat surface in CL systems and establish a principled impact-visibility trade-off.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12655v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23512v1cs.CL공통 태그 Continual Learning, experience replay

공격적 언어 탐지의 교차 도메인 일반화 비용

The Cross-Domain Generalization Cost of Offensive Language Detection

공격적 언어 탐지 모델은 일반적으로 데이터셋 간 및 언어 간에 배포될 때 성능 저하를 겪지만, 기존 연구의 대부분은 이 현상을 보고하는 데 그치며, 성능 저하의 원인을 기여 요인으로 분해하고 개선 비용을 정량화하는 체계적인 방법론이 부족하다. 본 논문은 세 가지 조율된 기술 구성 요소로 이루어진 진단 및 최적화 프레임워크를 제안한다. 첫째, OLID에서 MLMA로의 제로샷(zero-shot) 전이 손실 분해로, 성능 저하를 데이터셋 효과와 언어 효과라는 두 가지 독립적으로 측정 가능한 구성 요소로 분리한다. 둘째, 지속적 미세조정과 콜드스타트(cold-start) 시작점에서의 퓨샷(few-shot) 학습 곡선을 비교하여 적응 효율성과 원본 과제에 가해지는 숨겨진 손상을 모두 정량화하는 통제된 미세조정 프로토콜. 셋째, 온도 샘플링(temperature sampling)과 경험 재생(experience replay)을 포함하는 세 가지 공동 학습(joint training) 전략으로, 다국어 능력 향상과 원본 과제 성능 보존 사이의 조절 가능한 파레토(Pareto) 트레이드오프를 제공한다. 이 프레임워크를 기반으로 한 실험은 데이터셋 효과가 제로샷 전이 손실을 지배하며 언어 효과를 실질적으로 능가함을 보여준다. 재생(replay) 메커니즘이 없는 퓨샷 적응은 데이터 효율적이지만, 공동 학습 전략에 비해 원본 과제 손상을 4~9배 더 가하며, 그 손상의 크기는 매우 불안정하다. 세 가지 공동 학습 전략은 원본 과제 성능 3.2~4.1%p를 다국어 능력 향상 8.1~42.6%p와 교환하며, 명확하고 조절 가능한 파레토 트레이드오프를 형성한다.

arXiv:2607.20493v1cs.AI공통 태그 Continual Learning, experience replay

범용 시계열 예측 모델의 연속 학습을 위한 어텐션 기반 경험 재생 프레임워크

Attention-based Experience Replay Framework for Continual Learning of Agnostic Time Series Forecasting Models

심층 학습은 인공지능, 특히 로봇공학, 영상 처리 및 음향 처리 분야에서 놀라운 발전을 이끌었다. 그러나 신경망의 주요 한계는 여전히 대규모이고 정상(stationary)인 데이터셋에 대한 강한 의존성이다. 많은 실제 응용에서는 데이터 분포가 시간에 따라 변하는 진화적이고 동적인 환경 때문에 이러한 조건을 거의 충족하기 어렵다. 연속 학습(continual learning)은 계산 제약 하에서 안정성(stability)과 가소성(plasticity) 사이의 균형을 유지하면서 점진적으로 적응할 수 있는 모델을 개발함으로써 이 문제를 해결하고자 한다. 본 연구에서는 문헌에서 일반적으로 사용되는 기존 정적 예측 모델을 확장하기 위해 어텐션 메커니즘이 안내하는 경험 재생(Experience Replay) 전략을 통합한, 연속 시계열 예측을 위한 새로운 프레임워크를 제안한다. 이 접근법은 모델이 이전 지식을 보존하면서 새로운 맥락에 동적으로 적응할 수 있게 하여, 치명적 망각(catastrophic forgetting)을 효과적으로 완화한다. 이 프레임워크는 표준 예측 벤치마크뿐만 아니라 다양한 시간적 거동을 보이는 수압 계측(piezometric) 데이터셋에서도 평가되었다. 결과는 우리 접근법이 재학습 비용과 데이터 요구량을 줄이면서 시간에 따른 예측 성능을 효과적으로 향상시키거나 유지함을 보여주며, 이를 통해 동적이고 실제 환경에서 예측 모델의 배포를 용이하게 한다.

arXiv:2606.29024v1cs.CL공통 태그 Continual Learning, experience replay

경험 재생과 모델 수핑을 통한 21개 인도 언어 전반의 IndicTrans2 대화체 도메인 적응

Conversational Domain Adaptation of IndicTrans2 across 21 Indic Languages via Experience Replay and Model Soups

IndicTrans2는 가장 강력한 오픈 소스 영어-인도어 번역 시스템이지만, 대부분의 시스템과 마찬가지로 일반 텍스트로 학습(training)되어 일상적인 대화체 입력에 딱딱하게 들리는 경향이 있다. 우리는 공개 데이터(OpenSubtitles, BPCC-H-Daily, Tatoeba)만을 사용하여 21개 인도 언어 전반에 걸쳐 IndicTrans2-1B를 대화체 레지스터에 적응시킨다. 단순 미세조정(fine-tuning)은 대화체 chrF를 향상시키지만 일반 도메인을 망각한다(힌디어의 경우 FLORES에서 3.9 chrF 하락). 일반 데이터를 학습에 다시 혼합하는 경험 재생(experience replay)과 이후 미세조정된 가중치를 기본 모델(model)과 평균하는 모델 수핑(model souping)은 이 트레이드오프를 제거한다: 결과 모델은 21개 언어 모두에서 대화체 chrF 기준으로 IndicTrans2-1B를 능가하며(평균 +6.2), FLORES에서는 동등한 성능을 유지한다(평균 변화 -0.17, 모두 0.7 chrF 이내). 대응 부트스트랩 검정은 대화체 향상이 유의미하며(p <= 0.004) FLORES가 유의미하게 저하되지 않음을 확인한다. 우리는 범위에 대해 신중하다: 이것은 chrF 향상이며, 맹검 인간 평가와 다중 모델 LLM 검증은 이를 지각된 품질 향상으로 확인하지 않는다. 따라서 우리는 대화체 향상을 더 나은 번역의 증거라기보다는 참조문에 대한 레지스터 일치로 대부분 간주한다. 기법 자체는 새롭지 않으며, 기여는 인도어 대화 환경에서의 정직한 종단 간(end-to-end) 연구이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.