PyTorchKR Papers

최신 논문

총 41편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04364v4cs.LG

강화학습은 잊는다! 연속적 정책 최적화를 향하여

RL Forgets! Towards Continual Policy Optimization

Continual post-training is becoming a central paradigm for adapting vision-language models to evolving tasks. Recent studies report that reinforcement learning is less prone to forgetting than supervised fine-tuning, motivating the view that RL is inherently resistant to forgetting. However, this view remains insufficiently validated, as existing evidence is largely drawn from outdated or homogeneous benchmarks. We revisit this assumption by introducing MRCL, a Multimodal Reasoning Continual Learning benchmark built from recent and diverse multimodal reasoning tasks. Experiments on MRCL show that standard reinforcement learning still suffers from catastrophic forgetting during continual post-training. We trace the failure to an objective mismatch. The KL regularization used in common policy optimization methods is evaluated on current-task data, whereas forgetting is caused by behavioral drift on prior-task distributions. To address this problem, we propose Continual Policy Optimization (CPO), a replay-free method grounded in a prior-task behavioral KL objective. CPO derives a local Fisher surrogate from the historical KL objective and uses parameter movement as a gradient-free proxy for Fisher sensitivity, enabling sparse regularization with negligible additional overhead. Experiments on three model scales and comparisons with multiple RL baselines show that CPO consistently reduces forgetting while maintaining effective adaptation and preserving broader pretrained capabilities. The implementation code is available at https://github.com/MaolinLuo/CPO.

arXiv:2610.13432v1eess.AS

금융 분야 음성에 지속 학습 정규화가 필요한가? 실적 발표 컨퍼런스 콜 ASR에서의 EWC 및 mini-KFAC 연구

Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR

실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.

arXiv:2610.11076v1cs.LG

LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.

arXiv:2510.12843v2cs.LG

시간축에 견고한 지속 학습 스파이킹 신경망을 위한 로컬 시간축 게이트

Local Timescale Gates for Timescale-Robust Continual Spiking Neural Networks

스파이킹 신경망(spiking neural networks, SNN)은 뉴로모픽 하드웨어에서 에너지 효율적인 인공지능을 구현할 것으로 기대되지만, 특히 지속 학습(continual learning) 상황에서 빠른 적응과 장기 기억을 모두 요구하는 과제에는 어려움을 겪는다. 우리는 이중 시간 상수 동역학과 적응형 게이팅 메커니즘을 결합한 뉴런 모델인 로컬 시간축 게이팅(Local Timescale Gating, LT-Gate)을 제안한다. 각 스파이킹 뉴런은 빠른 시간축과 느린 시간축의 정보를 병렬로 추적하며, 학습된 게이트가 이들의 영향을 국소적으로 조절한다. 이 설계는 개별 뉴런이 느린 맥락 정보를 보존하면서도 빠른 신호에 반응할 수 있게 하여 안정성-소성 딜레마(stability-plasticity dilemma)를 해결한다. 우리는 추가로 생물학적 항상성(homeostasis)에서 영감을 받아 발화 활동을 안정화하는 분산 추적 정규화를 도입한다. 실험적으로 LT-Gate는 순차 학습 과제에서 정확도와 보존력을 크게 향상시킨다. 까다로운 시간적 분류 벤치마크에서 LT-Gate는 약 51%의 최종 정확도를 달성하며, 이는 최근의 헤비안(Hebbian) 지속 학습 기준선의 약 46%와 기존 SNN 방법들의 더 낮은 정확도에 비해 우수하다. 외부 리플레이(replay)나 고비용 직교화(orthogonalization)를 요구하는 접근법과 달리, LT-Gate는 국소 업데이트만으로 동작하며 뉴로모픽 하드웨어와 완전히 호환된다. 특히 LT-Gate는 온칩 학습을 위해 Intel의 Loihi 칩이 가진 특성(서로 다른 감쇠율을 갖는 다중 시냅스 트레이스)을 활용한다. 본 연구 결과는 다중 시간축 게이팅이 SNN의 지속 학습 성능을 크게 향상시킬 수 있음을 보여주며, 평생 학습(lifelong-learning) 과제에서 스파이킹 신경망과 기존 딥러닝 네트워크 간의 격차를 줄인다.

arXiv:2502.17920v2cs.LG

C-LoRA: 사전학습된 시각 모델을 위한 연속 저랭크 적응

C-LoRA: Continual Low-Rank Adaptation for Pre-trained Visual Models

사전학습(pre-training)된 시각 모델(visual model)은 컴퓨터 비전(computer vision)의 기본 요소가 되었지만, 데이터와 작업(task)이 시간에 따라 변화하는 연속 학습(continual learning) 시나리오에서는 어려움에 직면한다. 저랭크 적응(Low-Rank Adaptation, LoRA)은 효율적인 미세조정(fine-tuning) 능력을 제공하지만, 이러한 동적 환경에서는 여전히 한계가 있다. 표준 LoRA는 중요한 부분공간(subspace)을 구분하지 못해, 순차적 학습(sequential training) 과정에서 핵심 지식이 덮어씌워지는 문제가 발생한다. 기존 접근법들은 이를 해결하기 위해 LoRA 어댑터(adapter) 집합을 동적으로 확장하는 방식을 사용하는데, 작업별 모듈의 풀(pool)을 계속 늘려가거나 새로운 어댑터를 이전 어댑터에 병합(merge)하는 방식이며, 그 대가로 매개변수가 무한히 증가하거나 추론 복잡도가 증가한다. 우리는 단일한 공유 LoRA 어댑터가 추론 시 모듈 선택이나 융합(fusion) 없이도 치명적 망각(catastrophic forgetting) 없이 순차적 작업들을 처리할 수 있게 하는 방법인 연속 저랭크 적응(Continual Low-Rank Adaptation, C-LoRA)을 제안한다. C-LoRA의 핵심은 각 랭크-1(rank-one) 부분공간이 가중치 업데이트에 기여하는 방식을 명시적으로 제어하는 학습 가능한 라우팅 행렬(routing matrix) R이다. 이 행렬은 이전 작업들의 지식을 보존하는 안정성(stability) 구성 요소(R_base)와 현재 작업에 대한 적응을 이끄는 가소성(plasticity) 구성 요소(R_delta)로 분해되어, 안정성-가소성 트레이드오프(trade-off)를 직접 제어할 수 있게 한다. 우리는 순차적 학습 과정에서 R이 그래디언트 흐름을 어떻게 조절하는지 분석하고, 다수의 벤치마크(benchmark)에서 경쟁력 있는 성능을 입증한다.

arXiv:2410.21582v4cs.CV

대규모 사전학습 데이터셋이 이미지 분류의 미세조정 후 강건성을 보장하지는 않는다

Large Pretraining Datasets Don't Guarantee Robustness after Fine-Tuning in Image Classification

대규모 사전학습(pre-training) 모델은 모델의 일반적인 성능을 유지하면서 새로운 기술을 습득할 수 있도록 미세조정(fine-tuning)을 통해 새로운 전문 태스크를 학습하기 위한 기반으로 널리 활용됩니다. 이러한 모든 모델에 있어 가치 있는 목표는 분포 외(OOD, out-of-distribution) 태스크에서도 우수한 성능을 발휘하는 능력인 강건성(robustness)입니다. 본 연구에서는 이미지 분류(image classification)에서 미세조정이 사전학습 모델의 전반적인 강건성을 보존하는지 평가하였으며, 대규모 데이터셋으로 사전학습된 모델이 심각한 파국적 망각(catastrophic forgetting)과 OOD 일반화 손실(loss)을 보인다는 점을 관찰했습니다. 미세조정된 모델의 강건성 보존 여부를 체계적으로 평가하기 위해, 우리는 강건성 상속 벤치마크(ImageNet-RIB, Robustness Inheritance Benchmark)를 제안합니다. 모든 사전학습 모델에 적용할 수 있는 이 벤치마크는 관련이 있지만 구별되는 일련의 OOD(다운스트림) 태스크로 구성되며, 해당 세트의 OOD 태스크 중 하나에서 미세조정을 수행한 후 나머지 태스크에서 테스트하는 방식으로 진행됩니다. 연구 결과, 지속 학습(continual learning) 방법이 도움이 되기는 하지만 미세조정은 사전학습 모델 전반에 걸쳐 강건성을 저하시키는 것으로 나타났습니다. 놀랍게도 가장 크고 다양한 데이터셋(예: LAION-2B)으로 사전학습된 모델은 더 작은 데이터셋으로 사전학습된 모델에 비해, 소규모 데이터셋에서 미세조정한 후 강건성 손실이 더 크고 절대적인 강건성 또한 더 낮았습니다. 대조학습으로 사전학습된(CLIP) 모델과 이를 미세조정한 변형 모델에서 이러한 붕괴 현상을 관찰했으며, 이는 사전학습 규모가 커질수록 심화되었습니다. 반면 우리가 테스트한 지도학습 모델에서는 이러한 현상이 나타나지 않았습니다. 이러한 결과는 가장 강력한 파운데이션 모델에서 시작하는 것이 전문 태스크 성능을 위한 최선의 접근 방식이 아닐 수도 있음을 시사합니다. https://jd730.github.io/projects/ImageNet-RIB

arXiv:2610.02593v1cs.LG

대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택

Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.

arXiv:2610.02278v1cs.LG

CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단

CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation

인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.

arXiv:2605.19145v3cs.LG

PMF-CL: 상충하는 태스크를 위한 파레토 최소 망각 연속 학습기

PMF-CL: Pareto-Minimal-Forgetting Continual Learner for Conflicting Tasks

기존 연구에서는 머신러닝 모델의 치명적 망각(catastrophic forgetting, 즉 새로운 태스크를 학습할 때 이전에 학습한 태스크의 성능이 저하되는 현상) 문제를 해결하기 위해 수많은 연속 학습(CL) 알고리즘이 제안되었다. 모든 CL 접근법은 과거 태스크에 대한 정보를 유지하기 위해 어떤 형태로든 메모리를 사용하지만, 치명적 망각을 최소화하기 위해 어떤 정보를 저장해야 하는지에 대한 탄탄한 이론적 이해는 여전히 명확하지 않다. 최근에는 모든 태스크에 걸쳐 공통의 전역 최솟값(global minimizer)이 존재한다는 강력한 가정 하에서는 치명적 망각을 완전히 피할 수 있다는 점이 밝혀졌다. 그러나 실제로는 태스크들이 공통의 전역 최솟값을 갖는 경우가 드물며, 어느 정도의 망각은 불가피하다. 본 논문에서는 멀티태스크 학습(MTL) 관점에서 CL을 사후적으로(in hindsight) 상충하는 태스크 간의 균형을 맞추는 문제로 재정의하는 기초적 프레임워크를 제안한다. 이 접근법은 파레토 최적(Pareto-optimal) 해, 즉 정의상 파레토 관점에서 이전 태스크를 최소한으로 망각하는 해를 찾는 것에 기반한다. 저자들은 선형 및 기저 함수 회귀를 위한 파레토 최소 망각 CL(PMF-CL) 알고리즘을 유도한다. 이 알고리즘은 순차적으로 발생하는 태스크 수 $T$와 무관하게 $d$개의 모델 파라미터에 대해 $O(d^2)$의 정적 메모리 공간만을 사용하면서도, 최솟값 주변에서 2차 상한(quadratic upper bound)을 갖는 손실 함수로 자연스럽게 확장된다. 2차 손실 환경에서는 망각에 대한 정확한 사후 파레토 최적 보장을 도출한다. 2차 상한 환경에서는 망각이 증명 가능하게 바운드되며, 망각 바운드의 엄밀함은 손실 함수의 2차 바운드의 엄밀함에 의해 직접적으로 결정된다. 수치 실험 결과는 파레토 최적 해로의 수렴에 관한 이론적 주장을 검증하며, 더 적은 메모리를 차지하면서도 기존의 실증적 방법들을 일관되게 능가함을 보여준다.

arXiv:2604.13460v2cs.LG

순서에서 분포로: 지속 학습에서의 망각을 위한 정확한 연산자 프레임워크

From Order to Distribution: An Exact Operator Framework for Forgetting in Continual Learning

지속 학습(continual learning)의 핵심 과제는 망각(forgetting), 즉 새로운 태스크를 학습한 후 이전에 학습한 태스크의 성능이 손실되는 현상입니다. 기존 이론은 과매개변수화된 선형 회귀에서 고정된 태스크 집합의 무작위 순서 하에 망각을 분석했습니다. 본 연구에서는 초점을 태스크 순서에서 태스크 분포로 전환하여, 태스크 분포의 구조가 망각을 어떻게 결정하는지 질문을 던집니다. 공유 해(shared solution), i.i.d. 태스크 샘플링, 순차적 정확한 적합(exact fitting)을 가정한 선형 설정에서, 우리는 과거 망각(historical forgetting)을 태스크 분포의 관점에서 직접 표현하는 정확한 연산자 항등식을 유도합니다. 이 항등식을 기반으로 유한 차원의 모든 고정된 태스크 분포 하에서 기대 과거 망각에 대한 지수적 감쇠(exponential decay) 보장을 확립하고, 점근적 동작을 특성화하며, 감쇠를 관측 가능한 방향에 대한 분포의 커버리지와 연관 짓습니다. 개별 학습 태스크의 경우, 정확한 재방문 없이도 후속 태스크들이 집합적으로 복구를 지원할 수 있음을 보입니다. 또한 복구 시간에 대한 하한을 유도하고, 역커버리지 스케일링(inverse-coverage scaling)을 달성하는 태스크 분포를 구성합니다.

arXiv:2610.00949v1cs.AI

PG-SFT: 오프라인 에이전트 미세조정에서 능력 획득과 유지 간의 균형 잡기

PG-SFT: Balancing Capability Acquisition and Retention in Offline Agent Fine-Tuning

오프라인 에이전트(agent) 궤적에 대한 지도 미세조정(SFT)은 특화된 도구 사용 에이전트를 학습(training)하기 위한 표준적인 접근법이지만, 모델이 추론과 행동을 토큰(token) 단위로 모방하도록 강제하는 것은 베이스 모델의 다른 능력(예: 일반 추론, 도구 호출, 코드 생성)을 손상시킬 수 있습니다. 본 연구에서는 에이전트 궤적 SFT 과정에서 새로운 능력을 획득하는 것과 기존 능력을 보존하는 것 사이의 트레이드오프(trade-off)를 어떻게 더 잘 균형 잡을 수 있는지에 대해 중점적으로 연구합니다. 본 실험 환경에서 여러 베이스라인을 비교한 결과, 표준 SFT는 목표 벤치마크 점수를 향상시키는 반면 목표 외 여러 벤치마크 점수를 낮추었습니다. 한편, KL 페널티를 사용해 분포 드리프트를 단순히 억제하거나 업데이트 크기를 제한하는 방식으로는 이러한 성능 저하 추세를 피할 수 없었습니다. 최근의 토큰별 적응형 학습 목표에서 영감을 받아, 본 연구에서는 에이전트 궤적의 턴(turn) 수준 정보 이득을 지표로 활용하여 지도(supervision) 강도를 조절하는 Privilege-Guided SFT(PG-SFT)를 제안합니다. PG-SFT는 평가된 벤치마크에서 목표 작업 성능의 미미한 저하를 대가로 분포 드리프트와 광범위한 능력 저하를 대폭 줄여, 관찰된 트레이드오프를 훨씬 더 유리하게 만듭니다. 본 연구의 결과는 획득-유지 간의 트레이드오프 균형이 모델이 기본 동작에 고정되어 있는지 여부뿐만 아니라, 지도가 해당 동작에서 어디서 얼마나 강하게 벗어나야 하는지에도 달려 있음을 시사합니다.

arXiv:2609.28395v1cs.CL

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2511.15375v2cs.LG

파운데이션 모델을 위한 매개변수 중요도 기반 지속 학습

Parameter Importance-Driven Continual Learning for Foundation Models

도메인 특화 사후 학습은 종종 치명적 망각(catastrophic forgetting)을 유발하여, 파운데이션 모델이 일반적인 추론 능력을 잃게 하고 동적인 실세계 환경에 대한 적응력을 제한한다. 일반 역량을 유지하면서 하위 도메인 지식을 습득하는 것은 대규모 언어 및 멀티모달 모델의 핵심 과제이다. 정규화, 리플레이(replay), 구조적 격리(architectural isolation) 등 전통적인 지속 학습 방법은 하위 작업 성능 저하, 접근 불가능한 과거 데이터에 대한 의존, 또는 추가 매개변수 오버헤드 문제가 있다. 최근의 매개변수 효율적 튜닝(PET) 방법은 망각을 완화할 수 있지만, 그 효과는 매개변수 선택과 업데이트 전략에 크게 좌우된다. 본 논문에서는 PIECE(Parameter Importance Estimation-based Continual Enhancement)를 제안한다. 이는 이전 학습 데이터에 접근하거나 모델 매개변수를 늘리지 않으면서 일반 능력을 보존하고 도메인 지식을 효율적으로 학습하는 방법이다. PIECE는 Fisher Information 기반 PIECE-F와 그래디언트 및 곡률(curvature) 정보를 결합한 2차 정규화 기반 PIECE-S, 두 가지 중요도 추정기를 통해 새 작업과 가장 관련 있는 핵심 매개변수의 0.1%만 선택적으로 업데이트한다. 3개의 언어 모델과 2개의 멀티모달 모델에 걸친 실험에서 PIECE는 일반 역량을 유지하면서 다양한 하위 작업에서 최첨단 지속 학습 성능을 달성한다. 결과는 치명적 망각 없이 확장 가능하고 도메인 적응적인 파운데이션 모델로 나아가는 실용적 경로를 보여준다.

arXiv:2501.06762v4q-bio.NC

Improving the adaptive and continuous learning capabilities of artificial neural networks: Lessons from multi-neuromodulatory dynamics

Continuous adaptive learning, the ability to adapt to the environment and keep improving performance, is a hallmark of natural intelligence. Biological organisms excel in acquiring, transferring, and retaining knowledge while adapting to volatile environments, making them a source of inspiration for artificial neural networks (ANNs). This study explores how neuromodulation, a building block of learning in biological systems, can help address catastrophic forgetting and enhance the robustness of ANNs in continual learning. Driven by neuromodulators including dopamine (DA), acetylcholine (ACh), serotonin (5-HT) and noradrenaline (NA), neuromodulatory processes in the brain operate at multiple scales, facilitating dynamic responses to environmental changes through mechanisms ranging from local synaptic plasticity to global network-wide adaptability. Importantly, the relationship between neuromodulators and their interplay in modulating sensory and cognitive processes is more complex than previously expected, demonstrating a "many-to-many" neuromodulator-to-task mapping. To inspire neuromodulation-aware learning rules, we highlight (i) how multi-neuromodulatory interactions enrich single-neuromodulator-driven learning, (ii) the impact of neuromodulators across multiple spatio-temporal scales, and correspondingly, (iii) strategies for approximating and integrating neuromodulated learning processes in ANNs, and (iv) an architectural-general formulation of multi-neuromodulatory dynamics. We also present a conceptual study to showcase how neuromodulation-inspired mechanisms, such as DA-driven reward processing and NA-based cognitive flexibility, can enhance ANN performance in a Go/No-Go task. Though multi-scale neuromodulation, we aim to bridge the gap between biological and artificial learning, paving the way for ANNs with greater flexibility, robustness, and adaptability.

arXiv:2607.05364v2cs.CL

REDDIT: 리플레이 기반 분포 편집을 통한 ASR 모델 생성 타임스탬프 드리프트의 망각 없는 교정

REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forgetting via Replay-Based Distribution Editing

현대의 자기회귀(autoregressive) 자동 음성 인식(ASR) 시스템은 디코딩된 토큰으로 타임스탬프를 출력할 수 있으며, 이를 통해 프레임 수준 정렬기나 추론 시 후처리 없이도 타임스탬프가 포함된 전사(transcription)가 가능하다. 본 연구에서는 이렇게 생성된 타임스탬프가 긴 비음성(non-speech) 구간에 걸쳐 드리프트될 수 있음을 보인다: 전사 결과는 그럴듯하게 보일 수 있지만, 디코딩된 시간 축이 실제 오디오에서 멀어진다. 우리는 자체 구축한 gap 및 long-gap 벤치마크를 사용하여, 타임스탬프를 생성하는 15개의 ASR 및 오디오-언어 시스템에 대해 이 비음성 유발 타임스탬프 드리프트를 연구한다. 단순한 타임스탬프 교정 미세조정은 정렬을 개선하지만 비대상 ASR 동작을 심각하게 저하시킬 수 있으며, 이는 망각 문제를 드러낸다. 우리는 REDDIT(REplay-based Distribution eDITing)을 제안한다. 이는 타임스탬프를 교정하면서 파국적 망각(catastrophic forgetting)을 방지하는 경량 2단계 사후 학습 프레임워크로, 먼저 비타임스탬프 토큰에 대해 동결된 기반 분포에 맞추면서 모델 자체의 리플레이된 디코더 컨텍스트 하에서 타임스탬프 목표를 편집하고, 이후 짧은 편집된 접두 문맥(edited-prefix) 정제 단계를 적용한다. 이 프레임워크에서는 VAD로 트리밍된 음성 구간과 삽입된 비음성 구간 및 알려진 연결 오프셋을 결합하여, 인간 전사본이나 인간 타임스탬프 어노테이션 없이 교정 지도 학습 신호를 구성한다. Whisper-tiny에서, 34.9시간의 목적별 교정 오디오를 사용하고 모델 파라미터의 1.6%만 업데이트하여, long-gap mIoU를 38.7%에서 95.0%로 높이고 mixed-gap 도메인 외 AAS를 2752 ms에서 223 ms로 줄이면서, CV-en MER을 41.3%로 유지하였다(일반 SFT 디코더 튜닝의 524.2%와 비교).

arXiv:2607.11020v2cs.CL

언어 모델은 가중치에 사실을 지속적으로 학습할 수 있는가?

Can a Language Model Learn Facts Continually in Its Weights?

지속 학습(continual learning)은 학습 이후에도 계속해서 지식을 습득하며 각각의 새로운 사실을 가중치에 기록하는 언어 모델을 실현할 것을 약속한다. 가중치 쓰기(weight write)가 지식 축적을 뒷받침할 수 있는지는 아직 결론이 나지 않았다. 우리는 Qwen3 모델에 기록된 가상의 사실들을 생성 시점부터 20회에서 100회에 이르는 이후 쓰기 시퀀스까지 추적하며, 다섯 가지 유형의 검증용 질문을 사용하고, 원본 모델이 해당 사실을 프롬프트에 제공받은 경우를 참조 기준으로 삼는다. 이러한 실험들 전반에 걸쳐, 학습 데이터의 다양성이 생성되는 지식의 종류를 결정한다. 단순 진술(bare-statement) 학습은 암기(recitation)를 유발하는 반면, 다양한 재진술은 모델에 결론을 직접 보여주지 않고도 암기-활용 격차를 27.4포인트에서 5.4포인트로 줄인다. 이 차이는 이후 쓰기에도 이어진다: 20회의 순차적 쓰기 이후, 단순 진술 방식의 사실은 정확도 1%를 유지하는 반면, 광범위한 학습 데이터로 기록된 사실은 46%를 유지한다. 또한 우리는 사실들이 가중치에서 지워지지 않고도 행동적으로 망각될 수 있음을 발견한다. 망각된 사실들은 쓰기에 의해 추가된 로그 확률(log-probability)의 대부분을 유지하며, 단순 진술 학습 하에서 해당 사실에 대한 오답의 70%는 가장 최근에 기록된 사실을 포함한다. 동일한 쓰기 과정은 컨텍스트 내 모델의 사실 활용 능력을 거의 저하시키지 않으며, 프롬프트에 제공된 망각된 학습 사실은 해당 질문들에서 77~80%까지 회복된다. 이러한 결과들은 저장되지만 질문에 의해 접근 경로가 결정되는 지식을 보여준다: 이후 쓰기는 해당 지식에 도달하는 질문들을 재경로화한다. 관련 없는 능력에 대한 손상은 원본 모델로부터의 KL 발산을 따르며, 이후 쓰기는 이전 사실이 저장된 방식과 무관하게 간섭을 유발한다. 광범위한 데이터는 활용 가능한 지식을 생성할 수 있고, 고정된 참조 모델은 능력을 보존할 수 있지만, 각 쓰기의 정확한 국소 측정에 기반한 방법을 포함하여 우리가 테스트한 어떤 개입도 이전 사실들을 접근 가능한 상태로 유지하지 못한다. 사실들이 조합되어야 하거나 이후 쓰기를 견뎌야 할 때, 신뢰할 수 있는 채널은 가중치가 아닌 컨텍스트이다.

arXiv:2607.09785v1cs.CV

평생 표현: 비전 모델을 위한 지속적 자기지도 학습 서베이

Lifelong Representations: A Survey on Continual Self-Supervised Learning for Vision Models

전통적으로 지속적 학습은 레이블 데이터에 대한 접근을 가정해 왔지만, 평생 로보틱스와 같은 많은 실세계 응용 분야에서는 모델이 비레이블 스트림으로부터 지속적으로 적응해야 한다. 이로 인해 지속적 자기지도 학습(CSSL)이 발전해 왔으나, 이 빠르게 성장하는 분야는 전용적이고 체계적인 리뷰가 부재한 상황이다. 본 연구에서는 새롭게 부상하는 비전-언어 설정과의 연결점을 포함하여 비전을 위한 CSSL에 대한 포괄적인 서베이를 제시한다. 먼저, 기존 평가 프로토콜을 분석하고 공정한 비교를 저해하는 불일치점을 부각한다. 이어서 자기지도 목적함수가 파국적 망각(catastrophic forgetting)에 대해 향상된 강인성을 보이는 이유를 태스크 무관 표현 및 더 완만한 손실 경관과 연관지어 살펴본다. 다음으로, 지식 증류, 리플레이, 정규화, 아키텍처 접근법, 모델 병합, 목적함수 수준 적응을 포함한 망각 완화 전략을 기반으로 기존 방법들을 통합된 분류체계로 정리한다. 마지막으로, 확장성 및 빠른 적응성의 필요성과 같은 미해결 과제를 도출한다. 우리는 CSSL의 발전이 소규모 벤치마크를 넘어 대규모 시스템을 위한 지속적 사전학습 패러다임으로 나아가야 한다고 주장한다.

arXiv:2607.09202v1cs.LG

연속 학습에서의 간섭과 보존

Interference and Retention in Continual Learning

연속 학습(continual learning)은 일반적으로 리플레이(replay), 탄성 정규화(elastic regularization), 또는 지식 증류(distillation)와 같은 사후 메커니즘에 의존한다. 본 연구는 망각(forgetting)을 태스크 간 간섭(interference)으로 직접 모델링해야 한다고 주장한다. 특징(feature) 동결 체제에서, 새로운 태스크 학습으로 인한 망각은 이전 태스크에 유도된 간섭 에너지와 정확히 일치한다. 심층 네트워크에서는 최소한의 추가 순전파(forward pass)를 통한 경로 평균 곡률(path-averaged curvature)로 동일한 양이 도출된다. 태스크 지지 집합(task supports)이 상호 배타적인 경우 망각은 구조적으로 제거될 수 있으며, 태스크 지지 집합이 상충하는 방향으로 겹치는 경우 0이 아닌 왜곡 하한(distortion floor)이 불가피하다. 동일한 기하학적 구조를 통해 태스크 인식 직교화(task-aware orthogonalization)로 모델을 최적으로 병합할 수 있다. 이 분석으로부터 우리는 간섭 게이팅 기능 할당(Interference-Gated Functional Allocation, IGFA)을 도출하는데, 이는 리플레이와 Fisher 정보 행렬 없이 태스크가 정렬될 때 방향을 공유하고 충돌할 때 방향을 보호하는 방법이다. 벤치마크 전반에 걸쳐, IGFA는 태스크가 구조적으로 분리 가능한 경우 손실 없는 보존(lossless retention)을 달성하고, 그렇지 않은 경우 불가역적 망각의 비용을 지연되지만 복구 가능한 가소성(plasticity)으로 전환한다. IGFA는 이질적 태스크 스트림에서 가장 강력한 리플레이 없는 구조적 기준선과 동등한 성능을 보이며, 유사성이 전이(transfer)를 보존할 가치가 있는 경우 무조건적 투영(unconditional projection)보다 향상된 성능을 보인다.

arXiv:2507.18313v2cs.LG

안드로이드 악성코드 탐지를 위한 회귀 인식 지속 학습

Regression-aware Continual Learning for Android Malware Detection

악성코드는 빠르게 진화하여 머신러닝 기반 탐지기를 지속적으로 업데이트해야 한다. 안티바이러스 벤더들이 매일 수십만 건의 새로운 샘플을 처리함에 따라 데이터셋이 수십억 건의 예제로 증가할 수 있어 전체 재학습은 현실적으로 불가능하다. 지속 학습(Continual Learning, CL)은 전체 데이터 접근 없이 점진적 업데이트를 가능하게 하고 파국적 망각(catastrophic forgetting)을 완화하는 확장 가능한 대안으로 부상했다. 본 연구에서는 이 맥락에서 중요하지만 간과된 문제인 보안 회귀(security regression)를 분석한다. 이전에 본 데이터에 대한 평균 성능 저하로 나타나는 망각과 달리, 보안 회귀는 유해한 샘플 수준의 예측 변화를 포착한다. 예를 들어, 업데이트 이전에는 올바르게 탐지되었지만 이후에는 탐지를 회피하는 악성코드 샘플이 이에 해당한다. 이는 보안 크리티컬 애플리케이션에서 심각한 위험을 초래하는데, 이전에 탐지된 위협이 암묵적으로 재도입되면 평균 모델 성능이 실제로 향상되었더라도 사용자들이 업데이트 과정에서 보안이 퇴보했다고 인식하게 되어 신뢰를 잃을 수 있다. 먼저 CL 기반 악성코드 탐지기에서 보안 회귀를 형식화하고 정량화하여, 모델 업데이트 후 악성코드의 최대 3~6%가 이를 경험함을 밝힌다. 그런 다음 CL 환경에 회귀 인식 프레임워크를 도입하여 이 문제를 해결한다. 구체적으로, Positive Congruent Training(PCT)을 통해 이를 구현하여 기존의 모든 CL 전략과 원활하게 통합됨을 보인다. ELSA, Tesseract, AZ-Class 데이터셋에 대한 실험 결과, 본 방법은 시간이 지남에 따라 강력한 탐지 성능을 유지하면서 다양한 CL 시나리오에서 회귀를 절반으로 효과적으로 줄임을 확인한다.

arXiv:2511.08226v2cs.LG

현재의 지속 학습 방법들은 진정으로 불가지론적인가? 불가지론적 지속 학습을 향한 한 걸음, OPRE 소개

Are Current Continual Learning Methods Truly Agnostic? Introducing OPRE, a Step Toward Agnostic Continual Learning

지속 학습(Continual Learning, CL)을 달성하기 위해서는 신경망이 등장한 이래로 줄곧 문제가 되어온 파국적 망각(catastrophic forgetting)을 반드시 극복해야 한다. 지속 학습 방법의 평가는 알려진 동질적 데이터셋을 분할하고 관련 태스크를 순차적으로 학습하는 방식에 의존한다. 우리는 대부분의 CL 방법들이 앞으로 입력될 데이터에 대한 사전 정보(a priori information)를 도입하고 있어 불가지론적(agnostic)이라고 볼 수 없다고 주장한다. 이를 CL에서 여전히 사용되는 사전학습된 특징 추출기(pretrained feature extractor)에 의존하는 방법들을 사례로 들어 설명한다. 사전학습된 특징 추출기가 모델이 학습할 수 있는 데이터의 일반성 손실을 수반함을 보인 후, 다른 CL 방법들에서 도입되는 여타 사전 정보의 유형들도 논의한다. 이어서 두 가지 명시적인 입력 공간 기준을 통해 정보를 제거하는 온라인 데이터셋 압축 알고리즘인 Online Patch Redundancy Eliminator(OPRE)를 제안한다. 테스트 시점에 무작위로 초기화된 분류기를 사용하여, OPRE는 사전학습된 특징 추출기 없이도 CIFAR-10 및 CIFAR-100에서 보고된 최신 온라인 지속 학습 방법들과 동등한 성능을 달성하며, 동일한 메모리 예산 하에서 GDumb을 능가한다—그러면서도 앞으로 입력될 데이터에 대해 최소한의 해석 가능한 가정만을 전제로 한다. 우리는 이러한 결과를 지속 학습에 대한 경험적·정보이론적 관점으로 제시한다.