분산 강화학습(RL)은 경험 버퍼(Experience Buffer)를 중심으로 액터(actor)와 러너(learner)를 병렬화하여 학습(training)을 확장합니다. 그러나 강화학습 워크로드가 증가함에 따라 버퍼는 단순한 리플레이 큐를 넘어섭니다. 즉, 러너 업데이트를 시작하기 전에 경험을 이동, 변환, 샘플링 및 배치(batch) 처리하기 위해 매 반복(iteration)마다 거쳐야 하는 대용량 및 지연시간에 민감한 경험 경로의 스토리지 기저 역할을 하게 됩니다. 기존 강화학습 시스템은 이러한 경로를 프레임워크 제어 흐름 내부에 내장하거나 요청 기반 버퍼 서비스 형태로 노출하므로, 경험 배치가 고정되고 경험 경로 작업을 런타임 수준의 최적화 대상으로 독립적으로 스케줄링하기 어렵습니다. 본 논문에서는 강화학습 경험 관리를 명시적인 시스템 최적화 문제로 드러내는 프레임워크 비종속적 런타임인 Conduit을 제안합니다. Conduit의 핵심은 경험 수집, 경험 배치, 경험 전달을 명시적인 제어 지점으로 노출함으로써 강화학습 경험 처리 의미론을 프레임워크별 실행 로직과 분리하는 런타임 추상화인 경험 데이터 플레인(EDP)입니다. EDP를 기반으로 구축된 Conduit은 이기종 인터커넥트 및 디바이스 메모리 제약 하에서 CPU/GPU 메모리 계층 및 노드 전반에 경험 상태를 분산시키는 용량 제약 및 대역폭 인지 배치와, 강화학습 의미론을 유지하면서 노출되는 경험 경로 지연시간을 줄이기 위해 경험 경로 처리가 실행되는 시점을 제어하는 지연시간 인지 스케줄링을 도입합니다. RLlib의 프레임워크 실행 로직을 변경하지 않고 통합된 Conduit은 노출된 경험 경로 지연시간을 최대 97%, 엔드투엔드 반복 지연시간을 최대 38% 줄이고, 1,024개의 GPU까지 확장되며, 수렴(convergence)을 보존합니다.
공격적 언어 탐지 모델은 일반적으로 데이터셋 간 및 언어 간에 배포될 때 성능 저하를 겪지만, 기존 연구의 대부분은 이 현상을 보고하는 데 그치며, 성능 저하의 원인을 기여 요인으로 분해하고 개선 비용을 정량화하는 체계적인 방법론이 부족하다. 본 논문은 세 가지 조율된 기술 구성 요소로 이루어진 진단 및 최적화 프레임워크를 제안한다. 첫째, OLID에서 MLMA로의 제로샷(zero-shot) 전이 손실 분해로, 성능 저하를 데이터셋 효과와 언어 효과라는 두 가지 독립적으로 측정 가능한 구성 요소로 분리한다. 둘째, 지속적 미세조정과 콜드스타트(cold-start) 시작점에서의 퓨샷(few-shot) 학습 곡선을 비교하여 적응 효율성과 원본 과제에 가해지는 숨겨진 손상을 모두 정량화하는 통제된 미세조정 프로토콜. 셋째, 온도 샘플링(temperature sampling)과 경험 재생(experience replay)을 포함하는 세 가지 공동 학습(joint training) 전략으로, 다국어 능력 향상과 원본 과제 성능 보존 사이의 조절 가능한 파레토(Pareto) 트레이드오프를 제공한다. 이 프레임워크를 기반으로 한 실험은 데이터셋 효과가 제로샷 전이 손실을 지배하며 언어 효과를 실질적으로 능가함을 보여준다. 재생(replay) 메커니즘이 없는 퓨샷 적응은 데이터 효율적이지만, 공동 학습 전략에 비해 원본 과제 손상을 4~9배 더 가하며, 그 손상의 크기는 매우 불안정하다. 세 가지 공동 학습 전략은 원본 과제 성능 3.2~4.1%p를 다국어 능력 향상 8.1~42.6%p와 교환하며, 명확하고 조절 가능한 파레토 트레이드오프를 형성한다.
심층 학습은 인공지능, 특히 로봇공학, 영상 처리 및 음향 처리 분야에서 놀라운 발전을 이끌었다. 그러나 신경망의 주요 한계는 여전히 대규모이고 정상(stationary)인 데이터셋에 대한 강한 의존성이다. 많은 실제 응용에서는 데이터 분포가 시간에 따라 변하는 진화적이고 동적인 환경 때문에 이러한 조건을 거의 충족하기 어렵다. 연속 학습(continual learning)은 계산 제약 하에서 안정성(stability)과 가소성(plasticity) 사이의 균형을 유지하면서 점진적으로 적응할 수 있는 모델을 개발함으로써 이 문제를 해결하고자 한다. 본 연구에서는 문헌에서 일반적으로 사용되는 기존 정적 예측 모델을 확장하기 위해 어텐션 메커니즘이 안내하는 경험 재생(Experience Replay) 전략을 통합한, 연속 시계열 예측을 위한 새로운 프레임워크를 제안한다. 이 접근법은 모델이 이전 지식을 보존하면서 새로운 맥락에 동적으로 적응할 수 있게 하여, 치명적 망각(catastrophic forgetting)을 효과적으로 완화한다. 이 프레임워크는 표준 예측 벤치마크뿐만 아니라 다양한 시간적 거동을 보이는 수압 계측(piezometric) 데이터셋에서도 평가되었다. 결과는 우리 접근법이 재학습 비용과 데이터 요구량을 줄이면서 시간에 따른 예측 성능을 효과적으로 향상시키거나 유지함을 보여주며, 이를 통해 동적이고 실제 환경에서 예측 모델의 배포를 용이하게 한다.
특징 공간 목적 함수는 더 나은 기하학적 분리가 보존을 개선할 것이라는 기대 하에 리플레이 기반 지속 학습 시스템에 종종 추가된다. 우리는 클래스 균형 리플레이 메모리와 항상 활성화된 클러스터 간 반발(inter-cluster repulsion, ICF) 항을 결합한 Cluster-Aware Replay(CAR)의 예비 형태를 연구한다. ResNet-18 백본을 사용한 5-태스크 Split CIFAR-10에서, 6개 값에 대한 민감도 스윕에서 관측된 최고 평균은 3개 시드에 걸쳐 최종 평균 정확도 $22.5\pm1.4\%$에 달하며, 리플레이만 사용한 경우 $23.1\pm2.5\%$와 비교된다. 리플레이 없이 ICF만 사용하면 $19.2\pm0.1\%$에 불과하다. 시험한 모든 반발 가중치는 $20.1\%$에서 $22.5\%$ 사이의 최종 정확도를 산출하며, 상세 구성은 평균 망각 $89.2\pm1.5$ 퍼센트 포인트를 보인다. 계측 재실행 결과, 교차 엔트로피가 거의 0에 가까워진 후에도 가중 반발 기여분은 $-0.13$ 근처에 머물러, 총 목적 함수는 음수가 되는 동시에 이전 태스크 정확도는 붕괴한다. 중요하게도, 정규화된 거리 목적 함수는 수학적으로 유계(bounded)이며, 따라서 이 실패는 무계(unbounded) 손실이라기보다는 비포화(non-saturating)적이고 상시 활성(always-on)인 반발로 설명하는 것이 더 적절하다. 이러한 부정적 결과는 기하학적 분리가 리플레이와 자동으로 상보적이지 않음을 보여 주며, 충분한 분리가 달성되면 기울기가 비활성화되는 마진 게이팅(margin-gated) 목적 함수의 필요성을 제기한다.
연합 지속 학습(Federated Continual Learning, FCL)은 비정상(non-stationary) 데이터에서 신지식 습득과 구지식 유지 사이의 균형을 더 잘 맞추기 위해 클라이언트 간 협업을 활용한다. 그러나 기존 FCL 방법들은 순차적으로 도착하며 일시적으로만 접근 가능한 데이터 청크에 태스크 식별자가 없고 임의의 클래스 중첩이 나타나는 스트리밍 시나리오에 적응하기 어렵다. 이로 인해 구지식과 신지식 간 혼동이 발생하고, 접한 모든 클래스에 대한 로컬 추론을 지속할 수 없다. 이를 해결하기 위해 우리는 세 가지 구성 요소를 갖춘 FedKACE를 제안한다: 1) 클라이언트 측 추론 성능을 향상시키기 위해 추론 모델을 로컬에서 글로벌로 전환할 시점을 결정하는 적응형 메커니즘; 2) 제곱 L2 그래디언트 노름의 비율을 활용하여 신지식 습득과 구지식 유지 사이에서 클라이언트별 지식의 균형을 맞추는 반응형 그래디언트 균형 리플레이(replay) 방식; 3) 클래스 중첩 하에서 지식 유지를 강화하기 위해 정보가 풍부하고 경계가 중요한 샘플을 보존하는 전체적 버퍼 유지 전략. 다양한 시나리오에 걸친 실험과 이론적 분석은 FedKACE의 효과를 입증한다.
IndicTrans2는 가장 강력한 오픈 소스 영어-인도어 번역 시스템이지만, 대부분의 시스템과 마찬가지로 일반 텍스트로 학습(training)되어 일상적인 대화체 입력에 딱딱하게 들리는 경향이 있다. 우리는 공개 데이터(OpenSubtitles, BPCC-H-Daily, Tatoeba)만을 사용하여 21개 인도 언어 전반에 걸쳐 IndicTrans2-1B를 대화체 레지스터에 적응시킨다. 단순 미세조정(fine-tuning)은 대화체 chrF를 향상시키지만 일반 도메인을 망각한다(힌디어의 경우 FLORES에서 3.9 chrF 하락). 일반 데이터를 학습에 다시 혼합하는 경험 재생(experience replay)과 이후 미세조정된 가중치를 기본 모델(model)과 평균하는 모델 수핑(model souping)은 이 트레이드오프를 제거한다: 결과 모델은 21개 언어 모두에서 대화체 chrF 기준으로 IndicTrans2-1B를 능가하며(평균 +6.2), FLORES에서는 동등한 성능을 유지한다(평균 변화 -0.17, 모두 0.7 chrF 이내). 대응 부트스트랩 검정은 대화체 향상이 유의미하며(p <= 0.004) FLORES가 유의미하게 저하되지 않음을 확인한다. 우리는 범위에 대해 신중하다: 이것은 chrF 향상이며, 맹검 인간 평가와 다중 모델 LLM 검증은 이를 지각된 품질 향상으로 확인하지 않는다. 따라서 우리는 대화체 향상을 더 나은 번역의 증거라기보다는 참조문에 대한 레지스터 일치로 대부분 간주한다. 기법 자체는 새롭지 않으며, 기여는 인도어 대화 환경에서의 정직한 종단 간(end-to-end) 연구이다.
재앙적 망각(catastrophic forgetting)을 정확도 하락만으로 평가하면 극단에서 포화되고 과제 경계에서 이산적으로 붕괴해 망각 정도의 내부 구조를 놓치므로, softmax 출력에서 도출한 true-label rank(TLR), 예측 신뢰도, 분포 발산 등 6개 정규화 지표로 망각을 연속적으로 특성화하는 방법을 제안한다. CIFAR-100과 TinyImageNet에서 해당 지표는 정확도가 동일하게 보이는 구간에서도 차이를 드러내며, 샘플별 손실 가중과 log-TLR 추세 기반 리플레이(replay) 샘플링으로 uniform experience replay(ER) 대비 망각을 각각 1.3%p, 7.7%p 줄였다.
지속적 학습(CL)은 순차적 작업으로 모델을 학습할 때 발생하는 치명적 망각(catastrophic forgetting)을 완화하는 것을 목표로 합니다. 일반적인 접근법인 경험 재생(ER)은 과거 예제를 저장하지만 데이터 분포를 희소하게만 근사하여, 취약하고 과도하게 단순화된 결정 경계(decision boundaries)를 초래합니다. 우리는 잠재 특징(latent features)에 차등 프라이버시(differential privacy)에서 영감을 받은 노이즈를 주입하여 경계 인접 표현을 생성하고 결정 경계를 암묵적으로 정규화하는 서포트 경계 데이터(SBD)를 도입하여 이러한 제한을 해결합니다. 이 아이디어를 바탕으로, 우리는 이중 모델 집계 전략(dual-model aggregation strategy)을 통해 예제와 SBD를 공동으로 학습하는 프레임워크인 경험 혼합(EB)을 제안합니다. EB는 두 가지 구성 요소를 가집니다: (1) 서포트 경계 데이터를 생성하기 위한 잠재 공간 노이즈 주입, (2) 예제와 SBD를 공동으로 활용하는 엔드-투-엔드(end-to-end) 학습. 표준 경험 재생과 달리, SBD는 결정 경계 근처의 특징 공간을 풍부하게 하여 더 안정적이고 강건한 지속적 학습으로 이어집니다. CIFAR-10, CIFAR-100, Tiny ImageNet, ImageNet1K에 대한 광범위한 실험은 각각 10%, 6%, 14%, 2%의 일관된 정확도 향상을 입증합니다.
지속적 학습(CL) 모델은 치명적 망각(catastrophic forgetting)을 완화하기 위해 경험 리플레이(experience replay)를 널리 사용하지만, 리플레이 샘플링 간섭에 대한 견고성은 아직 충분히 연구되지 않았습니다. 기존 CL 공격은 입력이나 학습 파이프라인(포이즈닝/백도어)을 변조하지만, 명시적인 감사 가능 제약(auditable constraints)을 거의 포함하지 않아 현실성이 제한됩니다. 여기서 감사 가능성(auditability)은 모니터가 샘플러 가시 텔레메트리(예: 기록된 리플레이 인덱스/라벨 통계)를 통해 규정 준수를 검증할 수 있음을 의미합니다. 구체적으로, 실현된 리플레이 클래스 히스토그램이 명목상 기준선(nominal baseline)에 근접하게 유지되고, 배치별 및/또는 롤링 윈도우(rolling window) 기간 동안 리플레이 비율이 변경되지 않았는지 확인하는 것을 말합니다. 본 연구에서는 픽셀, 라벨, 모델 파라미터가 아닌 리플레이 인덱스 선택만 제어하면서, 큐 우선순위(queue priorities)와 같은 감사 가능 한도 내에 머무는 제한된 권한의 내부자(limited-privilege insider)를 다룹니다. Amnesia라는 리플레이 구성 공격(replay composition attack)을 제안합니다. 이 공격은 두 가지 예산 하에서 성능 저하를 최대화합니다: 명목 클래스 히스토그램 p0로부터의 TV/KL 발산을 제한하는 가시성 예산 δ와 리플레이 비율을 고정하는 질량 예산 f입니다. Amnesia는 두 단계로 수행됩니다: (i) EMA 손실이나 신뢰도(confidence)와 같은 가벼운 클래스 유틸리티(class utilities)를 계산하여 p0를 유해한 클래스 쪽으로 기울이는(tilt) 단계, (ii) 효율적인 KL(지수 기울임, exponential tilt) 또는 TV(균형 질량 재분배, balanced mass redistribution) 최적화 도구를 사용하여 기울임을 δ-볼(delta-ball) 내로 다시 투영(project)하는 단계입니다. 윈도우 스케줄러(windowed scheduler)가 롤링 감사(rolling audits)를 강제합니다. 다양한 도전적인 CL 벤치마크와 강력한 리플레이 기준선에서 Amnesia는 최종 정확도(ACC)를 일관되게 낮추고 역전이(-BWT)를 악화시켰습니다. KL 변형(variant)은 배치별 및 롤링 윈도우 검사를 포함한 다양한 감사 방식(audit schemes) 하에서도 대부분 탐지되지 않으면서 높은 영향력을 발휘했습니다. TV 변형은 더 큰 피해를 입히지만 탐지하기 쉬우며, 특히 엄격한 클래스별 제약(per-class constraints) 하에서 그러합니다. 이러한 결과는 인덱스 전용 리플레이 제어가 CL 시스템 내 실용적이고 감사 가능한 위협 표면(threat surface)임을 보여주며, 원칙적인 영향력-가시성 트레이드오프(impact-visibility trade-off)를 확립합니다.