On Robust Incremental Learning over Many Multilingual Steps
원문 초록
Recent work in incremental learning has introduced diverse approaches to tackle catastrophic forgetting from data augmentation to optimized training regimes. However, most of them focus on very few training steps. We propose a method for robust incremental learning over dozens of fine-tuning steps using data from a variety of languages. We show that a combination of data-augmentation and an optimized training regime allows us to continue improving the model even for as many as fifty training steps. Crucially, our augmentation strategy does not require retaining access to previous training data and is suitable in scenarios with privacy constraints.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
인터랙티브 게임플레이를 위한 코칭 가능한 에이전트
Coachable Agents for Interactive Gameplay
강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형
Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation
모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.
가상현실을 위한 안구 검증
Ocular Verification for Virtual Reality
가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.
도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석
Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches
자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.