arXiv:2309.06896

Domain-Aware Augmentations for Unsupervised Online General Continual Learning

Nicolas Michel, Romain Negrel, Giovanni Chierchia, Jean-François Bercher

제출 2023-09-13

원문 초록

Continual Learning has been challenging, especially when dealing with unsupervised scenarios such as Unsupervised Online General Continual Learning (UOGCL), where the learning agent has no prior knowledge of class boundaries or task change information. While previous research has focused on reducing forgetting in supervised setups, recent studies have shown that self-supervised learners are more resilient to forgetting. This paper proposes a novel approach that enhances memory usage for contrastive learning in UOGCL by defining and using stream-dependent data augmentations together with some implementation tricks. Our proposed method is simple yet effective, achieves state-of-the-art results compared to other unsupervised approaches in all considered setups, and reduces the gap between supervised and unsupervised continual learning. Our domain-aware augmentation procedure can be adapted to other replay-based methods, making it a promising strategy for continual learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22633v1cs.AI공통 태그 Continual Learning, Contrastive Learning

교훈으로부터의 진화: 연산별 표 질의응답을 위한 스킬 증강 표 그래프 추론

Evolving from Lessons: Skill-Augmented Table Graph Reasoning for Operation-wise Table Question Answering

표 질의응답(TableQA)은 표를 추론하여 사용자 질의에 답하는 것을 목표로 한다. 기존 연구는 모든 질문을 동일하게 취급하고 전체 정확도만으로 평가하여, LLM이 단순 조회에는 뛰어나지만 집계(aggregation) 및 산술(arithmetic)과 같은 복잡한 연산에는 어려움을 겪는다는 중요한 현실을 가린다. 이러한 격차를 드러내기 위해, 세분화된 질문 분류체계를 갖춘 새로운 연산별 표 질의응답(Operation-wise TableQA) 과제를 도입하고, 평가를 위해 WikiTQ-ow와 TabFact-ow라는 두 데이터셋을 공개한다. 모델링 병목 측면에서, 기존 방법은 표를 선형화된 텍스트로 평탄화하여 고유 구조를 훼손하고 ``lost-in-the-middle'' 문제를 유발하며, 이는 복잡한 행 간 추론의 주요 장벽이 된다. 또한 이들은 일반적으로 처음부터 추론하여, 유사한 연산 간에 공유되는 재사용 가능한 패턴을 간과한다. 이러한 한계를 해결하기 위해, 자기 진화(self-evolving) 구조화 추론을 위한 스킬 증강 표 그래프 추론(Skill-augmented Table Graph Reasoning, SkillTGR) 프레임워크를 제안한다. 구체적으로 SkillTGR는 명시적인 행-열-셀 구조를 갖춘 속성 그래프(attributed graph)로 표를 표현하며, LLM이 그래프 순회(graph traversal) 추론을 위해 증거 서브그래프(evidence subgraph)를 검색하기 위해 동적 체인을 계획하고 실행한다. 이를 바탕으로 SkillTGR는 인지적 휴리스틱(cognitive heuristics) 하에서 추론 궤적(reason trajectories)을 추상적 스킬로 증류하는 계층적 SkillBank를 구축한 뒤, 성공 및 실패 스킬을 모두 하이브리드 검색하여 대조적 증강 표 그래프 추론(contrastive augmented table graph reasoning)을 수행함으로써 지속적인 자기 진화를 가능하게 한다. 광범위한 실험 결과 SkillTGR는 전체적으로 평균 5.91%, 연산별로 6.03%의 성능 향상을 달성했으며, 토큰 소비를 19.76%, 추론 지연 시간을 27.64% 감소시킨다. 코드와 데이터는 논문 게재 후 공개될 예정이다.

arXiv:2607.15094v1cs.CV공통 태그 Continual Learning, Contrastive Learning

AlphaWiSE: 지속적 다중모달 표현 학습을 위한 적응형 가중치 보간

AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning

CLIP과 같은 다중모달 모델은 교차 모달 검색을 위해 공유 임베딩 공간을 학습하지만, 순차적으로 도착하는 데이터에 대한 지속적 적응은 이전 단계에서 획득한 교차 모달 정렬을 방해할 수 있다. 기존 지속 학습(continual learning) 방법은 단일 체크포인트를 반환하며, 이는 모든 검색 방향을 동일한 안정성-가소성(stability-plasticity) 트레이드오프에 고정한다. 우리는 두 개의 고정된 소스 체크포인트를 구성하는 사후(post-hoc) 가중치 공간 보간 방법인 AlphaWiSE를 제안한다. 체크포인트 키로 식별되는 각 정렬된 매개변수 텐서에 대해, AlphaWiSE는 모든 텐서 항목이 공유하는 하나의 스칼라 보간 계수를 적합한다. 계수는 더 작은 예시(exemplar) 메모리에서 적합되며, 하나의 보간된 체크포인트를 생성하는 데 사용된다. 배포된 모델은 두 소스 체크포인트 중 어느 하나와 동일한 아키텍처와 매개변수 수를 가지므로 추가 추론 시간이 필요하지 않다. 오디오-이미지-텍스트 검색에 대한 광범위한 실험에서, 여러 검색 방향과 평가 지표에 걸쳐 강력한 지속 학습 베이스라인 대비 일관된 개선을 보인다.

arXiv:2607.09785v1cs.CV공통 태그 Continual Learning, Contrastive Learning

평생 표현: 비전 모델을 위한 지속적 자기지도 학습 서베이

Lifelong Representations: A Survey on Continual Self-Supervised Learning for Vision Models

전통적으로 지속적 학습은 레이블 데이터에 대한 접근을 가정해 왔지만, 평생 로보틱스와 같은 많은 실세계 응용 분야에서는 모델이 비레이블 스트림으로부터 지속적으로 적응해야 한다. 이로 인해 지속적 자기지도 학습(CSSL)이 발전해 왔으나, 이 빠르게 성장하는 분야는 전용적이고 체계적인 리뷰가 부재한 상황이다. 본 연구에서는 새롭게 부상하는 비전-언어 설정과의 연결점을 포함하여 비전을 위한 CSSL에 대한 포괄적인 서베이를 제시한다. 먼저, 기존 평가 프로토콜을 분석하고 공정한 비교를 저해하는 불일치점을 부각한다. 이어서 자기지도 목적함수가 파국적 망각(catastrophic forgetting)에 대해 향상된 강인성을 보이는 이유를 태스크 무관 표현 및 더 완만한 손실 경관과 연관지어 살펴본다. 다음으로, 지식 증류, 리플레이, 정규화, 아키텍처 접근법, 모델 병합, 목적함수 수준 적응을 포함한 망각 완화 전략을 기반으로 기존 방법들을 통합된 분류체계로 정리한다. 마지막으로, 확장성 및 빠른 적응성의 필요성과 같은 미해결 과제를 도출한다. 우리는 CSSL의 발전이 소규모 벤치마크를 넘어 대규모 시스템을 위한 지속적 사전학습 패러다임으로 나아가야 한다고 주장한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.