CE⁴L: 지속적 Ego, Exo 및 Ego-Exo 학습
CE$^4$L: Continual Ego, Exo, and Ego-Exo Learning
체화 에이전트(embodied agent)의 지각은 영상 기반이며, 종종 다중 시점(ego, exo, 또는 둘 다)을 사용하고, 작업과 시점 변화가 동시에 일어나는 점에서 본질적으로 지속적(continual)이다. 그러나 지속 학습(CL)은 여전히 exo 전용 인식 과제 위주로 연구되어, 이러한 현실 세계에서 결합된 변화 하의 거동을 드러내기 어렵게 한다. 본 연구는 Continual Ego, Exo, and Ego-Exo Learning(CE⁴L)을 제안한다. 이는 교차 시점 참조 기술 평가, 시간적 행동 분할(temporal action segmentation), 교차 시점 연관, 행동 예측 및 계획(action anticipation & planning)의 네 가지 대표 과제를 아우르는 통합 다중 시점 CL 벤치마크이다. CE⁴L은 교차 시점 대응(cross-view correspondence), 시점 의존 비동기(view-dependent asynchrony), 이질적 의미 목표(heterogeneous semantic objectives) 등 기존 CL 벤치마크에서 거의 다루지 않았던 도전을 부각한다. 이를 위해 Video Incremental Subspace-routed Task Adapters(VISTA)를 제안한다. 이는 매개변수 효율적 기준선 방법으로, 과제별 갱신을 경량 어댑터에 저장하고, 이차 통계(second-order statistics)로부터 추정한 과제별 whitening된 부분공간까지의 잔차 거리(residual distance)를 통해 학습(training) 없이 라우팅한다. 광범위한 실험은 CE⁴L 설정 전반에 걸쳐 대표적 CL 방법들의 효과가 크게 달리 나타남을 보여 주며, VISTA는 일관되게 경쟁력 있고 전반적으로 최신(state-of-the-art) 성능을 달성한다. 벤치마크와 방법의 소스 코드는 https://github.com/AnAppleCore/CE4L 에서 이용할 수 있다.