PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23492v1cs.CV

CE⁴L: 지속적 Ego, Exo 및 Ego-Exo 학습

CE$^4$L: Continual Ego, Exo, and Ego-Exo Learning

체화 에이전트(embodied agent)의 지각은 영상 기반이며, 종종 다중 시점(ego, exo, 또는 둘 다)을 사용하고, 작업과 시점 변화가 동시에 일어나는 점에서 본질적으로 지속적(continual)이다. 그러나 지속 학습(CL)은 여전히 exo 전용 인식 과제 위주로 연구되어, 이러한 현실 세계에서 결합된 변화 하의 거동을 드러내기 어렵게 한다. 본 연구는 Continual Ego, Exo, and Ego-Exo Learning(CE⁴L)을 제안한다. 이는 교차 시점 참조 기술 평가, 시간적 행동 분할(temporal action segmentation), 교차 시점 연관, 행동 예측 및 계획(action anticipation & planning)의 네 가지 대표 과제를 아우르는 통합 다중 시점 CL 벤치마크이다. CE⁴L은 교차 시점 대응(cross-view correspondence), 시점 의존 비동기(view-dependent asynchrony), 이질적 의미 목표(heterogeneous semantic objectives) 등 기존 CL 벤치마크에서 거의 다루지 않았던 도전을 부각한다. 이를 위해 Video Incremental Subspace-routed Task Adapters(VISTA)를 제안한다. 이는 매개변수 효율적 기준선 방법으로, 과제별 갱신을 경량 어댑터에 저장하고, 이차 통계(second-order statistics)로부터 추정한 과제별 whitening된 부분공간까지의 잔차 거리(residual distance)를 통해 학습(training) 없이 라우팅한다. 광범위한 실험은 CE⁴L 설정 전반에 걸쳐 대표적 CL 방법들의 효과가 크게 달리 나타남을 보여 주며, VISTA는 일관되게 경쟁력 있고 전반적으로 최신(state-of-the-art) 성능을 달성한다. 벤치마크와 방법의 소스 코드는 https://github.com/AnAppleCore/CE4L 에서 이용할 수 있다.

arXiv:2507.05163v2cs.CV

4DSloMo: 비동기 캡처를 통한 고속 장면 4D 재구성

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

다시점 비디오(multi-view video)에서 고속 동적 장면을 재구성하는 것은 고속 움직임 분석과 사실적인 4D 재구성에 매우 중요합니다. 그러나 대부분의 4D 캡처 시스템은 30 FPS(초당 프레임 수) 이하의 프레임 레이트로 제한되어 있어, 저 FPS 입력으로 고속 움직임을 직접 4D 재구성하면 바람직하지 않은 결과가 초래될 수 있습니다. 본 연구에서는 새로운 캡처 및 처리 모듈을 통해 저 FPS 카메라만을 사용하는 고속 4D 캡처 시스템을 제안합니다. 캡처 측면에서는 카메라의 시작 시간에 시차를 두어 유효 프레임 레이트를 높이는 비동기 캡처 방식을 제안합니다. 카메라를 그룹화하고 25 FPS의 기본 프레임 레이트를 활용함으로써, 본 방법은 전용 고속 카메라 없이도 100-200 FPS에 해당하는 프레임 레이트를 달성합니다. 처리 측면에서는 비동기성으로 인해 각 타임스탬프에서 시점의 수가 줄어들어 발생하는 4D 희박 시점(sparse-view) 재구성의 아티팩트를 수정하기 위해 새로운 생성 모델(generative model)을 제안합니다. 구체적으로, 희박 4D 재구성을 위한 비디오 디퓨전 기반 아티팩트 수정 모델을 학습하여, 누락된 디테일을 복원하고 시간적 일관성을 유지하며 전체적인 재구성 품질을 향상시키는 방식을 제안합니다. 실험 결과를 통해 본 방법이 동기 캡처(synchronous capture)에 비해 고속 4D 재구성을 현저히 향상시킴을 입증합니다.