PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09081v1cs.CV

행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링

Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation

행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.

arXiv:2409.18478v2cs.CV

Temporal2Seq: 시간적 비디오 이해 태스크를 위한 통합 프레임워크

Temporal2Seq: A Unified Framework for Temporal Video Understanding Tasks

비디오 이해의 발전과 함께 시간적 행동 감지(TAD), 시간적 행동 분할(TAS), 일반적 이벤트 경계 감지(GEBD)를 포함한 클립 수준 시간적 비디오 분석 태스크가 급증하고 있습니다. 태스크 특화 비디오 이해 모델이 각 태스크에서 뛰어난 성능을 보여주었지만, 여러 태스크를 동시에 처리할 수 있는 통합 프레임워크는 여전히 부족하며, 이는 차세대 AI를 위한 유망한 방향입니다. 이를 위해 본 논문에서는 Temporal2Seq라는 단일 통합 프레임워크를 제안하여 이러한 시간적 비디오 이해 태스크의 출력을 이산 토큰의 시퀀스로 정형화합니다. 이러한 통합 토큰 표현을 통해 Temporal2Seq는 단일 아키텍처 내에서 서로 다른 비디오 이해 태스크에 대한 범용 모델을 학습할 수 있습니다. 멀티태스크 학습(MTL) 벤치마크가 부족한 상황에서, 우리는 TAD, TAS, GEBD 태스크의 데이터셋을 활용하여 포괄적인 공동 학습 데이터셋을 구축했습니다. 우리는 세 가지 태스크의 해당 테스트 세트에서 Temporal2Seq 범용 모델을 평가하여, Temporal2Seq가 다양한 태스크에서 합리적인 결과를 생성할 수 있으며 이 프레임워크에서 싱글 태스크 학습과 비교하여 이점을 달성할 수 있음을 입증했습니다. 또한 우리는 서로 다른 태스크의 새로운 데이터셋에 대한 범용 모델의 일반화 성능을 조사했으며, 그 결과 특화 모델보다 우수한 성능을 보임을 확인했습니다.