PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2407.07111v2cs.CV공식 코드 · Papers with Code

확산 모델 기반 비디오 편집: 서베이

Diffusion Model-Based Video Editing: A Survey

확산 모델(Diffusion Models, DM)의 급격한 발전은 이미지 및 비디오 응용 분야를 크게 발전시켜 "원하는 것을 그대로 보는 것(what you want is what you see)"을 현실로 만들었습니다. 이 중 비디오 편집은 상당한 주목을 받으며 연구 활동이 급증하고 있어, 기존 문헌에 대한 포괄적이고 체계적인 검토가 필요한 시점입니다. 본 논문은 이론적 토대와 실질적인 응용을 포함한 확산 모델 기반 비디오 편집 기법을 검토합니다. 먼저 수학적 정식화와 이미지 도메인의 주요 방법들을 개괄합니다. 이어서 핵심 기술 간의 고유한 연결성을 바탕으로 비디오 편집 접근법을 분류하여 발전 궤적을 묘사합니다. 또한 본 논문은 포인트 기반 편집과 포즈 유도 인간 비디오 편집을 비롯한 새로운 응용 분야도 다룹니다. 아울러 새로 소개하는 V2VBench를 사용한 종합적인 비교를 제시합니다. 본 논문은 지금까지 달성된 진전을 기반으로, 현재 직면한 과제와 향후 연구를 위한 잠재적 방향을 제시하며 마무리합니다.

arXiv:2411.11925v3cs.CV공식 코드 · Papers with Code

Continuous Speculative Decoding for Autoregressive Image Generation

연속적 시각 자기회귀(AR) 모델의 순차적 추론 속도 문제를 해결하기 위해, 이 연구는 기존 이산 분포에만 적용 가능했던 투기적 디코딩(speculative decoding)을 연속 분포로 확장한 Continuous Speculative Decoding 프레임워크를 제안한다. 목표 모델과 드래프트 모델 간 출력 분포 불일치로 인한 낮은 수용률 문제를 디노이징 궤적 정렬(denoising trajectory alignment)과 토큰 사전 채움(token pre-filling)으로 해결하고, 해석적 표현이 없는 수정 분포에서의 샘플링은 수용-기각 샘플링으로 처리하여, 256×256 및 512×512 해상도 실험에서 생성 품질 유지와 함께 2배 이상의 추론 속도 향상을 달성했다.