PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20671v1cs.CV

A Projection-Based Surrogate Gradient Interpretation for Neural Codec Wrappers

The user wants a JSON translation. Let me provide the final polished Korean translation. { "title_ko": "신경망 코덱 래퍼를 위한 투영 기반 대리 그래디언트 해석", "abstract_ko": "신경망 래퍼는 기존 비디오 코덱의 성능을 향상시키기 위해 설계된, 학습 가능한 전처리 및 후처리 네트워크이다. 이러한 접근법은 압축 효율을 크게 개선할 수 있지만, 인코딩 과정에 수반되는 다수의 이산적 결정으로 인해 비디오 코덱이 미분 불가능하여 학습이 여전히 어렵다. 최근 대리 그래디언트(surrogate gradient)는 기존 코덱과의 end-to-end 학습을 가능하게 하는 효과적인 해결책으로 등장했다. 이는 코덱을 모방하기 위한 추가 네트워크를 학습할 필요가 없다는 점과 압축 성능을 개선할 수 있다는 두 가지 주요 장점을 제공한다. 특히 실제 압축 오류를 활용하는 최근 제안된 SCALED 방법은 다운스케일러(downscaler)와 같은 신경망 전처리기 학습에서 강력한 결과를 보였다. 그러나 이 SCALED 그래디언트는 원래 reparameterization trick으로 도입되어 해석 가능성이 제한된다. 본 논문에서는 이 대리 그래디언트가 비디오 코덱의 1차 국소 근사(first-order local approximation)로 해석될 수 있음을 보이며, 이를 통해 그 효과에 대한 통찰을 제공한다. 또한 이는 다운스케일링 연산 학습뿐만 아니라 전처리 및 후처리 네트워크를 포함한 완전한 신경망 래핑이라는 더 어려운 과제에서도 효과적임을 입증한다. 마지막으로, 이 접근법이 서로 다른 비디오 코덱, 품질 계수(quality factor), 다중 다운스케일링 비율을 포함한 다양한 과제에 잘 일반화되며, 표준 리샘플링 베이스라인 대비 x264에서 최대 -23.59%, VVenC에서 -20.07%의 BD-Rate(PSNR) 감소를 달성함을 보인다." }

arXiv:2606.06532v1cs.CV

GOPAgen: 구조적 메모리와 계층적 추론을 활용한 동작 인지형 효율적 에이전트 장시간 비디오 이해

GOPAgen: Motion-Aware and Efficient Agentic Long-Video Understanding with Structural Memory and Hierarchical Reasoning

에이전트 기반 장시간 비디오 이해에서 상당한 진전이 있었음에도, 기존 방법들은 효율적인 메모리 아키텍처와 결합된 상세한 동작 이해가 여전히 부족하다. 본 논문에서는 비디오 코덱의 Groups of Pictures(GOPs)로 학습된 정교하게 설계된 동작 에이전트를 통해 비디오 이해 프레임워크에 비디오 코덱을 최초로 통합한 새로운 접근법인 GOPAgen을 제안한다. 또한 비디오 코덱과 자연스럽게 정렬되며 비디오 내 국소적 상세 동작을 이해하는 모델의 능력을 향상시키는 GOP 트리 추론 알고리즘을 개발한다. 또한 국소 동작 정보와 상세 캡션을 구조적 페이지에 통합하는 구조적 메모리 메커니즘을 정교하게 설계하고, 구조적 메모리를 최대한 활용하기 위한 효율적인 coarse-to-fine 줌인 알고리즘을 제안한다. 또한 다양한 세분성에서 동작 벡터를 효율적으로 검색할 수 있도록 프레임워크에 동작 벡터 데이터베이스를 통합한다. 전반적으로 본 방법은 MotionBench, Egoschema 등 다양한 비디오 이해 벤치마크에서 우수한 비디오 질의응답(VQA) 성능을 달성하여 제안한 프레임워크의 우수성을 입증한다.