PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23286v1cs.CV

RegVGGT: 규제된 메모리를 통한 스트리밍을 위한 지속 가능한 시각 기하 그라운딩

RegVGGT: Sustainable Visual Geometry Grounding for Streaming via Regulated Memory

긴 비디오 스트림 입력으로부터의 3D 재구성은 피드포워드 재구성 모델(FFRM)에게 딜레마를 제기하는데, 제한된 GPU 메모리 하에서는 전체 스트림에 대한 추론 컨텍스트를 유지할 수 없기 때문이다. 최근 연구들은 추론 컨텍스트의 완전성과 GPU 메모리 사용량 사이의 트레이드오프를 통해 이 문제를 해결하려 하나, 인위적으로 메모리 사용을 상한으로 제한함에 따라 급격한 메모리 팽창을 겪거나 컨텍스트 완전성이 저하되는 문제가 있다. 토큰의 초기 saliency가 스트림 전반에 걸친 장기적 중요도를 신뢰할 만하게 결정한다는 핵심 관찰에 기반하여, 우리는 들어오는 프레임의 토큰을 적극적으로 규제하는 학습 불필요(training-free) 토큰 규제 방법인 RegVGGT를 제안한다. 프레임당 최대 1%의 토큰만 컨텍스트 메모리 갱신에 허용함으로써, 본 방법은 스트림이 진행됨에 따라 메모리 팽창을 극적으로 억제한다. FlashAttention 호환 토큰 saliency 추정 방식을 갖춘 RegVGGT는 재구성 품질을 거의 희생하지 않고 소비자급 GPU에서 수천 프레임을 처리할 수 있다. 광범위한 실험을 통해 RegVGGT가 다양한 FFRM 예측 작업에 걸친 장기 벤치마크에서 최고 수준의 성능을 달성하며, 기존 FFRM 기반 스트림 재구성 베이스라인을 큰 마진으로 능가함을 보여준다.