PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01595v1cs.CV

사라지기 전에: 비디오 대규모 언어 모델(VideoLLM)에서 추론 시점 시간적 표현 강화

Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs

비디오 대규모 언어 모델(VideoLLM)은 프레임을 순차적인 순서로 입력받아 시각적 콘텐츠가 시간 축을 따라 어떻게 전개되는지 해석하지만, 시간적 추론(temporal reasoning)은 다양한 아키텍처 전반에서 여전히 지속적인 약점으로 남아 있습니다. 시간적 답변을 뒤바꿔야 하는 변환인 비디오 프레임 순서 반전에도 불구하고 최종 예측이 바뀌지 않는 경우가 많습니다. 본 연구에서는 시간 순서를 반전시켰을 때 유도되는 층별 표현 차이인 시간적 발산 벡터(temporal divergence vector) $τ_l$를 정의하여 이러한 실패의 원인을 조사합니다. 여러 층에 걸쳐 이 벡터의 크기를 추적한 결과, 발산이 중간 층에서 정점에 도달한 뒤 출력 방향으로 가면서 점진적으로 감소하는 일관된 시간적 발산 프로파일이 나타남을 확인했습니다. 본 연구는 이 정점이 시간적 추론에 특화되어 있으며 예측에 기능적으로 중요하다는 점을 확인하여, VideoLLM이 중간 층에서는 시간적 정보를 획득하지만 출력까지 이를 유지하지 못한다는 사실을 규명했습니다. 이러한 점진적 소실에 착안하여, 각 입력에 대해 프로파일의 정점에서 $τ_l$를 추출한 후 측정된 감쇠에 따라 후속 층에 다시 주입하는 방법인 시간적 활성화 주입(Temporal Activation Injection, TAI)을 제안합니다. TAI는 학습이 필요하지 않으며, 비시간적 과제에 미치는 영향은 무시할 수 있는 수준으로 유지하면서 세 가지 VideoLLM과 네 가지 벤치마크 전반에서 시간적 추론을 일관되게 개선합니다. 코드는 https://github.com/Youngwoo-git/Before-It-Fades 에서 확인할 수 있습니다.