PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01595v1cs.CV

사라지기 전에: 비디오 대규모 언어 모델(VideoLLM)에서 추론 시점 시간적 표현 강화

Before It Fades: Reinforcing Temporal Representations at Inference Time in VideoLLMs

비디오 대규모 언어 모델(VideoLLM)은 프레임을 순차적인 순서로 입력받아 시각적 콘텐츠가 시간 축을 따라 어떻게 전개되는지 해석하지만, 시간적 추론(temporal reasoning)은 다양한 아키텍처 전반에서 여전히 지속적인 약점으로 남아 있습니다. 시간적 답변을 뒤바꿔야 하는 변환인 비디오 프레임 순서 반전에도 불구하고 최종 예측이 바뀌지 않는 경우가 많습니다. 본 연구에서는 시간 순서를 반전시켰을 때 유도되는 층별 표현 차이인 시간적 발산 벡터(temporal divergence vector) $τ_l$를 정의하여 이러한 실패의 원인을 조사합니다. 여러 층에 걸쳐 이 벡터의 크기를 추적한 결과, 발산이 중간 층에서 정점에 도달한 뒤 출력 방향으로 가면서 점진적으로 감소하는 일관된 시간적 발산 프로파일이 나타남을 확인했습니다. 본 연구는 이 정점이 시간적 추론에 특화되어 있으며 예측에 기능적으로 중요하다는 점을 확인하여, VideoLLM이 중간 층에서는 시간적 정보를 획득하지만 출력까지 이를 유지하지 못한다는 사실을 규명했습니다. 이러한 점진적 소실에 착안하여, 각 입력에 대해 프로파일의 정점에서 $τ_l$를 추출한 후 측정된 감쇠에 따라 후속 층에 다시 주입하는 방법인 시간적 활성화 주입(Temporal Activation Injection, TAI)을 제안합니다. TAI는 학습이 필요하지 않으며, 비시간적 과제에 미치는 영향은 무시할 수 있는 수준으로 유지하면서 세 가지 VideoLLM과 네 가지 벤치마크 전반에서 시간적 추론을 일관되게 개선합니다. 코드는 https://github.com/Youngwoo-git/Before-It-Fades 에서 확인할 수 있습니다.

arXiv:2509.24563v3cs.CV

NeMo: 영상-언어 이해를 위한 Needle in a Montage

NeMo: Needle in a Montage for Video-Language Understanding

최근 영상 대규모 언어 모델(VideoLLM)의 발전으로 영상-언어 이해를 위한 새로운 평가 프로토콜과 벤치마크가 필요해졌다. LLM에서 널리 사용되는 건초 더미 속 바느질(needle in a haystack) 테스트에서 영감을 받아, 고급 VideoLLM의 시간적 이해 능력을 평가하기 위해 Montage 속 바느질(Needle in a Montage, NeMo)이라는 새로운 과제를 제안한다. 구체적으로, 제안된 과제는 시간적 이해에 중요한 두 가지 기본 능력, 즉 검색(retrieval) 방식의 긴 문맥 정보 회상(recall)과 시간적 그라운딩(temporal grounding)에 초점을 둔다. 과제를 위한 영상 질의응답(VQA) 데이터를 생성하기 위해, 고품질 데이터 합성을 지원하는 확장 가능한 자동 데이터 생성 파이프라인을 개발한다. 제안된 파이프라인을 기반으로, 본 과제를 중심으로 한 영상-언어 벤치마크 NeMoBench를 제시한다. 구체적으로, NeMoBench 전체 세트는 수초에서 수시간에 이르는 다양한 길이의 13,486개 영상에서 자동 생성된 31,378개의 질의-응답(QA) 쌍으로 구성된다. 실험 결과, 파이프라인이 고품질 평가 데이터를 신뢰성 있게 자동 생성할 수 있음을 보여 주며, 이를 통해 NeMoBench를 최신 영상으로 지속적으로 업데이트할 수 있다. 벤치마크에서 20개의 최신(state-of-the-art) 모델을 평가하여, 각 모델의 능력과 한계에 대한 광범위한 결과와 핵심 통찰을 제공한다. 프로젝트 페이지는 https://lavi-lab.github.io/NeMoBench 에서 확인할 수 있다.