PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11312v1cs.CV

SLVMBench: 비디오 메모리로부터의 스킬 학습

SLVMBench: Skill Learning from Video Memory

우리는 비디오 메모리로부터의 스킬 학습(SLVMBench, Skill Learning from Video Memory)을 소개한다. 이는 비디오 대규모 언어 모델(video-LLM)이 긴 비디오 메모리에서 스킬을 학습하고 이를 실시간 태스크에 적용할 수 있는지를 함께 평가하는 최초의 벤치마크이다. SLVMBench는 모델에게 2~3시간 분량의 비디오 스트림을 제시하며, 이 스트림에는 임의의 무관한 비디오들 사이에 튜토리얼 비디오가 삽입되어 있어 실제 인간의 학습 방식과 유사하다. Video-LLM은 습득한 스킬을 활용하여 진행 중인 비디오에 대한 실시간 질문에 답해야 한다. 수동적 이해를 강조하는 장시간 비디오 이해 벤치마크나 짧고 즉각적인 데모에 의존하는 스킬 학습 벤치마크와 달리, SLVMBench는 절차적 지식의 기억 및 추출과 이를 실시간 태스크로 전이하는 전체 파이프라인을 평가한다. 또한, 엄격한 인간 어노테이션은 1초 이하 수준의 시간적 보정, 상식적 추측을 배제하도록 수동으로 설계된 질문, 그리고 필요한 스킬의 커버리지를 보장하기 위해 편집된 튜토리얼을 특징으로 한다. 최신 독점 및 오픈소스 비디오 LLM에 대한 평가 결과, video-LLM은 비디오에서 스킬 지식을 학습하고 적용하는 데 상당한 어려움을 겪는 것으로 나타났다. 또한 스킬 지식이 긴 비디오 메모리 내에 배치될 경우 성능이 현저히 저하되었다. 이러한 결과는 기존 비디오 LLM의 핵심 한계를 드러내며, SLVMBench를 긴 컨텍스트 비디오 메모리로부터의 실시간 스킬 습득 및 적용 연구를 위한 최초의 벤치마크로 자리매김한다.

arXiv:2607.11078v1cs.CV

비디오 LLM은 실제로 영상을 보는가? 장편 비디오에서의 인물 추적 실패 진단

Do Video-LLMs Actually Watch? Diagnosing Character-Tracking Failures in Long-Form Video

비디오 대규모 언어 모델(Video-LLM)이 긴 비디오에서 한 인물을 따라가며, TV 에피소드 전체에 걸친 의상 변화를 순서대로 보고할 만큼 충분히 인물을 추적할 수 있을까? 벤치마크는 점점 더 이런 종류의 과제를 평가하고 있으며, 가장 강력한 오픈소스 7~8B 모델들은 이를 정확히 묻는 InfiniBench의 전체 외관(global appearance) 과제에서 현재 37~38%에 도달하고 있다. 그러나 그 점수가 지명된 인물을 추적한 결과인가, 아니면 더 쉬운 방법에서 비롯된 것인가? 우리는 세 가지 아키텍처가 상이한 오픈소스 Video-LLM에 9가지 조건의 진단 프로토콜을 적용하고 Gemini 2.5 Flash를 최첨단 참조 모델로 삼아 검증한 결과, 해당 정확도가 인물 추적에서 비롯된 것이 아님을 발견했다. 질문에서 언급된 인물의 이름을 다른 출연진으로 바꾸고 비디오와 답변 선택지를 그대로 유지했을 때, 모델은 4~31%의 경우에만 답을 바꾸었으며, 이는 모델이 질문이 묻는 인물을 대부분 무시하고 있음을 보여준다. 이름 교체 시 성별에 따라 분석하면 그 이유를 알 수 있다: 모델은 이름을 같은 성별의 인물로 바꿀 때보다 다른 성별의 인물로 바꿀 때 더 많이 반응하며(13~28 포인트 차이), 이는 거친 성별 단서는 감지하지만 같은 성별의 인물을 구별하지 못함을 나타낸다. 이러한 얕은 처리 방식은 객관식 선택지를 제거하고 동일한 질문을 주관식으로 물을 때 다시 드러난다: 오픈소스 모델의 정확도는 18~25 포인트 하락하며, 151개의 답변 중 완전히 정확한 것이 하나도 없었던 반면, Gemini는 12 포인트 하락에 그쳤다. 추가 검증을 통해 명백한 대안적 설명들은 배제된다: 자막 추가, 가장 정보가 풍부한 프레임 사용, 프레임 수 두 배 증가 모두 인물 추적을 개선하지 못했으며, 따라서 병목 지점은 모델이 얼마나 많은 비디오를 보는가가 아니라 그 비디오를 질문이 지명한 인물과 어떻게 연결하는가에 있다. 우리는 이러한 벤치마크 점수가 실제로 무엇을 측정하는지 감사하기 위한 진단 툴킷을 공개한다.

arXiv:2606.24477v2cs.CV

video-SALMONN-R³: 효율적인 비디오 이해를 위한 재시청, 재질문, 재답변 학습

video-SALMONN-R$^3$: Learning to ReWatch, ReAsk, and ReAnswer for Efficient Video Understanding

video-SALMONN-R³는 계산·메모리 제약으로 낮은 프레임 레이트와 해상도를 사용하는 비디오-LLM의 한계를 극복하기 위해, 사고의 연쇄(CoT) 콜드 스타트 없이 강화학습만으로 재시청(re-watch) 능력을 습득하는 최초의 엔드-투-엔드 비디오-LLM을 제안한다. 1차 시청에서 초기 답변과 시간 구간을 예측한 뒤, 재질문(re-ask) 메커니즘과 재답변(re-answer) 전략을 통해 고해상도로 해당 구간을 재시청하여 6개 벤치마크에서 기존 재시청 기반 방법보다 낮은 계산 비용으로 최고 성능을 달성했다.

arXiv:2607.00983v1cs.CV

QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding

긴 동영상의 시간적 중복 문제를 해결하기 위해, QCA는 쿼리 관련성과 콘텐츠 편차를 동시에 모델링하여 세그먼트별 키프레임 예산을 동적으로 배분하고, 각 세그먼트 내에서 의미적 앵커 프레임을 중심으로 다양성을 극대화하는 키프레임 선택 프레임워크를 제안한다. 별도의 학습 없이 기존 Video-LLM에 통합 가능하며, LongVideoBench에서 128프레임으로 67.8%를 달성해 256프레임을 사용한 GPT-4o(66.7%)를 상회하는 최고 성능을 기록했다.

arXiv:2606.12300v1cs.CV

시간 단위 긴 영상에서의 자연어 시간적 그라운딩은 검색 문제입니다: 벤치마크 및 경험적 분해

Natural-Language Temporal Grounding in Hour-Long Videos is a Search Problem: A Benchmark and Empirical Decomposition

시간적 그라운딩(영상에 대한 자연어 쿼리에 대해 구간 $[t_s, t_e]$를 반환하는 것)은 긴 영상(long-form video)을 위한 언어 인터페이스이지만, 짧은 영상에서만 연구되어 왔으며 시간 단위 자연어 그라운딩의 역학은 아직 미탐구 상태입니다. 우리는 시간 단위에서 주요 제약 조건은 인식이 아닌 검색이라는 입장을 취합니다. 비디오-LLM(대규모 언어 모델)은 근접한 이벤트의 위치를 파악하는 데서 병목이 발생하는 것이 아니라, 자연어 쿼리가 주어졌을 때 긴 영상 내 관련 영역을 검색하는 과정에서 병목이 발생합니다. 이를 검증하기 위해 우리는 ExtremeWhenBench, 즉 개방형 쿼리 분포를 갖는 최초의 공개 시간 단위 그라운딩 벤치마크(194개 영상에 걸친 2,273개 쿼리, 평균 75.7분, 최대 9시간)를 공개합니다. 모든 공개 비디오-LLM은 성능이 급격히 떨어지는 반면, 프레임 수준 검색 기준선(baseline)은 이보다 우수한 성능을 보였습니다. 실패 유형 분석 결과 실패의 85%가 검색 단계에 기인한 것으로 나타났습니다. 또한 검색 후 그라운딩(retrieve-then-ground) 하이브리드 방식은 단일 구조 비디오-LLM 대비 6.7배의 성능 회복을 보여주었는데, 이는 개방형 도메인 질의응답(QA)에서의 검색 후 읽기(retrieve-then-read) 방식과 유사합니다.