PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01667v1cs.CV

향상된 오디오비주얼 비디오 캡셔닝을 위한 시간적·크로스모달 정렬

Temporal and Cross-Modal Alignment for Enhanced Audiovisual Video Captioning

오디오비주얼 비디오 캡셔닝에서 크로스모달 바인딩(cross-modal binding)과 시간적 일관성(temporal coherence) 문제를 해결하기 위해, 반복적 정제 전략인 Observer-Checker-Corrector(OCC) 프레임워크로 고품질 학습 데이터를 생성하고 고밀도 인간 상호작용 데이터셋으로 최적화된 TCA-Captioner를 제안한다. 또한 오디오비주얼 바인딩과 시간적 관계 추론 능력을 분리 평가하는 TCA-Bench 벤치마크를 도입하여, Qwen3-Omni 및 Gemini-3-Pro 대비 시간적으로 동기화된 멀티모달 캡셔닝에서 새로운 성능 기준을 제시한다.

arXiv:2602.08355v4cs.CV

E-VAds: MLLM을 위한 이커머스 숏 비디오 이해 벤치마크

E-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMs

이커머스 숏 비디오는 목표 지향 형식과 밀집된 멀티모달 신호가 특징인 온라인 비디오 산업의 고수익 부문입니다. 기존 벤치마크는 주로 범용 작업에 초점을 맞추고 상업적 의도 추론을 간과하기 때문에, 현재 모델들은 이러한 비디오를 처리하는 데 어려움을 겪습니다. 본 연구에서는 우선 이 도메인의 복잡성을 정량화하기 위한 멀티모달 정보 밀도 평가 프레임워크를 제안합니다. 평가 결과, 이커머스 콘텐츠는 주류 데이터셋과 비교하여 시각, 오디오, 텍스트 모달리티 전반에 걸쳐 훨씬 높은 밀도를 보이며, 이는 비디오 이해에 있어 더 도전적인 경계를 설정합니다. 이러한 격차를 해소하기 위해, 이커머스 숏 비디오 이해를 위해 특별히 설계된 최초의 벤치마크인 E-commerce Video Ads Benchmark를 소개합니다. 우리는 다양한 제품 카테고리를 포괄하는 Taobao의 3,961개의 고품질 비디오를 선별하고, 멀티 에이전트 시스템을 사용하여 5개의 고유한 작업으로 구성된 19,785개의 개방형 질의응답 쌍을 생성했습니다. 마지막으로, MG-GRPO라는 다중 입자도 보상 설계를 특징으로 하는 강화학습 기반 추론 모델인 E-VAds-R1을 개발했습니다. 이 전략은 초기 탐험을 위한 부드러운 지침을 제공하는 동시에 전문가 수준의 정밀도를 위한 비선형 인센티브를 생성합니다. 실험 결과, E-VAds-R1은 단 수백 개의 학습 샘플만으로 상업적 의도 추론에서 109.2%의 성능 향상을 달성하는 것으로 나타났습니다. 데이터는 https://github.com/TaobaoTmall-AlgorithmProducts/E-VAds_Benchmark에서 확인할 수 있습니다.

arXiv:2606.12125v1cs.CV

Q-Fold: 장영상 이해를 위한 쿼리 인식 Focus-Context 시공간 폴딩

Q-Fold: Query-Aware Focus-Context Spatio-Temporal Folding for Long Video Understanding

장영상 이해는 시간적으로 길게 이어지는 영상이 수천 프레임에 달하는 경우가 많아 전체를 빠짐없이 처리하기 비용이 크기 때문에, 멀티모달 대규모 언어 모델(MLLM)에게 여전히 어려운 과제로 남아 있다. 기존 방법들은 보통 제한된 시각적 예산 아래에서 장영상으로부터 압축된 시각 입력을 구성한다. 그러나 이들 대부분은 여전히 프레임 중심(frame-centric) 패러다임을 따르며, 중요도와 관계없이 유지된 콘텐츠에 유사한 표현을 적용한다. 이로 인해 고충실도 시각적 증거와 넓은 시간적 커버리지를 동시에 보존하기 어렵다. 이 문제를 해결하기 위해, 우리는 장영상 이해를 위한 학습 없이 사용 가능한 입력 구성 프레임워크인 Q-Fold를 제안한다. 고립된 프레임을 기본 모델링 단위로 취급하는 대신, Q-Fold는 연속적인 시간 세그먼트 단위로 동작하며 쿼리 안내(query guidance) 하에 이질적인 Focus-Context 표현을 구성한다. 쿼리 관련 세그먼트는 고충실도 Focus Frame으로 보존되고, 덜 관련된 세그먼트는 시간순을 유지하는 컨텍스트 레이아웃으로 접힌다. 이를 통해 Q-Fold는 핵심 시각적 증거와 넓은 시간적 커버리지를 보존하면서, 짧은 세그먼트 내 국소적 시간 연속성도 더 잘 유지한다. 여러 Video-MLLM을 사용한 4개의 장영상 벤치마크에서의 실험은 Q-Fold가 입력 예산을 늘리지 않고도 일관되게 성능을 향상시킨다는 것을 보여준다. 특히, 초장영상 벤치마크에서 최대 9.1퍼센트포인트의 성능 향상을 달성한다. 코드는 공개될 예정이다.

arXiv:2606.07433v1cs.CV

보기, 기억, 추론: MLLM을 활용한 인간 관점 비디오 이해

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

비디오 이해는 멀티모달 대규모 언어 모델(MLLM)에 의해 급속히 변화하고 있으며, 연구는 짧은 클립에서 긴 영상, 멀티모달, 지식 집약적 비디오 시나리오로 확장되고 있다. 이러한 시나리오는 모델이 희소한 증거, 장거리 의존성, 멀티모달 정렬(alignment), 제한된 계산 예산 하에서의 신뢰할 수 있는 추론을 처리할 수 있도록 요구한다. 본 연구는 LLM 기반 비디오 이해에 대한 인간 관점(human-view)의 관점을 제시하며, 세 가지 기능적 능력—보기(watching), 기억(remembering), 추론(reasoning)—을 중심으로 구성한다. 비디오 작업을 독립적인 벤치마크로 취급하는 대신, 이 관점은 비디오 MLLM이 증거를 획득하고, 맥락을 보존하며, 그라운딩(grounding)된 출력을 생성하는 방식을 분석하기 위한 통합 구조를 제공한다. 우리는 지각 표상(perceptual representations), 메모리 상태, 추론 흔적(reasoning traces), 최종 예측에 따라 비디오 이해 시스템을 특성화하는 공식화(formulation)를 도입한다. 이 공식화를 바탕으로 시공간 지각, 효율적인 장영상 처리, 메모리 모델링, 스트리밍 이해, 충실한 추론 분야의 과제를 식별한다. 대표적인 방법들은 비디오 MLLM 시스템 내 역할에 따라 정리된다. 보기(watching)는 세밀한(fine-grained), 포괄적인, 시청각(audio-visual), 효율적 지각을 다룬다. 기억(remembering)은 오프라인 및 스트리밍 메모리를 포함하며, 추론(reasoning)은 텍스트 전용 추론과 비디오를 활용한 사고(thinking with videos)를 다룬다. 또한 자기 중심(egocentric), 스포츠, 교육(instructional), 의료, 서사(narrative) 비디오 등 응용 영역을 검토하고, 작업 유형, 지도(supervision) 형식, 모달리티, 능력 차원에 걸친 학습 데이터셋과 평가 벤치마크를 다룬다. 마지막으로, 확장 가능하고 메모리를 인식하며 증거에 그라운딩(grounded)된 비디오 지능을 위한 미해결 문제와 향후 방향을 제시한다. 관련 연구는 https://github.com/marinero4972/Awesome-HumanView-VideoUnderstanding에서 지속적으로 추적된다.