PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.02849v3cs.CV

조건부 제어 확산 모델을 통한 능동적 샘플링 기반 초저비트레이트 비디오 압축

Active Sampling for Ultra-Low-Bit-Rate Video Compression via Conditional Controlled Diffusion

확산 모델(Diffusion model)은 초저비트레이트 환경에서 지각적 재구성(perceptual reconstruction)을 위한 강력한 생성적 사전 확률(generative prior)을 제공하지만, 효과적인 비디오 압축을 위해서는 고도로 압축된 조건화 신호를 사용해 생성 과정을 제어해야 합니다. 본 연구에서는 초저비트레이트 영역을 위한 확산 기반 비디오 압축 프레임워크인 ActDiff-VC를 제안합니다. 제안하는 방법은 비디오를 가변 길이 세그먼트로 분할하고, 필요할 때만 키프레임을 전송하며, 추적된 포인트 궤적(point trajectory)의 간결한 집합을 사용하여 시간적 동역학을 요약합니다. 조건부 확산 디코더는 이러한 희소(sparse) 신호를 조건으로 삼아 나머지 프레임들을 합성함으로써, 극심한 전송률 제약 하에서도 지각적으로 사실적인 재구성을 가능하게 합니다. 이러한 설계를 지원하기 위해 콘텐츠 적응형 키프레임 선택과 예산 인식 희소 궤적 선택이라는 두 가지 메커니즘을 도입하며, 이들은 결합되어 생성적 재구성을 위한 간결하면서도 효과적인 조건화를 실현합니다. ActDiff-VC는 비대칭적 연산 특성을 지닙니다. 단일 NVIDIA A100 GPU에서 인코딩은 프레임당 109ms가 소요되는 반면, 적용된 20단계 확산 디코더는 프레임당 2311ms가 소요되어, 경량 인코딩과 지각적 재구성 품질이 우선시되는 클라우드 보조 재구성, 아카이브 저장, 오프라인 콘텐츠 배포와 같은 초저비트레이트 응용 분야에 특히 적합합니다. UVG 및 MCL-JCV 벤치마크 실험 결과, ActDiff-VC는 동일한 NIQE 기준 최대 64.6%의 비트레이트 절감을 달성하고, 유사한 비트레이트에서 강력한 학습 기반 코덱 대비 KID를 최대 64.6%, FID를 최대 37.7% 개선하며, 초저비트레이트 영역의 학습 기반 및 생성형 베이스라인 대비 우수한 지각적 율-왜곡(rate-distortion) 트레이드오프를 제공합니다. 147명의 참가자를 대상으로 한 사용자 평가에서도 이러한 지각적 개선이 입증되었으며, 일대일 비교에서 62.6%의 비율로 DCVC-FM보다 ActDiff-VC가 선호되었습니다.

arXiv:2610.00573v1cs.CV

FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택

FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering

질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.

arXiv:2603.04349v2cs.CV

FocusGraph: 임바디드(Embodied) 장시간 비디오 질의응답을 위한 그래프 구조 프레임 선택

FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering

장시간 비디오 이해는 임바디드 지능형 에이전트(embodied intelligent agent)에게 매우 중요한데, 이는 이들의 성능이 장기간에 걸친 지각 메모리(long-horizon perceptual memory)를 효과적으로 축적하고 활용하는 능력에 좌우되기 때문이다. 멀티모달 대규모 언어 모델(MLLM)이 장시간 비디오 이해에 점점 더 많이 사용되고 있지만, 더 많은 프레임이 제공될수록 성능이 저하되고 추론 시간이 증가한다. 따라서 장시간 비디오에 대한 효율적인 질의응답을 위해서는 정보성이 높은 키프레임을 선택하는 것이 필수적이다. 본 연구에서는 자기중심적(egocentric) 장시간 비디오 질의응답을 위한 키프레임 선택 프레임워크인 FocusGraph를 개발한다. 이 프레임워크는 경량의 Scene-Graph LLM Selector를 포함하며, 이는 컴팩트한 그래프 기반 캡션으로부터 질의와 관련된 클립을 식별함으로써 질의 시점에 원본 프레임 시퀀스를 처리할 필요성을 없앤다. 이러한 클립으로부터, 추론 시점에 학습된 파라미터가 없는 오프라인 프로그램 진화(program-evolved) 방식인 Patch-wise Sparse-Flow Retention(PSFR)을 사용하여 키프레임을 추출한 뒤, 이를 MLLM에 전달하여 답변을 생성한다. FocusGraph는 FindingDory와 HourVideo에서 최첨단(state-of-the-art) 성능을 달성하면서도 기존 접근 방식에 비해 질의 시점의 추론 비용을 절감한다.

arXiv:2607.12557v1cs.CV

긴 비디오 이해를 위한 이벤트 인지 시각 할당의 가우시안 혼합 모델링

Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding

대규모 비전-언어 모델(LVLM)은 균일 샘플링과 관련된 과도한 계산 비용과 정보 손실로 인해 긴 비디오 이해에서 상당한 어려움에 직면한다. 기존 키프레임 선택 방법은 종종 비디오 프레임을 원자적 단위로 취급하고 시각 예산을 균등하게 할당하여, 고수준 의미 구조를 간과하고 상당한 중복을 도입한다. 이러한 한계를 해결하기 위해, 이산적인 프레임 단위 관측에서 이벤트 수준 구조를 모델링하기 위해 가우시안 혼합 모델(Gaussian Mixture Models)을 활용하는 GMM-EVA(Gaussian Mixture Modeling for Event-Aware Visual Allocation)를 제안한다. 이어서 차별화된 할당 전략을 적용하여, 고충실도 세부 정보를 위해 이벤트당 하나의 고해상도 주요 키프레임을 보존하고, 저해상도 보조 키프레임을 활용하여 시간적 맥락을 유지하고 토큰 예산을 최적화한다. GMM-EVA는 다양한 관련성 측정 방식과 하위 LVLM에 걸쳐 견고하게 일반화되는 학습 불필요, 플러그 앤 플레이 프레임워크이다. 여러 긴 비디오 벤치마크에 대한 광범위한 실험은 본 방법이 균일 샘플링을 크게 능가함을 보여준다. 특히 GMM-EVA는 시각 토큰 예산의 약 절반만을 사용하면서도 기준선 선택 방법과 유사한 성능을 달성하여, 뛰어난 효율성과 효과를 강조한다.

arXiv:2607.01737v1cs.CV

ReQuest: 장형 비디오 QA를 위한 재사고 기반 질문 인식 프레임 선택

ReQuest: Rethinking-based Question-Aware Frame Selection for Long-Form Video QA

최근 멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 분야를 크게 발전시켰으나, 고정된 입력 토큰 예산 하에서 장형 비디오 QA는 여전히 어려운 과제로 남아 있으며, 균일한 샘플링은 증거 위치 파악에 비효율적일 수 있다. 본 논문에서는 선택적 연산을 통해 질문 의도와 관련 비디오 콘텐츠를 정렬하는 불확실성 기반, 질문 적응형 키프레임 선택 파이프라인인 ReQuest를 제안한다. ReQuest는 (i) MLLM이 생성한 감독 신호로부터 지식 증류된 경량 질문 인식 선택기, (ii) 길이 적응 기준으로 모델이 불확실할 때만 추가 추론을 유발하는 재사고 라우팅(Re-thinking Routing), (iii) 질문 난이도에 따라 간격을 조정하며 시간적으로 다양한 프레임을 선택하는 불확실성 기반 적응형 비최대 억제(non-maximum suppression)를 통합한다. 플러그 앤 플레이 방식으로서 ReQuest는 기반 MLLM을 수정하거나 미세조정하지 않고도 장형 비디오 QA 성능을 향상시킨다. Video-MME, MLVU, LongVideoBench에서의 실험 결과, 경쟁력 있는 연산 비용으로 일관된 정확도 향상을 보여주며, 특히 중간 및 긴 비디오 구간에서 두드러진 성능 개선을 달성하였다.

arXiv:2607.00983v1cs.CV

QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding

긴 동영상의 시간적 중복 문제를 해결하기 위해, QCA는 쿼리 관련성과 콘텐츠 편차를 동시에 모델링하여 세그먼트별 키프레임 예산을 동적으로 배분하고, 각 세그먼트 내에서 의미적 앵커 프레임을 중심으로 다양성을 극대화하는 키프레임 선택 프레임워크를 제안한다. 별도의 학습 없이 기존 Video-LLM에 통합 가능하며, LongVideoBench에서 128프레임으로 67.8%를 달성해 256프레임을 사용한 GPT-4o(66.7%)를 상회하는 최고 성능을 기록했다.

arXiv:2607.00745v1cs.CV

파운데이션 모델 기반 핵심 해부학적 프레임 선택을 활용한 블라인드 스윕 초음파 태아 출생 체중 추정

Foundation Model-driven Key Anatomy Frame Selection for Blind-sweep Ultrasound Fetal Birth Weight Estimation

전문 초음파 검사자 없이도 태아 출생 체중을 추정하기 위해, 비전-언어 파운데이션 모델(FetalCLIP)을 활용한 해부학적 프레임 선택(AFS)과 시간적 중복성을 제거하는 특징 압축(RAFC) 모듈로 구성된 블라인드 스윕 초음파 기반 프레임워크를 제안한다. 839명 환자 데이터 검증에서 MAE 161.3g, PC10 90.23%, PC15 100%를 달성하며 Hadlock 추정법 및 기존 방법들을 능가했다.

arXiv:2607.00672v1cs.CV

DART: 제로샷 비디오 시간적 그라운딩을 위한 난이도 적응형 라우팅

DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding

제로샷 비디오 시간적 그라운딩(VTG)에서 기존 프레임-쿼리 특징 매칭 방식이 시간적 순서와 인과 관계가 필요한 복잡한 쿼리에 취약하다는 추론 격차(reasoning gap) 문제를 해결하기 위해, DART는 쿼리 조건부 행렬식 점 프로세스(DPP)로 다양한 키프레임을 선택하고 스펙트럼 엔트로피를 난이도 지표로 활용해 단순 쿼리는 직접 예측 경로로, 복잡한 쿼리는 Temporal Markup Prompting 기반의 구조화된 추론 경로로 라우팅한다. Charades-STA와 ActivityNet Captions에서 DART는 기존 최강 기준선 대비 mIoU를 최대 3.5포인트 향상시키면서 사용 프레임 수를 7배 이상 줄이며 최첨단 제로샷 성능을 달성했다.

arXiv:2408.01859v2cs.CV

Gershgorin Disc Alignment를 통한 일시적 비디오 키프레임 선택을 위한 그래프 전개 및 샘플링

Graph Unfolding and Sampling for Transitory Video Keyframe Selection via Gershgorin Disc Alignment

모바일 폰에서 YouTube, TikTok 같은 소셜 미디어 사이트에 업로드되는 사용자 생성 비디오(UGV)는 짧고 반복적이지 않다. Gershgorin disc alignment(GDA)에 기반한 빠른 그래프 샘플링을 통해 일시적 UGV를 선형 시간에 여러 키프레임으로 요약한다. 구체적으로, 먼저 UGV 내 $N$개 프레임 시퀀스를 $M \ll N$인 $M$-hop 경로 그래프 $\cG^o$로 모델링하며, $M$ 시간 instant 내 두 프레임 간 유사도는 특징 유사도에 기반한 양(positive) 엣지로 인코딩한다. 효율적인 샘플링을 위해, 그다음 검증 가능한 성능 경계를 갖는 두 가지 그래프 전개 절차 중 하나를 통해 $\cG^o$를 일반화 그래프 Laplacian 행렬 $\cL$로 지정되는 $1$-hop 경로 그래프 $\cG$로 ``전개(unfold)''한다. 이진 키프레임 선택 벡터 $\h$인 계수 행렬 $\B = \diag{\h} + μ\cL$의 최소 고유값 $λ_{\min}(\B)$를 최대화하는 것이 최악의 경우 신호 재구성 오류를 최소화하는 것과 동치임을 보인다. 대신 모든 그래프 노드(프레임)에 대해 Gershgorin disc의 좌단(left-ends)을 반복적으로 정렬하는 새로운 빠른 그래프 샘플링 알고리즘을 통해 $\h$를 선택함으로써 Gershgorin circle theorem(GCT) 하한 $λ^-_{\min}(\B)$를 최대화한다. 여러 단편 비디오 데이터셋에 대한 실험에서, 본 알고리즘은 복잡도를 대폭 줄이면서 최신(state-of-the-art) 방법들과 비교해 동등하거나 더 나은 키프레임 선택 성능을 달성함을 보여준다.

arXiv:2606.24187v2cs.CV

적응형 준-가우시안 샘플링을 통한 멀티모달 대규모 언어 모델의 빠르고 효과적인 긴 영상 이해를 향하여

Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

긴 영상 이해는 과도한 연산량과 메모리 사용량으로 인해 멀티모달 대규모 언어 모델(MLLM)에게 여전히 난제로 남아 있다. 이를 완화하기 위해 키프레임 선택(keyframe selection)이 자주 채택되지만, 하드 샘플링 원칙으로 인한 낮은 유연성과 높은 노이즈 문제를 여전히 겪고 있다. 본 논문에서는 비디오 프레임 선택을 준-가우시안 샘플링(Quasi-Gaussian Sampling) 문제로 정의하고, AdaQ라 명명된 적응형 비학습(training-free) 방법을 제안한다. 가우시안 분포의 3-σ 규칙에서 영감을 받아, AdaQ의 목표는 다양한 입력 예시에 대해 최적의 3-σ 구간을 달성하는 것이다. 즉, 로컬 쿼리에는 더 작은 3-σ 구간을, 글로벌 쿼리에는 더 큰 구간을 적용함으로써 강건하고 적응적인 프레임 샘플링을 실현한다. AdaQ를 검증하기 위해, 세 가지 임베딩 모델과 결합하여 네 가지 MLLM에 적용하였다. 광범위한 실험 결과는 기본 MLLM 및 최신 키프레임 선택 방법 대비 명확한 성능 향상을 보여준다. 예를 들어, 단 64개의 프레임만 사용하여 Qwen3-VL-8B가 GPT4o를 평균 15.8% 초과 달성하도록 지원하며, 긴 영상 이해에서의 우수한 강건성과 높은 효율성 또한 확인된다. 예를 들어, 설정이 필요한 하이퍼매개변수가 단 1개에 불과하다.