arXiv:2610.00825v1 cs.CV

정렬 후 추론: 더빙을 위한 멀티모달 립싱크 판별 모델

Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

Rui Liu, Bhavin Jawade, Haoqi Li, Shivam Mehta, Karan Saxena, Yinghong Lan, Cameron R. Wolfe

제출 2026-09-30

한국어 초록

더빙 품질 관리는 더빙된 오디오가 아직 존재하지 않을 수 있기 때문에 무음 비디오와 텍스트만을 사용하여, 후보 대사 텍스트가 발화자의 가시적인 조음 동작과 내용 및 타이밍 측면 모두에서 일치하는지 판단할 수 있는 무참조(reference-free) 판별 모델을 필요로 합니다. 기존의 시각적 음성 인식기 및 비디오-언어 모델은 이러한 환경에 잘 맞지 않습니다. 입술 움직임에서 발화 내용을 복원하도록 파인튜닝(fine-tuning)되더라도 시간적 오류에는 여전히 둔감하기 때문입니다. 본 논문에서는 프레임 단위 입술 표현과 후보 대사의 음소 단위 간 단조 정렬(monotonic alignment)을 먼저 구축한 다음, 이 정렬을 바탕으로 추론하여 최종 판단을 내리는 다국어 립싱크 판별 모델인 Align Then Reason(ATR)을 소개합니다. 정렬 스코어러는 대규모 언어 모델(LLM)에 각 음소 단위에 대한 로컬 증거와 보정된 글로벌 정렬 점수를 모두 제공하여, 모델이 내용과 타이밍에 대해 함께 추론할 수 있도록 합니다. 7개 언어 벤치마크에서 본 연구의 방식은 2B, 4B, 9B 추론 모델을 사용했을 때 대응하는 Qwen3.5 SFT 기준선(baseline) 대비 평균 AUC를 각각 59.4%, 50.2%, 50.8% 향상시킵니다. 이러한 성능 향상은 LLM 패밀리 전반에 걸쳐 일반화되어 LLaMA-3.1-8B 및 Mistral-7B에서 최고 성능의 기준선 대비 각각 45.9% 및 46.6%의 평균 AUC 향상을 달성합니다. 또한 학습에 사용되지 않은 3개의 MuAViC 언어로 데이터셋 간 전이도 가능함을 보여줍니다. 나아가 실제 더빙 대사로 구축된 두 가지 다운스트림 작업에서 평가를 수행했습니다. 더빙 대사 재순위화(reranking)에서 ATR-9B는 최고 성능의 립리딩 기준선 대비 52.0% 우수한 성능을 보였으며, 대본-클립 매칭(script-to-clip assignment)에서는 ATR-9B가 최고 성능의 립리딩 기준선 대비 17.7% 향상되었습니다.

원문 초록

Dubbing quality control requires a reference-free judge that can determine whether a candidate text line matches a speaker's visible articulation in both content and timing, using only silent video and text because dubbed audio may not yet exist. Existing visual speech recognizers and video-language models are poorly suited to this setting: even when fine-tuned to recover spoken content from lip motion, they remain largely insensitive to temporal errors. We introduce $\textit{Align Then Reason}$ (ATR), a multilingual lip-sync judge that first establishes a monotonic alignment between frame-level lip representations and the phonetic units of the candidate line, then reasons over this alignment to make the final judgment. An alignment scorer provides the LLM with both local evidence for each phonetic unit and a calibrated global alignment score, enabling it to reason jointly about content and timing. On a seven-language benchmark, our method improves mean AUC over the corresponding Qwen3.5 SFT baselines by 59.4%, 50.2%, and 50.8% with 2B, 4B, and 9B reasoners, respectively. The gains generalize across LLM families, reaching mean AUC improvements of 45.9% and 46.6% over the best baseline for LLaMA-3.1-8B and Mistral-7B, respectively. They also transfer across datasets to three unseen MuAViC languages. Furthermore, we evaluate on two downstream tasks built from real dubbing lines. On dub-line reranking, ATR-9B outperforms the best lip-reading baseline by 52.0%, while on script-to-clip assignment, ATR-9B improves over the best lip-reading baseline by 17.7%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00825v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02181v3cs.CV공통 태그 Video Understanding, Large Language Model

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.11019v1cs.CV공통 태그 Video Understanding, Large Language Model

원시 비디오를 활용한 언어 모델의 중간 학습

Mid-Training Language Models on Raw Video

다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.

arXiv:2610.03123v1cs.CV공통 태그 Video Understanding, Large Language Model

Foresight: 재학습 없이 스트리밍 VLM에서 미래 지각을 계획하기

Foresight: planning future perception in streaming VLMs without retraining

기존의 스트리밍 비전-언어 모델(VLM)은 시각적 스트림을 지속적으로 지각하고 추론하지만, 추론 과정 전반에 걸쳐 연산 경로는 고정되어 있습니다. 결과적으로 서로 다른 미래 사건이 서로 다른 수준과 형태의 지각을 요구하는 동적인 장면 변화에 맞춰 연산을 적응시키지 못합니다. 본 논문에서는 스트리밍 VLM이 당장의 가까운 미래를 예측하는 능력을 본질적으로 지니고 있음을 보이고, 이 능력을 활용하여 학습 없이(training-free) 미래 연산을 동적으로 구성합니다. 그러나 이러한 예측적 연산을 구현하는 것은 매우 까다롭습니다. 미래 예측은 연산을 안내할 수 있을 만큼 충분히 신뢰할 수 있어야 하고, 계획(planning)은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성은 무시할 수 있을 정도의 오버헤드만 발생시켜야 합니다. 이러한 문제를 해결하기 위해 가중치, 입력 인코더, KV 캐시를 공유하는 두 개의 샴 LLM(Siamese LLM)으로 구성된 듀얼 스트림 아키텍처 FORESIGHT를 제안합니다. 첫 번째 LLM은 입력되는 토큰을 지속적으로 처리하며, 두 번째 LLM은 스트리밍 추론을 중단하지 않고 스트림보다 앞서 실행되어 미래 컨텍스트를 예측하고 미래 연산을 계획하며 작업 응답을 생성합니다. 각 계획은 일시적인 증거와 지속적인 제어를 분리하여 유지하면서, 다음에 언제 추론할지, 그때 무엇을 확인할지, 얼마나 조밀하게 샘플링할지를 결정합니다. 생성된 연산 계획은 스키마 유도 디코딩(schema-guided decoding)과 경량 diff 기반 업데이트를 활용한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다. 동결된 Qwen3-VL-8B 백본을 사용하는 FORESIGHT는 OmniPro Online 평가에서 23.0 평균 결합 F1을 달성하여 가장 강력한 학습 기반 기준선(baseline)을 9.5% 차이로 제쳤으며, StreamingBench에서 백본 대비 6.7, OVO-Bench에서 15.4의 성능 향상을 보였고, 비디오 스트림에서 증거가 늦게 나타날 때 최대 18.7의 가장 큰 향상을 기록했습니다. 소스 코드는 공개될 예정입니다.

arXiv:2610.01762v1cs.CV공통 태그 Video Understanding, Large Language Model

OneStreamer: 스트리밍 비디오 상호작용에서 인식, 메모리 및 능동적 응답의 통합

OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.02418v2cs.CR공통 태그 Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.