오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.
몰입형 VR180 비디오는 전문가용 스테레오 어안(fisheye) 카메라로 제작되는 경우가 점점 늘고 있으나, 공개된 VR180 연구 자원은 대부분 YouTube와 같은 온라인 플랫폼에서 수집된 것입니다. 이러한 데이터는 알려지지 않은 파이프라인을 통해 이미 스티칭, 투영 및 압축되어 있으며 렌즈 캘리브레이션 정보도 부재합니다. 본 논문에서는 두 대의 Blackmagic URSA Cine Immersive 카메라로 직접 촬영한 스테레오 VR180 데이터셋을 제시합니다. 이 데이터셋은 1,211개의 샘플(스테레오 비디오 클립 636개(2,220.8초, 대부분 90fps) 및 스테레오 정지 영상 575개)을 포함하며, 각각 카메라 네이티브 Blackmagic RAW, 양안 분리 네이티브 어안 HEVC(눈당 8160x7200), 하프 등지사각(half-equirectangular) HEVC(눈당 7200x7200) 형식으로 공장 렌즈 캘리브레이션 정보, 이식 가능한 어안/하프 등지사각 변환 도구, AI 생성 장면 및 시각적 난제 어노테이션과 함께 공개됩니다. 공개된 어안 및 하프 등지사각 렌더링 영상을 24개 클립, 양안, 4개 전송률 지점 및 9개 시야 방향에 걸쳐 x265로 재인코딩한 결과, 24개 클립 전체에서 동일한 뷰포트 화질 기준 네이티브 어안 코딩이 하프 등지사각 코딩보다 시야각(field of view)의 모든 영역에서 더 높은 비트레이트를 필요로 했습니다(중앙값 +38%). 데이터: https://huggingface.co/datasets/lulinxuan/VR180 ; 코드: https://github.com/lulinxuan/vr180-dataset-tools
인간은 한 장면에 명시적으로 묘사된 것보다 훨씬 더 많은 것을 인지합니다. 한 번의 시선만으로도 과거의 원인과 미래의 궤적을 파악하고, 짧은 엿보기로 주차된 두 대의 차량 사이에 차가 들어갈 수 있는지 판단하며, 몇 초간의 비디오를 통해 방 안에서 누가 권위를 쥐고 있는지 알아차리고, 스쳐 지나가는 짧은 클립에서 불문율이나 숨겨진 라벨과 같은 미묘한 추상적 패턴을 포착합니다. 이러한 능력은 일종의 인류의 육감(sixth sense), 즉 단순한 감각적 지각을 넘어 암묵적인 정보를 복원하는 직관적 추론(intuitive reasoning) 메커니즘을 반영합니다. 결정적으로, 이러한 신속한 제로샷(zero-shot) 시각적 직관은 일상적인 탐색과 사회적 상호작용의 근간을 이루며, 인간과 함께 배치되는 멀티모달 대규모 언어 모델(MLLM)에 필수적인 능력이 됩니다. 그러나 기존의 시각 벤치마크는 학술 및 수학 분야의 심층적인 전문가 수준 분석이나 저수준 지각에만 치중되어 있어, 인간이 수행하는 직관적 추론은 거의 검증하지 못한 채로 남아 있습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 직관적 시각 추론을 위한 벤치마크인 Humanity's Sixth Sense(HSS)를 소개합니다. HSS는 다양한 이미지 및 비디오 입력을 아우르고, 체계적인 분류 체계 하에 항목을 구성하며, 인간이 한눈에 추론하는 암묵적인 시간적, 공간적, 사회적, 추상적 구조를 탐색하는 사람이 직접 작성한 프롬프트와 각 항목을 연결합니다. 최첨단 MLLM은 인간의 성능에 미치지 못합니다. 인간 참가자는 93.1%의 정확도에 도달한 반면, 가장 강력한 모델인 GPT-6-astra는 최대 추론 노력을 기울였을 때조차 53.6%에 불과했습니다. 고도화된 지각과 지식을 요구하는 수많은 복잡한 작업에서 뛰어난 성능을 보임에도 불구하고, 현재의 모델들은 인간에게는 직관적인 이러한 시각 작업에서 여전히 상당한 어려움을 겪고 있습니다. 나아가 본 연구는 HSS에 동적 시각 조작을 적용하는 에이전트(agent) 설정을 탐구하여 격차를 좁혔으나 완전히 해소하지는 못했습니다. HSS는 직관적 시각 추론을 측정 가능한 축으로 확립하고, 기존 벤치마크의 스케일링(scaling) 과정에서 지금까지 뒤처져 있던 능력에 주목하도록 유도합니다.
블라인드 음원 분리(BSS)는 음원이나 혼합 과정에 대한 사전 지식 없이 혼합 신호로부터 여러 음원 신호를 분리하는 것을 목표로 하는 신호 처리 분야의 근본적인 문제입니다. 독립 벡터 분석(IVA)과 같은 전통적인 접근 방식은 음원의 통계적 독립성을 활용합니다. 최근에는 강력한 생성적 사전 확률(generative prior)을 활용하여 확산(diffusion) 기반 접근 방식이 유망한 대안으로 떠올랐습니다. 그중 ArrayDPS는 BSS 문제를 사후 샘플링(posterior sampling) 문제로 정의하고, 사전학습된 음성 확산 모델을 활용하여 깨끗한 음원 신호의 복원을 유도합니다. 분리 성능을 뒷받침하는 핵심 요소는 추정된 음향 전달 함수를 통해 추정된 음원 신호가 관측된 마이크 혼합 신호를 재구성하도록 강제하는 다채널 일관성(MC) 목표입니다. 그러나 어레이 내 마이크의 수는 종종 제한되어 있어 ArrayDPS의 성능을 제약합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 더 높은 신호 대 잡음비(SNR)를 갖는 가상 마이크로 마이크 어레이를 증강하는 새로운 방법인 VM-ArrayDPS를 제안합니다. 이 가상 마이크들은 추가적인 MC 제약 조건을 제공하여 분리 성능을 향상시킬 수 있습니다. 실험 결과는 VM-ArrayDPS가 2인 화자 및 3인 화자 데이터셋 모두에서 ArrayDPS를 크게 능가함을 보여주며, BSS 성능을 개선하는 데 있어 가상 마이크 증강의 효과성을 입증합니다. 또한 가상 마이크의 수와 가상 마이크가 가져오는 MC 목표의 가중치가 미치는 영향을 보여주기 위해 어블레이션 연구(ablation study)도 수행했습니다.
스마트 기기 사용이 지속적으로 증가함에 따라, 민감한 음성 콘텐츠가 포착될 가능성으로 인해 프라이버시 우려가 커지고 있습니다. 따라서 오디오의 효용성을 보존하면서 정보 유출을 방지하는 기술과, 프라이버시 수준을 과대평가하지 않고 정확하게 정량화하는 평가 지표를 개발하는 것이 중요합니다. 본 연구에서는 자연어 처리(NLP) 분야의 개체 인식 프라이버시 지표를 음성 프라이버시 도메인에 적용하여, 개체명(named entities)에 특히 중점을 두고 두 가지 난독화 기법의 음성 콘텐츠 보호 효과를 평가합니다. 나아가 여러 공격 시나리오를 조사하여, 개체가 풍부한 데이터에 대한 미세조정(fine-tuning)이 일부 개체 카테고리에서는 공격 성능을 향상시키지만 다른 카테고리에서는 그렇지 않음을 보입니다. 마지막으로 난독화 방법이 시간적 정렬(temporal alignment)을 보존하는지 여부에 따른 지표 선택 지침을 제공합니다.
본 논문에서는 오디오, 비전, 그래프 및 크로스모달(cross-modal) 환경 전반의 최신 자기지도학습(SSL) 방법들을 단일 모듈형 코드베이스로 통합한 파이썬 라이브러리인 PrismSSL을 소개합니다. 본 데모의 목표는 연구자와 실무자가 (i) 몇 줄의 코드만으로 사전 작업 학습(pretext training)을 설치, 설정 및 실행하고, (ii) 간결한 벤치마크를 재현하며, (iii) 깔끔한 트레이너 및 데이터셋 추상화를 통해 프레임워크를 새로운 모달리티나 방법으로 확장할 수 있는 방법을 보여주는 것입니다. PrismSSL은 PyPI에 패키징되어 MIT 라이선스로 배포되며, HuggingFace Transformers와 긴밀하게 연동되고, PyTorch 기반 분산 학습, Optuna 기반 하이퍼파라미터 탐색, 트랜스포머 백본을 위한 LoRA 미세조정, 온전성 검사(sanity check)를 위한 애니메이션 임베딩 시각화, Weights & Biases 로깅, 사용 편의성과 가독성 향상을 위한 다채로운 구조화된 터미널 로그와 같은 다양한 편의 기능을 제공합니다. 또한 PrismSSL은 Flask 및 표준 웹 기술로 구축된 그래픽 대시보드를 제공하여 사용자가 최소한의 코딩으로 학습 파이프라인을 구성하고 실행할 수 있도록 지원합니다. 본 연구의 결과물(코드 및 데이터 레시피)은 공개되어 재현 가능하도록 제공될 예정입니다.
비디오 모먼트 검색(Video Moment Retrieval, VMR)의 목표는 주어진 언어적 질의와 의미론적으로 일치하는 비디오 내의 시간적 구간(temporal span)을 예측하는 것이다. 멀티모달 대규모 언어 모델(MLLM) 기반의 기존 VMR 방식들은 고비용의 고품질 데이터셋과 시간 소모적인 미세조정(fine-tuning)에 지나치게 의존한다. 최근 일부 연구에서는 미세조정을 피하기 위해 제로샷(zero-shot) 설정을 도입했으나, 질의에 내재된 언어 바이어스(language bias)를 간과하여 잘못된 위치 특정(localization)을 초래한다. 이러한 문제를 해결하기 위해, 본 논문에서는 동결된(frozen) MLLM을 활용하는 튜닝 불필요(tuning-free) 제로샷 VMR 파이프라인인 Moment-GPT를 제안한다. 구체적으로, 언어 바이어스를 완화하기 위해 먼저 LLaMA-3를 사용하여 질의를 교정 및 재표현한다. 이어서 MiniGPT-v2와 결합된 구간 생성기(span generator)를 설계하여 후보 구간들을 적응적으로 생성한다. 마지막으로 MLLM의 비디오 이해 능력을 활용하기 위해 VideoChatGPT 및 구간 채점기(span scorer)를 적용하여 가장 적절한 구간을 선택한다. 제안하는 방법은 QVHighlights, ActivityNet-Captions, Charades-STA를 포함한 여러 공개 데이터셋에서 최신 MLLM 기반 모델 및 제로샷 모델들의 성능을 대폭 능가한다.
본 논문에서는 멀티트랙 감정 내비게이션을 통해 플레이 가능한 분기형 비주얼 노벨을 생성하는 상태 인지(state-aware) 프레임워크인 SENSE를 제안합니다. MIND라 불리는 상태 기반 서사 아키텍처, 구조 분석기, 경로 인지 컨텍스트 관리 모듈을 통합한 SENSE는 구조적으로 일관되면서도 감정적으로 풍부한 서사를 생성합니다. 최소한의 상위 수준 입력만으로도 캐릭터 일관성과 서사의 인과성을 유지하면서 서로 교차하는 여러 경로를 생성합니다. 대규모 언어 모델(LLM) 심사위원, 정서적 지표, 시각적 평가를 활용한 평가 결과에 따르면, SENSE는 서사 다양성과 견고한 에셋 통합 측면에서 베이스라인을 능가하는 성능을 보였으며, 초기 인간 대상 시험에서는 유사한 수준의 즐거움과 함께 감정적 충실도 측면에서 긍정적인 개선 방향을 나타냈습니다.
시각적 음성은 잡음에 강인한 키워드 검출(keyword spotting)을 가능하게 할 잠재력을 지니지만, 시각 스트림이 반드시 효과적으로 활용되는 것은 아닙니다. 3개 모달리티(tri-modal) 기반의 예시 기반 질의 키워드 검출(QbyE-KWS) 벤치마크에서, 본 연구는 태스크 학습된 시각 인코더를 갖춘 시스템의 등가 오류율(EER)이 -10 dB 조건에서 텍스트 및 오디오 기반 시스템과 2%포인트 이내로 근접함을 발견하였으며, 이러한 성능 격차가 인코더의 음소 정보 부족과 연관되어 있음을 밝혔습니다. 이에 본 연구는 융합 단계인 GIVE(Gated Injection of Visual Evidence)를 통해 게이트 크로스 어텐션(gated cross-attention)으로 입술 움직임에 질의 오디오를 조건화하는 GIVE-KWS를 제안합니다. 또한 시각적 강인성이 두 가지 상호작용하는 조건, 즉 음소 정보를 포함하는 시각 표상과 오디오 특징의 크기를 재조정(rescaling)하기보다 시각적 증거를 주입하는 융합 방식에 의존함을 보입니다. 음소 정보를 담은 인코더 환경에서 주입 방식은 -10 dB 조건에서 마스킹 방식 대비 4.0~9.3 dB의 유효 SNR 이득을 제공하는 반면, 음소 정보가 부족한 인코더 환경에서는 이러한 이득이 거의 사라집니다. GIVE-KWS는 벤치마크 시스템 대비 미확인 키워드(unseen-keyword) EER을 -10 dB에서 72.9%, 평균적으로 62.8% 감소시킵니다.
대규모 음성 언어 모델은 통합된 크로스모달 이해 및 생성에서 뛰어난 성능을 입증했으나, 준언어적(paralinguistic) 단서, 특히 감정을 보존하는 것은 여전히 어렵습니다. 기존 시스템은 대개 얽힌 음향 표현에 의존하여, 기저의 언어 모델이 음향-운율적 증거에 동작의 기반을 두는(grounding) 대신 복원된 어휘 콘텐츠에 과도하게 의존하게 만듭니다. 본 논문에서는 동적 준의미적 전문가(DPSE, Dynamic Para-Semantic Experts)를 기반으로 구축된 감정 인식 음성 언어 모델인 EMODE를 통해 이러한 한계를 해결합니다. DPSE는 연속적인 음성 특징을 의미적 경로와 준언어적 경로로 분해하고 동적으로 라우팅한 뒤, 언어 모델에 통합하기 전에 이들을 융합합니다. 이러한 구조적 분해를 기능적 전문화로 전환하기 위해, EMODE는 직교 전문가 유도(OEG), 의미-음향 정렬(SAA), 게이팅 다양성 정규화(GDR)의 지도를 받아 의미적 워밍업, 준언어적 활성화, 결합 미세 조정으로 구성된 3단계 커리큘럼으로 학습됩니다. SER 테스트, 공감 반응 평가 및 새롭게 구축된 이중 언어 MEPA 벤치마크 실험 결과, EMODE는 어휘적 충실도와 감정적 민감도 간의 균형을 개선하고, 감정에 기반한 응답 생성을 강화하며, 강건한 코퍼스 간 감정 이해를 위한 명시적 준의미적 요인화(para-semantic factorization)의 가치를 보여줍니다.
멀티모달 감성 분석(Multimodal Sentiment Analysis, MSA)은 텍스트, 오디오, 비전을 통합하여 인간의 정서를 추론하지만, 실제 환경의 멀티모달 관측치는 불완전한 경우가 많습니다. 불완전 관측 MSA를 위한 기존 방법들은 주로 두 가지 패러다임을 따릅니다. 재구성 기반 방법은 관측된 모달리티로부터 결측 정보를 복원하며, 결합 표현 방법은 불완전한 입력으로부터 직접 학습합니다. 이러한 방법들은 효과적이지만, 대개 모달리티 신뢰성을 명시적으로 모델링하기보다는 표현 학습이나 융합 설계 내에서 암묵적으로만 다룹니다. 본 논문에서는 모달리티 신뢰성이 불완전 관측 설정에서 핵심 변수라고 주장합니다. 이를 명시적으로 모델링하지 못하면 두 가지 연관된 문제가 발생합니다. 첫째는 신뢰성 불일치(reliability mismatch)로, 각 모달리티가 유지하는 정서적 증거가 샘플 및 결측률에 따라 달라지는 문제입니다. 둘째는 신뢰성 전파 바이어스(reliability propagation bias)로, 품질이 저하된 모달리티의 메시지가 크로스모달 상호작용 및 예측 성능에 부정적인 영향을 미칠 수 있는 문제입니다. 이러한 문제를 해결하기 위해, 본 연구에서는 불완전 관측 환경의 MSA를 위한 모달리티 신뢰성 보정 프레임워크인 MRCF(Modality Reliability-Calibrated Framework)를 제안합니다. MRCF는 모달리티 내 품질 단서와 크로스모달 의미론적 일관성으로부터 샘플별 모달리티 신뢰성을 추정하는 신뢰성 인식 브랜치(Reliability-Aware Branch), 추정된 점수를 사용하여 크로스모달 정보 흐름을 조절하는 신뢰성 유도 상호작용 브랜치(Reliability-Guided Interaction Branch), 그리고 최종 예측을 위해 신뢰성과 의미론적 단서를 통합하는 신뢰성 보정 융합 모듈(Reliability-Calibrated Fusion Module)을 포함합니다. CMU-MOSI, CMU-MOSEI, CH-SIMS를 통한 실험 결과는 MRCF가 표준 불완전 관측 프로토콜에서 우수한 성능을 달성함을 보여줍니다. 추가 분석은 명시적인 신뢰성 모델링이 상호작용 및 융합 과정에서 신뢰성 불일치와 신뢰성 전파 바이어스를 완화하는 데 도움이 된다는 증거를 제시합니다.
인터넷 시청각(audio-visual) 클립은 시간에 따라 변화하는 소리와 움직임을 통해 의미를 전달하며, 이는 텍스트만으로 표현할 수 있는 범위를 넘어섭니다. AI 모델이 인간의 문화적 맥락에서 이러한 신호를 이해할 수 있는지 검증하기 위해, 음성, 노래, 음악, 효과음을 아우르는 1,000개 이상의 대표적인 인터넷 음향 및 비디오로 구성된 인간 큐레이션 벤치마크인 AVMeme Exam을 소개합니다. 각 밈(meme)은 표면적 내용부터 맥락과 감정, 사용법 및 세계 지식에 이르는 다양한 이해 수준을 평가하는 고유한 Q&A와 함께 원본 제작 연도, 전사본(transcript), 요약, 민감도 등의 메타데이터와 쌍을 이룹니다. 본 벤치마크를 활용하여 인간 참가자와 함께 최신 멀티모달 대규모 언어 모델(MLLM)을 체계적으로 평가했습니다. 평가 결과 일관된 한계점이 드러났습니다. 현재 모델들은 텍스트가 없는 음악 및 효과음에서 낮은 성능을 보이며, 표면적 내용에 비해 맥락과 문화 속에서 사고하는 데 어려움을 겪습니다. 이러한 결과는 인간 정렬(human-aligned) 멀티모달 지능의 주요 격차를 부각하며, 듣고 보는 것의 표면을 넘어 맥락적·문화적으로 인식할 수 있는 모델의 필요성을 시사합니다. 프로젝트 페이지: avmemeexam.github.io/public
확산 모델(Diffusion Models, DM)의 급격한 발전은 이미지 및 비디오 응용 분야를 크게 발전시켜 "원하는 것을 그대로 보는 것(what you want is what you see)"을 현실로 만들었습니다. 이 중 비디오 편집은 상당한 주목을 받으며 연구 활동이 급증하고 있어, 기존 문헌에 대한 포괄적이고 체계적인 검토가 필요한 시점입니다. 본 논문은 이론적 토대와 실질적인 응용을 포함한 확산 모델 기반 비디오 편집 기법을 검토합니다. 먼저 수학적 정식화와 이미지 도메인의 주요 방법들을 개괄합니다. 이어서 핵심 기술 간의 고유한 연결성을 바탕으로 비디오 편집 접근법을 분류하여 발전 궤적을 묘사합니다. 또한 본 논문은 포인트 기반 편집과 포즈 유도 인간 비디오 편집을 비롯한 새로운 응용 분야도 다룹니다. 아울러 새로 소개하는 V2VBench를 사용한 종합적인 비교를 제시합니다. 본 논문은 지금까지 달성된 진전을 기반으로, 현재 직면한 과제와 향후 연구를 위한 잠재적 방향을 제시하며 마무리합니다.
연속 감정 회귀(continuous emotion regression)는 시청자가 비디오를 시청하는 동안 순간순간의 긍정-부정 차원(valence) 및 각성(arousal)을 추정합니다. 친숙한 비디오 배포 환경에서, 학습(training) 참여자별 추정치로부터의 응답을 활용하며, 사전확률(prior)이 지배적인 고정 융합은 생리적 신호가 잔차 보정을 추가하는지 여부를 검증합니다. 24명 대상의 5-겹 피험자 분리 평가(five-fold subject-held-out evaluation)에서 내부 및 외부 평가 기준 각각 융합 대비 0.05 및 0.32 MAE 이내였습니다. 출처 명시적 제거 연구(ablation) 결과, 비디오 식별 정보와 비디오 내 시간이 오차 감소의 대부분을 설명한 반면, EEG-fNIRS를 통한 이득은 더 작았으며 참여자 및 비디오 전반에 걸쳐 편차를 보였습니다. 이러한 결과는 비디오-시간 사전확률을 강력하고 비용이 적게 드는 기준선(baseline)으로 규명하며, EEG-fNIRS를 친숙한 비디오 감정 회귀를 위한 선택적 잔차 신호로 자리매김하게 합니다.
음성 기반 3D 얼굴 애니메이션은 알아볼 수 있는 입 모양을 재현할 수 있습니다. 그러나 입 모양 사이의 움직임을 단순화할 수 있으며, 이러한 움직임은 각 소리 주변의 소리가 해당 조음을 형성하는 방식인 동시조음(coarticulation)을 담고 있습니다. 본 논문에서는 이러한 궤적 형성의 기하학적 척도를 소개합니다. 이는 음성 구간의 모음, 자음, 모음 위치를 통과하는 최단 경로와 입술 경로 길이를 비교하는 방식입니다. 종단점 현(chord)과 달리, 이 자음 인지 경로는 필수적인 경유를 고려하고 축퇴를 방지하는 동시에 균일한 움직임 이득에 대한 불변성을 유지합니다. 이 척도는 강제 정렬(forced alignment)만을 필요로 하므로 정답(ground truth)이 존재하지 않는 경우에도 적용할 수 있습니다. 실시간 및 오프라인의 아키텍처 계열별로 하나씩 선정한 4가지 최신 방법론에 대해 이를 시연합니다. 4가지 방법 모두 캡처된 실제 음성보다 더 평평한 입술 궤적을 그립니다. 프레임 레이트가 일치하는 정답과 비교했을 때 DiffPoseTalk, ARTalk, FaceFormer는 명확한 결함을 보였으며, 이는 본 척도 기준으로 실제 음성의 빠른 조음 성분을 15-60% 제거한 것과 동등합니다. CodeTalker는 주요 척도에서는 미미한 차이를 보였으나 보조 척도에서는 결함이 명확했습니다. 97명의 평가자와 3,523건의 판단으로 구성된 사전 등록 연구는 측정된 방향성을 뒷받침합니다. 즉, 실제 움직임의 제어된 감쇠는 점수를 낮추고 페널티를 받는 반면, 과장은 테스트된 범위 내에서 감지된 페널티를 보이지 않았습니다. 또한 평가자들은 문장 비교의 73.4%에서, 그리고 전체적으로 단일 단어에서도 실제 음성을 선호했습니다. 종합하면, 이 척도와 캘리브레이션 및 연구는 지각적으로 유의미한 궤적 형성 손실을 식별하고 합성된 조음을 개선하기 위한 구체적인 목표를 제시합니다.
본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.
뉴럴 비디오 코덱은 주로 RGB 프레임에서 모션 및 시간적 문맥을 도출하므로, 상호 보완적인 시간적 관측 정보를 통한 교차 모달 유도(cross-modal guidance)의 여지가 남아 있습니다. 이벤트 스트림은 프레임 간의 밝기 변화를 기록하여 이러한 관측 정보를 제공할 수 있습니다. 본 연구에서는 인코더와 디코더가 공유하는 이벤트를 활용하여 RGB 압축 효율을 향상시키는 이벤트 기반 뉴럴 비디오 코덱(ENVC)을 제안합니다. 모션 코딩을 위해 ENVC는 이벤트 기반 모션 사전 확률(motion prior)을 형성하고 잔여 모션 잔차(motion residual)를 코딩합니다. 프레임 코딩의 경우, 이벤트 조건부 예측기(event-conditioned predictor)가 게이트 기반 시간적 문맥 개선을 위한 다중 스케일 특징을 제공합니다. 표준 비디오 데이터셋에서의 학습(training) 및 평가(evaluation)를 지원하기 위해 합성된 쌍체 RGB-이벤트 데이터를 생성하고, 실제 이벤트와의 비교를 통해 해당 데이터의 예측 유용성을 평가합니다. 6개 벤치마크에 걸쳐 ENVC는 DCMVC 대비 PSNR-RGB 기준 39.13%, LPIPS 기준 67.63%의 평균 BD-rate 절감을 달성합니다. 추가 분석을 통해 이러한 성능 향상이 모션이 큰 시퀀스에서도 지속되며, ENVC가 이벤트 정보를 효과적으로 통합하도록 학습함을 보여줍니다. 이러한 결과는 RGB 코딩 레이트를 낮추기 위한 상호 보완적 모달리티로서 이벤트의 잠재력을 입증합니다. 본 연구의 모델과 코드는 https://github.com/kjungwoo03/ENVC 에서 확인할 수 있습니다.
최근 오디오-비디오 공동 생성 모델은 동기화된 사운드를 포함한 사실적인 비디오를 합성할 수 있지만, 일반적으로 단일 믹싱 트랙으로 오디오를 생성합니다. 이는 음원 수준의 제어를 제한하며, 음성, 음악, 음향 효과 및 주변음이 편집 가능한 별도의 트랙으로 표현되는 실제 시청각 워크플로와 차이가 있습니다. 본 연구에서는 고정된(frozen) 오디오-비디오 결합 플로우 매칭(flow-matching) 모델을 공유 비디오와 결합된 동기화되고 독립적으로 편집 가능한 다중 오디오 스템(stem) 생성기로 변환하는 무학습(training-free) 프레임워크인 Soundwich를 소개합니다. Soundwich는 시간적 활성화를 명시적으로 제어하면서 별도의 오디오 스템을 생성합니다. 개별적으로 생성된 사운드의 일관성을 유지하기 위해, 음원 수준의 분리를 보존하면서 스템 전반에 걸쳐 전역적 시청각 컨텍스트를 전달하는 공유 장면 표현을 도입합니다. 나아가 각 오디오 스템과 그에 대응하는 시각적 소스 간의 교차 모달 상호작용을 라우팅하여 시청각 일관성을 향상합니다. 그 결과 생성된 스템은 비디오와 동기화된 상태를 유지하며 독립적으로 타이밍을 재조정하거나, 음소거, 교체 또는 리믹스할 수 있습니다. 실험 및 정성적 평가를 통해 시간적 제어, 음원 분리 및 자연스러움이 향상됨과 동시에 일관된 시청각 생성 내에서 유연한 음원 수준 편집이 가능함을 보여줍니다. 코드는 https://github.com/CodyNing/Soundwich 에서 확인할 수 있습니다.
확산 모델(Diffusion models)은 이미지 및 비디오 생성 분야에서 상당한 성공을 거두었습니다. 이는 제공된 텍스트 설명에 따라 비디오를 편집하는 비디오 편집 태스크에 대한 관심 증대로 이어지고 있습니다. 그러나 기존 접근 방식 대부분은 짧은 클립의 비디오 편집에만 초점을 맞추고 있으며, 시간이 많이 소요되는 튜닝이나 추론(inference)에 의존합니다. 본 논문에서는 광범위한 비디오 태스크를 위해 설계된 통합 파운데이션 모델(foundation model)인 Video Instruction Diffusion(VIDiff)을 최초로 제안합니다. 이러한 태스크에는 언어 유도 비디오 객체 분할(language-guided video object segmentation)과 같은 이해 태스크와 비디오 편집 및 향상과 같은 생성 태스크가 모두 포함됩니다. 본 모델(model)은 사용자 지시어에 기반하여 원하는 결과를 수 초 내에 편집하고 변환할 수 있습니다. 또한, 긴 비디오의 편집 및 향상 과정에서 일관성을 보장하기 위해 반복적인 자기회귀(auto-regressive) 방식을 설계했습니다. 정성적 및 정량적 평가를 통해 다양한 입력 비디오와 작성된 지시어에 대한 신뢰할 만한 생성 결과를 제시합니다. 더 많은 예시는 웹사이트 https://ChenHsing.github.io/VIDiff 에서 확인할 수 있습니다.
화음 진행(chord progression)은 음악의 구조 및 전달되는 감정과 관련된 중요한 정보를 담고 있습니다. 이는 음악 작곡의 중추 역할을 하며, 많은 경우 음악가가 음악을 따라 연주하는 데 필요한 유일한 정보이기도 합니다. 이러한 중요성에도 불구하고, 데이터 도메인으로서의 화음 진행은 여전히 충분히 탐색되지 않았습니다. 기존 데이터셋은 음악 이해 모델을 엄격하게 평가(evaluation)하는 데 필요한 규모, 구조적 주석, 메타데이터 다양성이 부족합니다. 본 연구에서는 사용자 생성 진행 및 관련 메타데이터의 다양한 소스를 스크래핑하여 제작되었으며, 널리 확립된 이전 데이터셋들과 강한 유사성을 보이는 666,000개 이상의 곡 수준 심볼릭 화음 진행을 포함하는 해당 분야 최대 규모의 데이터셋인 Chordonomicon을 제시합니다. 이 데이터셋은 구조적 파트(verse, chorus, bridge 등), 장르, 발매일로 주석이 달려 있습니다. 데이터셋 자체를 넘어, 엄격한 완전 일치(exact-match) 평가 기준 하에 여러 컨텍스트 윈도우(context window) 크기와 데이터 규모에 걸쳐 세 가지 시퀀스 모델링 아키텍처(RNN, GRU, LSTM)를 평가하는 다음 화음 예측을 위한 재현 가능한 벤치마크(benchmark) 스위트를 제안합니다. 실험 결과, 구조적 파트 주석이 예측 성능을 일관되게 향상시키는 것으로 나타났습니다. Chordonomicon은 화음 예측, 분류(classification), 생성 등을 다루는 향후 연구의 공정하고 재현 가능한 비교를 지원하기 위해 분할 방법론, 베이스라인, 평가 프로토콜을 함께 제공하는 공개 벤치마크로 출시됩니다.