멀티모달 에이전틱 검색(Multimodal Agentic Retrieval, MAR)은 에이전트가 외부 도구를 반복적으로 호출하여 복잡한 정보 탐색 작업을 해결할 것을 요구한다. ReAct와 같은 일반적인 프레임워크는 원본 멀티모달 입력과 누적되는 상호작용 이력을 단일한, 계속 커지는 컨텍스트에 유지하며, 이는 컨텍스트 폭발 문제로 이어진다. 기존 방법들은 중복된 텍스트를 압축함으로써 이 문제를 완화하지만, 토큰 소모가 큰 시각적 콘텐츠를 관리하는 효과적인 전략은 여전히 대부분 충분히 연구되지 않았다.
이러한 격차를 해소하기 위해, 우리는 먼저 약 1만 개의 궤적(trajectory)에 대한 체계적인 실증 연구를 수행한다. 그 결과, 시각적 단서가 외부 도구를 통해 점진적으로 추출되어 컨텍스트에 텍스트화됨에 따라 원본 이미지가 점점 더 중복되는 것으로 나타났다. 이미지를 계속 유지하는 것은 더 높은 출력 엔트로피와 관련이 있으며, 심지어 작업 정확도를 저하시킬 수도 있다.
이러한 발견에 착안하여, 우리는 필요할 때만 원본 이미지를 불러오는 학습이 필요 없는(training-free) 프레임워크인 MM-ContextFold를 제안한다. 이 프레임워크는 상위 수준의 계획(planning)을 위해 텍스트만으로 구성된 영속적인 메인 컨텍스트를 유지하며, 이미지에 의존하는 하위 작업을 위해 일시적인 분기 컨텍스트(branch context)를 생성한다. 각 분기 내에서 에이전트는 관련 이미지를 불러와 하위 작업을 완료한 뒤, 그 결과를 간결한 텍스트 요약으로 메인 컨텍스트에 다시 접어 넣는다(fold back); 이후 이미지와 분기 흔적(branch trace)은 폐기된다.
다섯 개의 백본 모델에 걸친 일곱 개의 MAR 벤치마크에서의 실험 결과, MM-ContextFold는 ReAct 대비 평균 정확도를 6.3퍼센트 포인트 향상시키는 동시에 작업 컨텍스트 길이를 27.5% 줄이는 것으로 나타났다.
반복적 텍스트-모션 생성은 품질이 높고 의미적으로 정렬된 동작을 제공하지만, 여러 번의 네트워크 평가가 필요해 추론 지연이 크다. 본 논문은 오프라인 집합 증류에 기반한 엄격한 1단계 텍스트-모션 생성 프레임워크인 \textbf{MixiMotion}을 제시한다. 각 텍스트 프롬프트마다 단일 교사 궤적 하나만 증류하는 대신, MixiMotion은 여러 교사 동작으로 구성된 오프라인 뱅크를 구축하고 \textbf{asymmetric bidirectional matching}을 통해 교사와 학생 표본 집합을 정렬한다. 교사→학생 방향은 교사가 지원하는 다양한 동작의 포괴를 촉진하고, 학생→교사 방향은 지원되지 않는 생성을 억제한다. 또한 정규화된 표현 매칭을 디코딩된 모션 공간의 제약으로 보완하기 위해 미분 가능한 디코딩 공간 운동학적 감독을 도입한다. 추론 시 MixiMotion은 교사 질의, 반복 샘플링, 후보 순위화 없이 단일 네트워크 평가로 완전한 동작 시퀀스를 생성한다. ViMoGen에서 MixiMotion은 의미 정렬 점수 $0.835$를 달성해 평가된 1단계 기준선들을 능가하고, 50단계 HY-Motion-1.0-Lite 교사의 $0.858$ 점수에 근접한다. 블라인드 인간 평가에서 MixiMotion은 전체 평점 $4.33$을 얻었고(교사 $4.50$), 평가된 1-/few-step 기준선들을 능가했다. 한편 생성 지연은 $829.58$\,ms에서 $9.30$\,ms로 줄어 $89.2\times$ 속도 향상에 해당한다. 이 결과는 엄격한 1단계 텍스트-모션 생성에서 효과적인 품질-효율 트레이드오프를 보여준다.
이미지 스테가노그래피(image steganography)는 일반 이미지 내에 비밀 메시지를 숨기며, 기존 연구의 대부분은 커버를 보존하는 전송 방식에 의존한다. 그러나 이러한 패러다임은 원본 커버가 노출되거나 신뢰성 있게 근사될 수 있는 경우 취약해진다. 본 논문에서는 커버 매칭을 스타일 은닉 전송으로 대체하는 양식화된 이미지 은닉 프레임워크인 StyleStegaNet을 제안한다. 커버와 유사한 스테고(stego) 이미지를 전송하는 대신, StyleStegaNet은 공개적으로 사용 가능한 스타일 참조를 조건으로 양식화된 스테고 이미지를 생성하여, 스테가노그래피의 비가시성을 커버 보존 은닉에서 스타일 변환 기반의 행동 수준 위장으로 재정의한다. 이러한 설정은 신경망 스타일 변환(neural stylization)이 딥 은닉 방법에서 활용되는 특징(feature) 통계량을 크게 바꿀 수 있기 때문에 신뢰할 수 있는 비밀 복구에 상당한 어려움을 초래한다. 이 문제를 해결하기 위해 StyleStegaNet은 전체 작업을 스테고 생성, 양식화 전송, 구조 보존 재구성, 비밀 복구의 네 가지 유기적 단계로 분리한다. 또한 StyleStegaNet은 점진적인 3단계 학습(training) 전략으로 최적화(optimization)되며, 여기서 웨이블릿 도메인 제약 조건과 지각적 감독이 복구 가능한 정보를 구조적 표현으로 유도한다. 더 나아가 비밀 복구 가능성이 정규화된 구조적 부분공간에 크게 제한됨을 보여주는 분석을 제공하여, 직접 양식화하는 베이스라인이 실패하는 이유와 재구성 유도 복구 경로가 왜 필요한지에 대한 기전적 설명을 제시한다. DIV2K 및 MS-COCO 데이터셋(dataset)에 대한 광범위한 실험을 통해 StyleStegaNet의 효과를 입증한다. 또한 두 가지 딥 검출기를 사용한 퓨샷(few-shot) 이미지 스테그분석(steganalysis) 결과, 탐지 정확도가 무작위 추측에 가까운 약 51\%를 나타낸다.
카메라 모션은 종종 연출 의도를 반영하며 전문 장비를 필요로 하므로, 지적 재산으로서 높은 가치를 지닌다. 그러나 생성형 비디오 모델은 단순한 프롬프트만으로 이러한 고가치 카메라 모션을 모방할 수 있는 반면, 기존 유사도 검출 방법은 주로 시각적 콘텐츠를 대상으로 동작하여 더 깊은 수준의 모션 유사성을 포착하지 못한다. 이는 주로 해당 방법들의 학습 데이터가 카메라 모션과 시각적 콘텐츠를 얽어놓기 때문이다. 또한 전통적인 optical flow만으로는 복잡한 카메라 모션을 표현하기에 불충분하다. 따라서 우리는 카메라 모션 분석을 위한 최초의 벤치마크를 구축하며, 11가지 모션 스타일을 포함하는 모션 데이터셋과 평가 프로토콜을 제시한다. 더 나아가 유체 역학의 vorticity(와도) 단서로 optical flow를 보강하는 모션 표현을 제안하여 모션을 더 잘 포착한다. 실험 결과, 제안 검출기는 가장 강한 기준선 대비 표절 검출에서 3.02*의 향상을 달성하였으며 생성형 영상에서도 효과를 유지한다. 우리는 본 연구가 저작권 보호를 정적 콘텐츠를 넘어 동적 카메라 모션까지 확장한다고 믿는다.
Wiener 기반 필터를 사용하여 원본 샘플과 복원 샘플 간 평균제곱오차(mean square error)를 최소화하도록 설계된 영상 부호화용 적응형 루프 필터(ALF)는 코딩 효율 개선에 큰 기여를 한다는 점에서 주목을 받고 있다. 제2·3세대 음성영상 부호화 표준인 AVS2와 AVS3에서는 ALF가 인-루프 필터 중 하나로 채택되어 있다. 현재 설계에서는 각 프레임을 최대 16개 영역으로 분할한 뒤, 대응하는 필터 계수를 도출하여 각 영역 복원에 사용한다. 본 논문에서는 AVS3의 기존 ALF 적응성을 높이기 위해 유연 영역 기반 ALF(FRALF) 방안을 제안하며, $2\times4$, $4\times4$, $4\times8$, $8\times8$ 등 여러 영역 분할 템플릿을 도입한다. 이어서 서로 다른 분할 영역의 왜곡 수준을 추정하는 필터 계수 병합 알고리즘을 제안하여 코딩 효율을 더욱 개선한다. 제안 FRALF는 국소 텍스처 특성과 비국소 유사성을 종합적으로 고려할 수 있다. 실험 결과, FRALF는 복잡도 증가가 상대적으로 작은 가운데 AVS3의 기존 영역 기반 ALF보다 우수한 성능을 보인다.
최근의 비전-언어 모델(vision-language model)은 인상적인 범용 시각적 이해 능력을 보여주지만, 예술 해석에 있어서는 여전히 피상적인 수준에 머물러 있다. 이러한 모델들은 표면적인 내용은 설명하지만 형식적 분석, 근거 있는 역사적 해석, 또는 정서적 특성화에는 어려움을 겪는다. 우리는 이것이 모델의 한계일 뿐만 아니라 데이터셋의 한계이기도 하다고 주장한다. 기존의 예술 데이터셋은 단일 관점 자원으로, 동일한 작품에 대해 서사적(narrative), 형식적(formal), 정서적(emotional), 역사적(historical) 관점을 동시에 제공하는 데이터셋은 존재하지 않는다. 우리는 74,234점의 WikiArt 회화로 구성된 대규모 데이터셋인 MMArt를 소개한다. 각 작품에는 독립적으로 주석이 달린 네 가지 관점과 이를 통합한 캡션이 함께 제공되며, 이는 특화된 비전-언어 모델 또는 사람에 의한 주석(annotation)을 통해 생성되고 상호 보완적인 품질 평가를 통해 검증되었다. 두 가지 상보성(complementarity) 분석을 통해 각 관점이 실제로 서로 다른 정보를 담고 있음을 입증하였다. 생성적(generative) 분석 결과, 형식적 분석 설명이 구성적 스타일을 가장 잘 보존하며, 역사적 설명은 재구성된 이미지에서 강한 정서적 신호를 담고 있는 것으로 나타났다. 판별적(discriminative) 검색 분석은 과제 간 비대칭성을 드러낸다. 서사적 설명은 검색 성능을 견인하는 반면(R@1 = 44.0%), 재구성에서는 가장 강력했던 형식적 설명은 검색 규모에서는 거의 판별력을 갖지 못한다(R@1 = 7.8%). Leave-one-out 분석은 나아가 역사적 설명이 두 과제 모두에서 가장 대체하기 어려운 관점임을 확인시켜 준다. 두 분석을 종합하면, 단일 관점만으로는 모든 과제에 충분하지 않음이 입증되며, 이는 MMArt의 다중 관점(multi-perspective) 설계를 직접적으로 뒷받침한다. 데이터셋, 코드, 추가 정보는 https://shuaiwang97.github.io/MMArt/ 에서 확인할 수 있다.
본 연구에서는 관계적 검색(Relational Retrieval) 관점을 통해 일반화된 범주 발견(Generalized Category Discovery, GCD) 문제를 다루며, 양방향 지식 전이를 통해 레이블이 있는 데이터와 없는 데이터를 명시적으로 결합한다. 기존 방법들은 이러한 두 데이터 소스를 별도로 다루어 유용한 상호작용 기회를 놓치는 반면, 우리는 상호 향상을 가능하게 하는 관계적 패턴 일관성(Relational Pattern Consistency, RPC)을 제안한다. RPC는 소프트 ID/OOD 분해를 위해 One-vs-All 분류기를 사용한 뒤, 두 가지 메커니즘을 도입한다: (i) 기지 클래스(known class) 보존을 위해 의미적 행동 정렬(semantic behavioral alignment)을 전이하고, (ii) 범주 발견을 위해 동일 범주에 속한 샘플들이 기지 클래스 프로토타입과 불변적인 관계를 유지한다는 통찰을 활용하여, 신뢰할 수 없는 의사 레이블링(pseudo-labeling)을 잘 정의된 관계적 패턴 매칭으로 전환한다. 이러한 양방향 설계는 레이블이 있는 데이터가 레이블이 없는 데이터의 학습을 안내하는 동시에, 이들의 집합적 관계적 특징을 통해 새로운 범주를 발견할 수 있도록 한다. 광범위한 실험을 통해 RPC가 일반 벤치마크와 세밀한(fine-grained) 벤치마크 모두에서 최신 기술 수준(state-of-the-art)의 성능을 달성함을 입증한다.
본 논문에서는 멀티모달 자동 음성 인식(ASR)을 위해 대규모 언어 모델(LLM) 기반으로 생성된 슬라이드 덱을 포함하는 Spoken Wikipedia Corpora의 확장판인 Spoken Wikipedia Presentation Corpus를 소개합니다. 슬라이드는 LLM 기반 콘텐츠 기획과 규칙 기반 디자인 결정을 결합한 하이브리드 파이프라인을 사용하여 LLM이 분할한 섹션으로부터 제작됩니다. 각 섹션에 대해 LLM은 슬라이드 제목, 글머리 기호(bullet points), 핵심 메시지(takeaway message), 그리고 삽화를 생성하는 데 사용되는 시각적 설명을 생성합니다. 이후 규칙 기반 매칭을 통해 레이아웃, 테마, 스타일을 선택하여 최종 슬라이드를 제작합니다. 비전 LLM은 슬라이드 텍스트를 Markdown 형태로 추출합니다. 여러 ASR 및 음성 언어 모델(SLM)을 평가한 결과, 최고 성능의 모델은 오디오 전용 입력에서 평균 10.23%의 마이크로 WER과 6.48%의 마이크로 CER을 달성했습니다. 영어의 오류율이 가장 낮았고 독일어와 네덜란드어가 그 뒤를 이었으며, 저자원 언어 전반에서는 성능이 저하되었습니다. 오디오 전용 베이스라인이 강력하지만, 옴니(omni) 모델의 멀티모달 제로샷(zero-shot) 프롬프팅은 여전히 어려운 과제로 남아 있습니다. 정렬된 슬라이드, 텍스트 및 오디오 데이터는 크로스 모달 컨텍스트를 통해 인식 성능을 향상시킬 수 있는 강력한 잠재력을 보여줍니다.
자연스러운 음성-시각 상호작용은 정교하게 작성된 텍스트 프롬프트(prompt) 대신 사용자가 음성과 시각 정보를 통해 소통할 수 있도록 지원하며, AI 어시스턴트의 중요한 인터페이스로 부상하고 있습니다. 그러나 상호작용 능력을 평가하는 기존 벤치마크(benchmark)들은 여전히 응답 품질에 주로 초점을 맞추고 있어, 복잡한 멀티모달 상호작용에서 모델(model)이 사용자의 기저 요구를 올바르게 추론(inference)할 수 있는가라는 보다 근본적인 질문을 충분히 탐구하지 못하고 있습니다. 실제 환경에서 사용자의 요구는 음성에서 불완전하게 표현되는 경우가 많으며, 멀티모달 단서와 대화 이력으로부터 추론되어야 합니다. 이러한 추론은 모호하거나 비유창한 표현, 소음이 있는 음향 환경으로 인해 더욱 복잡해집니다. 반대로, 요청처럼 들리는 음성이 어시스턴트를 향한 실제 요구가 아닐 수도 있어 오작동(false trigger)을 유발하기도 합니다. 본 연구에서는 옴니 요구 이해(Omni Demand Understanding, ODU)를 독자적인 멀티모달 맥락 추론 문제로 정립합니다. 즉, 상호작용 스트림이 주어졌을 때 모델은 사용자 요구의 존재 여부를 감지하고 멀티모달 및 대화 맥락으로부터 의도를 추론해야 합니다. ODU는 단일 턴 및 다중 턴 상호작용을 모두 아우르는 5가지 차원에서 이 능력을 평가합니다. 본 연구는 난제 중심의 분류 체계, 분류 체계 기반의 에이전트(agent) 기반 비디오 생성, 인간이 녹음한 상호작용을 활용하고 미디어 기반 그라운딩(grounding) 주석 및 인간 검증을 거쳐 ODU-Bench를 구축합니다. 14종의 네이티브 MLLM을 평가한 결과, 가장 강력한 Gemini 3.1 Pro조차 시각, 음향 또는 대화 맥락에서 추론해야 하는 핵심 정보의 44.7%만을 복원하는 데 그쳤습니다. 또한 14개 모델 중 11개 모델이 요구가 없는 시나리오에서 50%가 넘는 오작동 비율을 보였습니다. 이러한 결과는 맥락적 사용자 요구를 추론하는 현재 MLLM의 능력에 체계적인 격차가 존재함을 드러냅니다. 본 연구는 ODU가 적절한 응답을 생성하기 전에 사용자 요구를 올바르게 이해하는, 멀티모달 상호작용에서 기존에 충분히 다뤄지지 않았으나 필수적인 능력에 대한 평가 체계를 확립하기를 기대합니다.
검증 가능한 중간 단계를 통해 멀티모달 추론을 평가하는 6,372개 인스턴스로 구성된 진단 벤치마크인 CRYSTAL(Clear Reasoning via Yielded Steps, Traceability, and Logic)을 소개합니다. 본 논문에서는 상호 보완적인 두 가지 지표를 제안합니다. 의미론적 유사도 매칭을 통해 단계별 정밀도(precision)와 재현율(recall)을 점수화하는 Match F1과, 순서가 뒤섞인 추론 연쇄에 추가적인 페널티를 부여하는 Ordered Match F1입니다. 참조 데이터는 네 개의 독립적인 멀티모달 대규모 언어 모델(MLLM)이 궤적을 생성하고, 이를 의미론적 클러스터링을 통해 취합한 뒤 사람의 품질 검증 단계를 거쳐 검증하는 델파이(Delphi) 기반 파이프라인을 통해 구축됩니다. 벤치마크 구축 시 사용되지 않은 상용 프론티어 시스템을 포함한 20개 MLLM을 평가한 결과, 답변 정확도만으로는 파악할 수 없었던 체계적인 실패 사례들이 드러났습니다. 즉, 보편적인 체리피킹(정밀도가 재현율을 크게 웃돎), 비단조적인 스케일링(scaling) 트레이드오프, 그리고 어떤 경쟁력 있는 모델도 매칭된 단계의 60%를 초과하여 올바른 순서로 유지하지 못하는 순서가 뒤섞인 추론 등입니다. 평가를 넘어, 본 연구에서는 답변의 정확성과 단계 수준의 정렬(alignment)을 결합하는 곱셈형 보상인 인과적 프로세스 보상(CPR)과 학습(training) 중 추론 난이도를 점진적으로 높이는 CPR-Curriculum을 제안합니다. CPR-Curriculum은 덧셈형 보상 전략이 실패하는 환경에서 GRPO를 통해 Match F1을 32% 향상시켰으며, 수작업 단계 주석 없이도 추론 능력을 개선합니다.
유해한 인터넷 밈의 확산은 심각한 사회적 위협이 되고 있으나, 밈 콘텐츠가 지닌 미묘하고 멀티모달한 특성 때문에 자동 분류는 여전히 매우 어려운 알고리즘적 과제로 남아 있다. 이를 해결하기 위해 본 논문에서는 밈 분류에 키워드 인식(keyword-aware) 접근법을 선도적으로 도입한 새로운 이중 목적(dual-objective) 프레임워크인 MemeTAG를 제안한다. 핵심 혁신은 두 부분으로 구성된 의미 가이던스 메커니즘이다. 첫째, 사전학습된 비전-언어 모델(Vision-Language Model)을 활용하여 고수준 의미를 포착하는 설명적 키워드 집합을 생성한다. 둘째, 이러한 키워드를 하나의 풍부한 의미 임베딩으로 압축하는 어텐션 기반 모듈인 ATIN(Aggregated Tag Inference Network)을 도입한다. 이 임베딩은 새로운 보조 재구성 손실의 타깃으로 사용되며, 모델이 시각적 특징과 텍스트 특징을 깊이 정렬하여 학습하도록 유도한다. 이러한 접근법은 효율적인 3단계 학습 전략과 결합되어 HarMeme, Hateful Memes Challenge(HMC), PrideMM 데이터셋에서 새로운 최고 성능(state-of-the-art)을 달성하며, 기존 최고 성능 방법들을 확연히 능가한다.
오디오-비디오 공동 생성 모델은 시각적 품질과 오디오-비디오 동기화 측면에서 상당한 진전을 이루었으나, 샷 전환이 일어나는 시점과 대사가 말해지는 시점에 대한 제어는 여전히 제한적이다. 이러한 한계는 타이밍 오류가 서사적 일관성과 시청 경험을 훼손할 수 있는 시나리오 기반 콘텐츠 제작에서의 활용을 제약한다. 현재의 공동 생성기는 공유된 시간 축 위에서 비디오와 오디오 표현을 정렬하지만, 구조화된 프롬프트에 명시된 샷과 대사의 정확한 타이밍은 프롬프트의 텍스트 표현에만 인코딩되어 있어 어느 모달리티의 시간 좌표와도 정렬되지 않은 채 남아 있다. 그 결과 비디오와 오디오는 서로 동기화된 상태를 유지하면서도 둘 다 시나리오 타임라인을 따르지 못할 수 있다. 이러한 불일치는 시간적 정렬을 비디오와 오디오를 넘어 구조화된 시나리오까지 확장해야 한다는 동기를 제공한다. 이에 우리는 시나리오 타이밍을 비디오·오디오 생성의 공유 시간 축에 매핑하고, 각 프롬프트의 가이던스를 두 모달리티의 해당 위치로 라우팅하는 Temporal Context Routing(TCR)을 제안한다. 200개의 테스트 시나리오에서 기준선과 비교했을 때, TCR은 Shot Boundary MAE를 1.11초에서 0.042초로 96% 감소시키고, Dialogue [email omitted] s를 28.3%에서 84.1%로 향상시킨다. TCR은 이러한 개선을 달성하면서도 시각적 품질과 오디오-비디오 동기화는 기준선과 비슷한 수준으로 유지한다. 사용자 연구에서도 참가자들은 평가된 다섯 가지 항목 모두에서 TCR을 선호하는 것으로 나타났다.
Computational recognition of verbal humour remains a challenging task, requiring an understanding of language, delivery style, emotions, and cultural context. Most existing approaches focus on binary classification and lack datasets that capture psychological dimensions of humour alongside variations in expression. We introduce MultiHuSE, a multimodal dataset comprising 2,407 high-definition videos of 50 demographically diverse actors performing 1,463 text samples across four psychological humour styles (affiliative, aggressive, self-enhancing, and self-deprecating), as well as neutral content. A subset is additionally annotated for underlying emotions. The dataset uniquely captures multiple actor interpretations of the same texts, enabling systematic analysis of expressive diversity. Baseline experiments show that multimodal fusion outperforms unimodal approaches (80.1% vs. 77.4% accuracy) in humour style classification, with particularly strong gains for affiliative humour (66% to 74%). While text provides the strongest individual signal, fusion models deliver meaningful improvements. We hope that MultiHuSE provides empirical support for psychological theories linking humour and emotion, while also opening new avenues for research in human communication, well-being, and AI-driven interaction. The dataset is available for academic use under an End-User Licence Agreement.
Recent work leverages Large Language Models (LLMs) to generate executable code for pedagogical animations using libraries such as Manim. However, ensuring spatial correctness and visual legibility remains challenging, as existing frameworks emphasize pedagogical content while overlooking geometric occlusions. We propose the Symbolic Geometric Agent (SGA), a plug-and-play module for code-centric animation pipelines that intercepts LLM-generated code, performs partial execution to extract symbolic scene graphs, and applies targeted refinement when spatial conflicts are detected. We further introduce the Manim Visual Quality Score (MVQS), a deterministic rendering-free proxy for spatial integrity. Experiments on the MMMC-Code benchmark across four LLM backbones and two agentic pipelines show that SGA achieves a peak MVQS of 73.11 (Code2Video + GPT-5.1), corresponding to a 16.1% relative improvement over the raw baseline, and improves MVQS in 7 of 8 backbone x pipeline configurations. Additionally, we conduct a human evaluation showing that these improvements translate into human preference, with raters preferring SGA over the raw baseline in 84.4% of comparisons and over a VLM-based critic in 65.0%.
멀티미디어 애플리케이션에는 수작업 또는 알고리즘으로 지정되는, 위치·구간·루프에 레이블을 붙인 정밀한 음악 어노테이션이 필요하다. 머신러닝 알고리즘은 확장성이 높고 효과적이지만 어노테이션된 학습 데이터가 필요하며, 이러한 데이터는 많은 태스크에서 부족하다. TimeCues Studio는 알고리즘 개발 팀이 음악 코퍼스에 어노테이션을 수행하고, 그 어노테이션을 기준으로 탐지 알고리즘을 비교하며, 새로운 알고리즘을 프로토타이핑할 수 있는 오픈소스 워크스페이스이다. 한 번에 하나의 트랙만을 대상으로 만들어진 기존 도구와 달리, TimeCues는 전체 컬렉션을 어노테이션하는 팀을 대상으로 하며 알고리즘 개발과 긴밀하게 통합되어 있다. 어노테이터는 모호성을 고려한 레이블링을 각각 지원하는 여러 종류의 마커를, 분리된 오디오 스템(stem)을 포함한 다양한 음악 특징을 시각화하는 그리드 고정형 타임라인 위에 배치한다. 이 동일한 타임라인은 기본 베이스라인이 포함된 알고리즘 비교 엔진, 새로운 모델을 프로토타이핑하기 위한 Python 샌드박스, 그리고 구조화된 필드를 반영하는 모호성 인지형 평가기를 구동한다. 이 동일한 시각화는 음악 동기화 프로젝트를 수행하는 개인 어노테이터에게도 적합하다. TimeCues는 MIT 라이선스로 공개되어 있으며 Docker Compose 명령 한 번으로 배포할 수 있다.
발작간 뇌전증모양 방전(IED)의 발생원 수준(source-level) 분석은 뇌전증모양 활동이 어디서 발생할 가능성이 높은지 특성화하는 데 도움을 주므로, 수술 전 평가 및 치료 계획 수립에 중요합니다. IED의 존재 여부를 감지하는 것을 넘어, 이러한 설정은 IED 양성 활동을 임상적으로 유의미한 뇌 영역 범주에 할당하는 것을 요구합니다. 짧은 뇌파(EEG) 윈도우 내의 발생원 영역 증거는 미세하고 부분적일 수 있으며, 피험자 간 변동성, 클래스 불균형, 불완전한 멀티모달 컨텍스트의 영향을 받기 때문에 이 설정은 까다롭습니다. 본 논문에서는 5개 클래스 발생원 수준 IED 분류(classification)를 위한 EEG 중심 멀티모달 바인딩 프레임워크인 EEGBind를 제시합니다. EEGBind는 EEG를 기본 모달리티로 취급하며, 동기화된 비디오 컨텍스트 특징을 EEG 중심 표현 주변에 바인딩합니다. 발생원에 민감한 EEG 표현을 왜곡할 수 있는 초기 융합이나 지나치게 강한 멀티모달 융합에 의존하는 대신, EEGBind는 비디오 컨텍스트를 강건한 분류를 위한 보조 증거로 활용합니다. 또한 학습된 발생원 클래스 경계를 보존하면서 히든셋(hidden-set) 강건성을 개선하기 위해 뷰 일관성 복구(view-consistent repair) 단계가 추가로 사용됩니다. NeuroMM 2026 Grand Challenge Track 3 NMM-Source-IED 벤치마크(benchmark)에서 EEGBind는 가중 F1(weighted-F1) 0.8395를 달성하며 강력한 경쟁 모델들을 능가합니다. 이러한 결과는 EEG 중심 멀티모달 바인딩이 발생원 수준 IED 분류를 위한 실용적인 전략임을 뒷받침합니다. 오픈 소스 코드는 https://github.com/HKUSTGZ-ML4Health-Lab/NeuroMM2026_IED_Detection 에서 확인할 수 있습니다.
현재 LRS3와 같은 오디오-비주얼 음성 인식(AVSR) 벤치마크는 깨끗하고 대본 기반의 연습된 발화에 크게 의존한다. 이들은 겹치는 발화, 자발적 턴 교대, 즉흥적 어휘, 가변적인 음향 조건을 포함하는 자연 대화의 복잡성을 반영하지 못한다. 분야를 현실적인 대화로 이끌기 위해, 1,656건의 자연스러운 이본 화상 회의로 구성된 CANDOR 코퍼스에서 파생된 대화형 벤치마크인 Candor-LR을 제안한다. 맞춤형 데이터 준비 파이프라인을 통해 학습, 검증, 테스트 데이터를 각각 713.5시간, 10.1시간, 60.1시간 규모로 구성한다. Candor-LR에서 사전학습된 AVSR 모델을 평가한 결과, LRS3에 비해 오디오 전용 정확도는 급격히 하락하지만, 시각적 단서가 효과적으로 보상하여 LRS3보다 Candor-LR에서 훨씬 더 큰 성능 향상을 이끈다. 또한 이 코퍼스에서 학습하면 현실적인 대화 데이터가 더 넓은 오디오-비디오 특징을 포착하기 때문에, 깨끗한 조건과 잡음 조건 모두에서 교차 도메인 견고성이 크게 향상된다. 재현성을 보장하기 위해 파이프라인을 오픈소스로 공개하며, Candor-LR을 대화형 AVSR을 위한 도전적인 벤치마크로 확립한다.
표준 LRS3 벤치마크에서 AVSR(음성-영상 인식)은 1% 미만의 단어 오류율을 달성했지만, 방송 음성에 대한 의존은 이것이 진정한 일반화를 반영하는지, 아니면 단순히 도메인 적응에 그친 것인지 불분명하게 한다. 이 격차를 조사하기 위해 우리는 여섯 가지 조건에서 세 가지 AVSR 아키텍처를 평가한다: 통제된 방송 음성, 고정 문법 발화, 과발음 Lombard 음성, 전문 및 비전문 립스피커의 낭독 음성, 자발적 다자간 영상 대화. 방송 도메인을 넘어서면 시각 전용 성능이 급격히 저하되며, 음성-영상 융합은 주로 Lombard 음성 환경에서 이득을 준다. 시각 이해는 90° 측면(profile) 시야에서 급격히 악화되고, 다중 모달 시스템은 대체로 음향 대체(fallback)에 의존한다. 또한 화자 발음은 사소한 카메라 이동보다 더 결정적이며, LLM 기반 아키텍처는 도메인 외 일반화가 취약하다. 본 연구는 현재 AVSR 연구의 상당한 일반화 격차를 강조한다. 이를 해결하기 위해 AVSR용 새 벤치마크 RoomReader-AV를 소개하고, 포괄적인 다중 조건 평가를 접근 가능하게 하기 위해 통합 데이터 전처리 파이프라인을 공개한다.
비디오 이해는 비디오 대규모 언어 모델(VideoLLM)을 중심으로 급속히 발전하였다. 이는 비디오 표현과 사전학습된 대규모 언어 모델을 결합하고, 텍스트 프롬프트에 생성을 조건부로 하는 시스템이다. 캡션 생성, 질의응답, 검색, 시간적 그라운딩에서의 우수한 성능은 프레임 수와 컨텍스트 길이에 따라 증가하는 연산 및 메모리 비용을 동반하며, 실시간·모바일·자원 제약 환경에서의 배포를 제한한다. 본 서베이는 시각 및 오디오-비주얼 VideoLLM에 대한 추론 효율성 메커니즘을 다루며, 매개변수 수, 입력당 FLOPs, 지연, 메모리, 또는 시각 및 오디오 토큰 수의 구체적 감소를 보고한 연구를 범위로 한다. 프레임 샘플링, 모달리티 인코딩, 커넥터 수준의 토큰 축소, LLM prefilling 및 decoding에 걸친 병목을 분석한다. 방법을 작용하는 파이프라인 단계별로 정리하며, 2022년 말 이후 개발된 VideoLLM과 현재 파이프라인의 구성 요소로 남아 있는 기존의 프레임 샘플링 및 비전 인코더 메커니즘을 함께 포함한다. 가능한 경우 공유 호스트 모델과 입력 프로토콜 하에서 문헌이 보고한 정확도-비용 비교를 모으고, 이를 이질적인 논문 간 증거와 구별하며, 오디오-비주얼 효율성 및 표준화된 평가의 공백을 식별한다. https://github.com/momentslab/awesome-efficient-videollm 에 저장소를 유지한다.
텍스트-이미지 확산 모델(text-to-image diffusion model)은 일반적으로 강력한 프롬프트 수행 능력을 보이지만, 객체만 다른 소수의 프롬프트가 동일한 생성 설정에서도 동일한 목표 개념을 일관되게 구현하지 못하는, 지속적이면서도 그동안 충분히 탐구되지 않은 실패 패턴을 확인하였다. 우리는 이 현상을 객체 의존적 개념 취약성(object-dependent concept brittleness)이라 명명한다. 이러한 사례는 무작위 샘플링 노이즈가 아니라 모델 내부의 체계적인 사각지대가 존재함을 시사한다. 본 논문에서는 이러한 실패를 감사(audit)하고 최소한으로 교정하기 위한 해석 가능성 중심의 프레임워크를 제시한다. 핵심 아이디어는 단계별 희소 오토인코더(sparse autoencoder, SAE) 공간에서 디노이징 궤적을 분석하는 것으로, 이 공간에서는 추상적인 스타일 및 속성 개념이 원래의 디노이징 표현에서보다 더 잘 분리된다. 이 희소 공간을 통해 성공한 생성과 실패한 생성을 비교하고, 근거가 누락되었거나 약해졌거나 시간적으로 지연된 개념 차원을 식별하며, 신뢰할 수 있고 클래스 일관성이 있는 샘플로부터 클래스 수준의 개념 프로토타입을 구성할 수 있다. 이러한 감사 과정을 바탕으로, SAE 공간에서 디노이징 특징을 해당 프로토타입 쪽으로 보간하는 경량의 추론 시점 교정 전략을 도입한다. 이 개입은 특정 과제를 위한 재학습 방법이 아니라, 진단된 개념 결핍에 대한 검증 역할을 한다. 우리는 여러 확산 백본에 걸친 스타일 및 속성 실패 사례에서 제안한 프레임워크를 평가하였으며, 개념 일관성, 텍스트 충실도, 교정 성공률이 크게 향상되었다. 추가 분석 결과, 더 깊은 디노이징 표현일수록 더 명확한 개념 구조를 제공하고, 초기 단계의 개입이 가장 강력한 교정 효과를 낸다는 점이 나타났다. 코드는 https://github.com/Metecade/Object-Dependent-Concept-Brittleness 에서 확인할 수 있다.