비디오 품질 평가(Video Quality Assessment, VQA)는 압축, 전송, 재생, 검색과 같은 다양한 응용에서 핵심적인 역할을 하지만, 실제 영상의 품질은 단순한 화질 열화만으로 결정되지 않기 때문에 매우 어려운 문제로 여겨집니다. 기존의 수작업 특징 기반 방법이나 판별적 학습 기반 모델은 주로 블러, 블로킹, 압축 손상과 같은 저수준 픽셀 왜곡에 집중해 왔으며, 영상이 담고 있는 장면 맥락이나 스타일적 의도까지 충분히 해석하지는 못했습니다. 반면 최근의 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 문맥 이해와 서술 생성에는 강점을 보이지만, 미세한 압축 아티팩트처럼 작은 품질 저하를 민감하게 포착하는 데에는 한계를 드러내는 경우가 많습니다. 이러한 간극을 메우기 위해 제안된 CP-LLM(Context- and Pixel-aware Large Language Model)은 영상의 고수준 문맥과 저수준 픽셀 왜곡을 분리해 이해하도록 설계된 새로운 멀티모달 구조입니다. 핵심적으로 이 모델은 두 개의 비전 인코더를 사용하여 하나는 장면의 의미와 콘텐츠 특성을, 다른 하나는 지역적 텍스처와 왜곡 양상을 독립적으로 분석하게 합니다. 이렇게 추출된 표현은 언어 디코더(Language Decoder)로 전달되어 서로 다른 수준의 시각 정보가 어떤 관계를 가지는지 추론하며, 그 결과 품질 점수와 해석 가능한 품질 설명을 동시에 생성합니다.
이 설계의 중요한 점은 VQA를 단순한 회귀 문제가 아니라, 맥락과 픽셀 단서를 함께 고려해야 하는 추론 문제로 재정의한다는 데 있습니다. 특히 의도적으로 어둡게 연출된 장면이나 스타일적인 블러처럼 콘텐츠 자체의 특성으로 보이는 요소와, 실제 열화로 인한 품질 저하를 구분해야 하는 사용자 생성 콘텐츠(User Generated Content, UGC) 환경에서 이러한 분리 학습은 큰 의미를 가집니다. 고수준 경로에는 시맨틱한 장면 이해에 강한 비전 인코더를, 저수준 경로에는 세밀한 왜곡 감지에 유리한 비전 트랜스포머(Vision Transformer, ViT) 계열 인코더를 사용함으로써, CP-LLM은 전체적인 영상 맥락과 미세한 압축 손상을 동시에 포착할 수 있도록 구성됩니다. 여기에 더해 품질 예측기(Quality Predictor)는 두 시각 경로의 표현을 결합해 절대 품질 점수를 산출하고, 언어 디코더는 프롬프트 기반 학습을 통해 시각적 내용, 스타일, 기술적 품질을 자연어로 풀어 설명합니다. 다시 말해 이 모델은 “얼마나 좋은가”와 “왜 그렇게 판단했는가”를 하나의 틀 안에서 함께 다루도록 설계되어 있습니다.
학습 단계에서도 이러한 목표는 그대로 반영됩니다. CP-LLM은 상대적 순위를 맞추는 pairwise ranking loss, 절대 점수를 예측하는 score regression loss, 그리고 설명 문장을 생성하는 autoregressive text generation loss를 동시에 최적화하여, 정량적 정확도와 정성적 해석 가능성을 함께 끌어올립니다. 실험에서는 LSVQ에 다양한 H.264 압축 변형을 추가해 학습한 뒤 여러 UGC 벤치마크에서 평가했으며, 그 결과 CP-LLM은 교차 데이터셋 환경에서 우수한 상관계수와 낮은 flip rate를 기록해 기존 방법들보다 더 안정적인 일반화 성능을 보여주었습니다. 특히 비슷한 콘텐츠 사이의 미세한 압축 차이를 구분하는 능력이 뛰어나, 픽셀 왜곡에 대한 민감도가 크게 향상되었음이 확인되었습니다. 종합하면 CP-LLM은 대규모 언어 모델의 문맥 이해 능력과 전통적인 VQA가 강했던 저수준 왜곡 감지를 결합함으로써, 설명 가능하면서도 강건한 비디오 품질 평가의 새로운 방향을 제시합니다.
Automatic soccer event spotting supports highlight generation, video indexing, and sports analytics, but existing methods depend on large annotated datasets and soccer-specific training. We present a zero-shot framework that detects, classifies, and temporally localizes events in full-length soccer broadcasts without task-specific parameter training. Each match is segmented into overlapping clips represented by a compact visual storyboard and the aligned commentary transcript, which a general-purpose multimodal model processes jointly. On three manually annotated matches containing 130 events, the best configuration achieves 72.0% F1@5s and outperforms SoccerNet-trained CALF and NetVLAD++ in a cross-dataset setting, while the storyboard representation reduces inference cost by 72% compared with individual frames. We further analyze the effects of model family, input representation, and prompt optimization, and introduce an evidence-grounded excitement-scoring stage that ranks detected events with natural-language explanations for highlight selection.
With the rapid development of multimodal large language models (MLLMs), evaluating their video understanding capabilities has become increasingly important. Existing video understanding benchmarks cover only part of the evaluation dimensions, limiting systematic diagnosis of omni-modal video understanding. We introduce OmniCompass, a holistic benchmark for omni-modal video grounding and understanding. OmniCompass defines two evaluation tracks: OmniCompass-VL assesses vision-language models on tasks requiring visual evidence, while OmniCompass-AV assesses omni-modal models on tasks requiring joint audio-visual evidence. Each track includes three complementary tasks: temporal grounding (TG), spatial grounding (SG), and question answering (QA), assessing when a referenced target appears, where it is, and what happens. QA covers five perception and three reasoning categories in OmniCompass-VL, and three perception and two reasoning categories in OmniCompass-AV. OmniCompass-VL contains 820 videos and 2,460 instances across domains and three duration types: short, medium, and long. A narrative- and audio-rich subset forms OmniCompass-AV with 240 videos and 720 instances. Each instance is evaluated under two paired settings: text-only and text+image, specifying the same target through text and visual-language guidance. All instances are manually annotated with multi-round quality verification. Evaluations of 50 MLLMs show that open-source models still lag behind proprietary counterparts, particularly in audio-visual understanding. Precise temporal and spatial grounding remains challenging even for leading models, and their predictions still exhibit inconsistencies across the paired target specifications.
Vision-language models (VLMs) struggle with metric and multi-view relationships that remain implicit in RGB observations. Geometry foundation models recover this structure from RGB, but existing methods either fuse the estimated features with visual tokens and learn to use them from question answering alone, or align VLM latents with geometry features. Capturing geometry, however, does not ensure its use: zeroing the aligned latents of a released feature-alignment model leaves its accuracy unchanged. We introduce GeoReader, a framework that learns geometric representations for the VLM that reads them. First, we train lightweight Geometric Readers to produce continuous input tokens, supervising them with geometry descriptions decoded by a frozen VLM, so that the Readers express geometry in a form the target model can already read. We then freeze the Readers to preserve this interface while fine-tuning the VLM on spatial QA, with geometry injection conditioned on the question. Geometry descriptions serve only as training targets: at inference, the VLM answers directly from the continuous geometric tokens without generating a geometry chain of thought. With geometry predicted from RGB images, our approach reaches 94.3 on MindCube-Tiny with Qwen3-VL-4B and, with a multi-source QA mixture, an average of 72.5 across six additional spatial benchmarks with Qwen3.5-9B. These results suggest that a useful geometric representation is one the receiving model can use, not merely one from which geometry can be reconstructed.
Annotator disagreement is increasingly recognized as a meaningful property of subjective tasks, rather than merely noise to be removed. Predicting which items are likely to be contested could help allocate annotation effort and route difficult cases to human review. We propose predicting disagreement from interpretable semantic properties of the text. An LLM answers a set of binary questions covering harmful-content characteristics, disagreement-related cues such as borderline severity and missing context, and language-sensitive cues such as local slurs. A classifier predicts disagreement from these answers, and we analyze which questions contribute most to the predictions. Across four datasets in English, German, and Turkish and three open-weight LLMs, our structured question features outperform direct prompting by 10.5 ROC-AUC points and the strongest text-based baselines by 5.0 points. A compact subset of eight questions performs within 1.5 ROC-AUC points of the full twenty-question set. In leave-one-dataset-out evaluation, models retain roughly 90-95% of their in-domain ROC-AUC. Across models and datasets, questions about derogation, missing context, and decision boundaries serve as the strongest predictors, suggesting that what makes harmful content contested is partly observable in the text.
Recent advances in video world models have enabled plausible interactive environments, yet long-horizon generation places a fundamental demand on visual memory: the previously observed world must remain consistent as the model continues to generate. Existing autoregressive approaches often implicitly rely on the generative model itself to retain such information, leading to spatial memory decay beyond the active context. We introduce World-T3, a camera-controlled video world model with a test-time training memory that consolidates past observations into dedicated model parameters. To robustly update this memory, we propose a recursive least-squares rule that incrementally absorbs novel visual features via online pose-keyed memory updates. Our TTT memory reads out previously observed scene features from the fast-weight state by camera pose, enabling consistent generation with constant storage and per-step computation regardless of rollout length. To facilitate real-time interactive generation with this robust memory, we further distill the autoregressive model into a few-step generator via dual-teacher distribution matching. On a long-horizon revisit benchmark, World-T3 raises revisit PSNR from 13.52 to 18.31 dB and reduces absolute rotation error from 3.344 to 1.075 relative to the strongest baseline on both metrics, while sustaining 20.6 FPS at 1280 x 704 on a single NVIDIA B200 GPU.
3D scene graph generation requires understanding both object semantics and metric spatial relations. However, existing open-vocabulary methods often struggle with spatial predicates because language similarity reflects semantic co-occurrence rather than explicit geometry. We propose GHOST, a Geometry-constrained Hybrid diffusion framework for Open-vocabulary 3D Scene graph generaTion. GHOST jointly models continuous node geometry and discrete edge predicates, following a geometry-to-constraint-to-predicate denoising process to ensure geometrically consistent relation prediction. It introduces language-grounded constraint induction, which maps predicate embeddings to differentiable geometric constraints that guide both layout refinement and predicate reweighting. A Geometry-Topology Collaborative Denoiser further couples node and edge reasoning through noise-adaptive interaction and orientation-aware modeling. Experiments on 3DSSG demonstrate state-of-the-art performance in both closed-set and open-vocabulary settings, including over 17-point gains over RelationField on spatial predicates.
Recent multimodal large language models (MLLMs) achieve strong results on video question answering, yet often fail to recover the temporal structure that makes a video coherent. They may merge neighboring events, miss single-event progression, or infer implausible relations across events. We study structured temporal understanding as the ability to recover event structure from visual evidence, including event boundaries, single-event progression, and multi-event relations. We argue that this gap arises from a mismatch between current post-training objectives and temporal reasoning, where caption-style supervision allows models to rely on language shortcuts rather than visual temporal grounding. To address this, we propose EventLens, a vision-centric reinforcement learning framework that learns video understanding through event-structure recovery. Instead of reconstructing captions, EventLens trains models to recover temporal structure under controlled perturbations, such as altered temporal granularity, reversed progression, and shuffled event order. We instantiate this framework with a three-level temporal ontology and derive three verifiable task families: event segmentation, progression discrimination, and multi-event relation reasoning. These tasks admit deterministic rewards, enabling task-specialized GRPO training without human preference labels or learned reward models. We further introduce multi-teacher on-policy distillation (MT-OPD) to consolidate specialized policies into a unified model. Experiments on Qwen3-VL backbones show consistent improvements on temporal grounding and event-sensitive reasoning benchmarks, while preserving general video-QA performance. Learning curves further demonstrate that EventLens achieves comparable downstream transfer with significantly reduced training cost compared to direct mixed RL optimization.
1시간 길이의 비디오, 스트리밍 피드, 영화 길이의 콘텐츠는 비전-언어 모델(VLM)을 한계 이상으로 몰아붙이고 있습니다. 각 프레임을 시각적 토큰으로 인코딩하는 표준 방식은 비디오 길이에 따라 선형적으로 증가하는 시퀀스를 생성하여 과도한 메모리 소비와 추론(inference) 지연을 유발합니다. 토큰 감소 및 키프레임 선택과 같은 기존 접근법은 토큰 시퀀스를 단축하지만 O(n) 스케일링을 그대로 유지하므로 근본적인 병목 현상을 해결하지 못합니다. 본 논문에서는 임의로 긴 비디오를 일정한 메모리 비용으로 고정된 크기의 시각적 표현으로 압축하는 놀랍도록 단순하며 학습(training)이 필요 없는 프레임 패킹 프레임워크인 FramePack-U를 제안합니다. FramePack-U는 미세조정(fine-tuning)이나 아키텍처 수정이 필요 없으며, 추론 시점에 기성 VLM에 직접 연결하여 사용할 수 있습니다. 생성 연구 분야의 FramePack에서 영감을 받아, 고정된 토큰 예산 하에서 시각적 이해를 위한 콘텐츠 인식 압축 전략을 제안합니다. 구체적으로 FramePack-U는 (1) 텍스트 프롬프트와의 의미론적 유사도를 바탕으로 각 프레임의 점수를 매기고 다양성을 고려한 방식으로 프레임 순위를 정하며, (2) 선택된 프레임을 다양한 해상도로 고정 길이의 컨텍스트 윈도우(context window)에 패킹합니다. 이를 통해 메모리 예산을 지시사항과 관련이 있으면서도 시각적으로 다양한 프레임에 집중시킵니다. 이론적으로 FramePack-U는 고정된 예산 내에 임의로 많은 수의 프레임을 패킹할 수 있지만, 다양한 환경에서 강력하게 일반화되는 경험적 구현 방식을 식별합니다. LongVideoBench, MLVU, Video-MME에 대한 광범위한 실험 결과, FramePack-U는 다양한 모델 제품군, 매개변수(parameter) 규모, 프레임 예산 전반에 걸쳐 전체 해상도 베이스라인 및 기존의 토큰 감소, 키프레임 선택 방법을 일관되게 능가함을 보여줍니다. 특히 128개 프레임 예산을 적용한 Qwen3.5-35B-A3B에서 FramePack-U는 세 가지 벤치마크에 걸쳐 공식 모델 대비 각각 +12.9%, +10.6%, +9.7%의 성능 향상을 달성했습니다.
멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.
상호작용형 장면 탐험(exploration)은 빈번한 뷰 업데이트를 요구하지만, 카메라의 작은 움직임에서는 가시적인 콘텐츠의 대부분이 보존됩니다. 그럼에도 불구하고 기존 3D Gaussian Splatting은 각 타깃 뷰를 매번 새로 렌더링하므로 이러한 이미지 중첩을 활용하지 못합니다. 이미 렌더링된 이미지를 재사용하는 것은 대안이 될 수 있습니다. 그러나 기하학적 워핑(geometric warping)만으로는 새롭게 노출된 콘텐츠를 복원할 수 없으며 깊이(depth) 오차에 민감하게 반응합니다. 본 논문에서는 인접한 뷰에 대한 반복적인 장면 렌더링을 상대적 포즈 기반의 RGB-D 이미지 재사용으로 대체하는 장면별(per-scene) 프레임워크를 제안합니다. 기하학적 워핑은 깊이와 상대적 포즈를 활용하여 소스 콘텐츠를 이동시키며, 경량 멀티스케일 네트워크는 RGB 잔차(residual)를 예측하여 아티팩트를 보정하고 누락된 외관을 추론합니다. 또한 캐시된 소스 피처를 통해 반복 계산을 더욱 줄입니다. GS-render에서 잔차 정제는 순수 워핑 대비 PSNR을 0.72 dB 향상시켰으며, 실제 캡처된 장면과 렌더링된 장면에 대한 평가를 통해 낮은 쿼리 지연 시간(latency)을 입증했습니다. 이러한 장면 렌더링과 국소 뷰 업데이트의 분리는 반응성이 뛰어난 장면 탐험을 지원하며, 증강 현실(AR) 및 가상 현실(VR) 분야로의 응용 가능성을 제시합니다.
유능한 비디오 편집기(video editor)를 구축하는 것은 비디오 생성기보다 여전히 훨씬 더 어렵습니다. 편집에는 주석 작업 비용이 지나치게 높고 대규모 합성이 어려운 (원본, 지시문, 편집본) 트리플렛(triplet)이 필요한 반면, 이미지 편집은 이미 수백만 개의 관련 쌍을 쉽게 활용할 수 있을 정도로 성숙 단계에 도달했습니다. 본 연구에서는 대규모 쌍을 이루는(paired) 비디오 편집 데이터의 필요성을 완화하면서, 문맥 내 시각적 시연(in-context visual demonstration)을 통해 이미지의 편집 능력을 비디오로 전이하는 통합 프레임워크인 VINCIE-NExT를 소개합니다. VINCIE-NExT는 비디오 편집을 구조화된 조합 가능한 하위 작업 체인(Video -> Image -> Image -> Video)으로 분해하여 편집 의도를 이미지 도메인으로 라우팅하며, 통합된 확산(diffusion) 목적식 하에서 이종 이미지 및 비디오 코퍼스로부터 확장 가능한 공동 학습(joint training)을 가능하게 합니다. 모델이 합성하거나 사용자가 제공한 이미지 편집 쌍은 모든 출력 프레임에 대한 공간적 외형 청사진 역할을 하는 문맥 내 시각적 시연으로 앞에 추가됩니다. 인터리브된(interleaved) 컨텍스트 전반에서 외형 편집을 그라운딩(grounding)하기 위해, 이미지 시연과 비디오 프레임을 공유된 공간 좌표계에서 연결하는 새로운 위치 인코딩(position encoding)을 도입하여 모든 출력 프레임으로 외형 변화가 픽셀 수준에서 충실하게 전파되도록 합니다. 또한 편집의 연쇄(Chain-of-Editing)는 원칙적인 테스트 시간 스케일링(test-time scaling)을 제공하여, 하위 작업 체인을 점진적인 확산 단계로 실행함으로써 재학습 없이도 추가 연산을 투입하여 편집 품질을 향상시킬 수 있습니다. OpenVE-Bench에서의 포괄적인 실험은 다양한 편집 범주 전반에서 최고 성능(SOTA)을 입증하며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성을 확인합니다.
최근 멀티모달 대규모 언어 모델(MLLM)은 감정 이해를 위해 설명 가능한 추론을 점점 더 많이 통합하고 있다. 그러나 주로 관찰 가능한 정서적 신호(affective cues)에 기반한 추론은 감정 이해를 표면적인 신호-레이블 연관 관계로 축소시켜 클레버 한스 효과(Clever Hans effect)를 초래할 수 있다. 이러한 지름길(shortcut)은 정서적 신호가 암묵적이거나, 모달리티 간에 상충하거나, 언어적으로 오도되거나, 불필요한 세부 사항에 의해 가려질 때 신뢰할 수 없게 된다. 반면, 인간의 감정은 관찰 가능한 신호를 넘어 개인이 주변 사건을 해석하고 평가하는 방식에 의해 형성된다. 감정의 평가 이론(appraisal theories of emotion)에서 영감을 받아, 우리는 멀티모달 감정 이해를 지각(perception)에서 인지적 평가(cognitive appraisal)로 나아가는 과정으로 정식화하고, 이 새로운 패러다임을 지원하기 위한 데이터셋, 모델, 벤치마크를 제시한다. CogEmo-40K는 지각에서 평가로 이어지는 파이프라인을 통해 구축된 대규모 인스트럭션 튜닝 데이터셋으로, 감정의 기저에 있는 여섯 가지 인지적 평가 차원에 걸쳐 근거 기반(evidence-grounded) 추론을 이끌어내도록 설계되었다. CogEmo-MoE는 평가별 적응(appraisal-specific adaptation)을 위한 교차 배치형(interleaved) MoE 블록을 도입한 소형 희소(sparse) MLLM으로, 일반적인 감정 MLLM보다 훨씬 작은 규모에서도 효과적인 평가 추론을 가능하게 한다. CogEmo-Bench는 여섯 가지 상호 보완적인 평가 차원에 걸쳐 인지-정서적 이해(cognitive-affective understanding)를 평가하기 위해 평가 근거 품질 점수(Appraisal Evidence Quality Score, AEQS)를 도입하며, 어떤 감정이 예측되었는지는 평가하지만 그 감정이 왜 발생했는지는 평가하지 못하는 기존 감정 평가 지표의 한계를 해결한다. 광범위한 실험을 통해 우리의 패러다임이 CogEmo-Bench에서 선두를 차지할 뿐만 아니라 강력한 도메인 간 일반화(cross-domain generalization) 성능도 보인다는 것을 확인했다. 우리의 연구 결과는 지각에서 평가로 이어지는 추론이 표면적인 신호-레이블 연관 관계를 넘어 더 신뢰할 수 있는 멀티모달 감정 이해로 나아가고, MLLM과 인간 간의 인지적 정렬(cognitive alignment)을 더 가깝게 할 수 있음을 시사한다.
개방형 어휘 오디오-비주얼 이벤트 로컬라이제이션(Open-Vocabulary Audio-Visual Event Localization, OV-AVEL)은 학습 중에 전혀 본 적 없는 클래스를 포함하여 각 비디오 세그먼트에 이벤트 클래스를 레이블링하는 작업이다. 지배적인 파이프라인은 고정된(frozen) 멀티모달 파운데이션 모델(예: ImageBind)을 사용하여 시각 프레임, 오디오 멜-스펙트로그램(mel-spectrogram), 그리고 각 후보 클래스 이름을 공유 공간에 임베딩한 뒤, 각 세그먼트에 대해 각 클래스와의 두 가지 코사인 유사도, 즉 시각-텍스트 유사도와 오디오-텍스트 유사도를 계산한다. 기존 방법들은 이 두 값을 고정된 규칙(기하평균, 가중평균)으로 하나의 스칼라 점수로 축약한 뒤 argmax를 취한다. 반면 본 연구에서는 복소수 값 유사도를 계산하고, 복소수 값 신경망(Complex-Valued Neural Network, CVNN)을 사용하여 이들의 융합을 학습한다. 각 모달리티의 표준 표현은 우리 파이프라인의 실수부가 되며, 짝을 이루는 동반 스트림이 허수부를 제공한다. 우리는 시각 모달리티에 대해 iHSV의 허수부를, 오디오 모달리티에 대해 CycleGAN으로 변환된 위상 스펙트로그램(phase spectrogram)을 이러한 동반 스트림으로 사용한다. 그 결과 두 개의 복소수 유사도가 생성되며, 이들이 다시 융합된다. 비전 인코더와 오디오 인코더는 고정된 상태를 유지하는 반면, 시간적 어텐션(temporal-attention) 블록과 융합 CVNN만 학습된다. 4-스트림 복소수 아키텍처는 두 OV-AVEL 벤치마크 모두에서 새로운 최신 성능(state of the art)을 달성한다. OV-AVEBench의 open(미본 클래스, unseen-class) 분할에서 우리는 Acc/Seg-F1/Event-F1 기준 66.5/59.1/54.1%를 달성했으며(기존에 보고된 파인튜닝 기준선 대비 +1.6/+4.1/+6.6), 본 클래스(seen classes)에 대해서도 일관된 성능 향상을 보였다. 또한 이 과제를 위해 AVE 데이터셋을 수정하였으며, 우리의 아키텍처가 Acc/Seg-F1/Event-F1 기준 60.7/51.9/50.4%를 달성하여 이 데이터셋에서도 최신 OV-AVEL 성능을 기록함을 확인했다. 아울러 기준선 대비 큰 성능 향상을 보이는 2-스트림 대안도 제안한다.
우리는 전문가 지식, 표현 학습(representation learning), 선호도 적응형 모델링을 통합한 자동화된 미학적 무대 조명 디자인을 위한 새로운 시스템인 AuraLuxMuse를 제시한다. 라이브 공연 환경에서의 조명 디자인은 음악적 특징을 동적인 조명 동작으로 매끄럽게 변환해야 한다. 그러나 전통적인 작업 흐름은 여전히 시간이 많이 소요되고 노동 집약적이며 전이하기 어렵다. AuraLuxMuse는 음악과 전문적인 큐 시퀀스를 공유된 검색 공간(retrieval space)으로 인코딩하고, 큐 이벤트 밀도를 추정하며, 선택된 조명 기구(fixture) 명령을 목적지 무대에 맞게 재조정(retarget)한다. 이 시스템은 디자이너를 제약 없는 생성기로 대체하는 것이 아니라, 편집 가능한 큐를 반환함으로써 사전 제작(pre-production) 단계의 저작을 지원한다. AuraLuxMuse의 핵심에는 두 가지 주요 모듈이 있다: 오디오와 조명 큐 간의 정렬을 위해 대조 학습(contrastive learning)을 수행하는 조명-정렬 음악 사전학습(Lighting-Aligned Music Pretraining, LAMP)과, 스타일별 전문가 네트워크로 구성된 게이팅된 앙상블을 통해 디자이너의 의도에 따라 선호도를 인지하는 큐 검색과 적응을 조건화하는 선호도 적응형 전문가 혼합(Preference-Adaptive Mixture of Experts, PAMoE)이다. 학습과 평가를 지원하기 위해, 우리는 다양한 공연 시나리오에서 짝지어진 음악 오디오와 전문적인 조명 큐 시퀀스로 구성된 최초의 데이터셋인 Musilux를 소개한다. 우리는 가상 시뮬레이션 환경과 전문가급 실험실 모두에서 AuraLuxMuse를 평가한다. 객관적 평가와 주관적 평가를 포함한 실험 결과는 AuraLuxMuse가 시각적으로 일관되고 의미적으로 유의미하며 예술적으로 표현력 있는 무대 조명 큐를 검색하고 적응시킨다는 것을 보여주며, AI 지원 미학적 무대 디자인에 대한 그 잠재력을 시사한다.
최신 디코더 전용 대규모 언어 모델(LLM)은 광범위한 도메인에서 강력한 역량을 입증해 왔습니다. 그러나 글로스 프리(gloss-free) 수어 번역(SLT)을 위한 기존 사전학습 패러다임은 대부분 전통적인 인코더-디코더 기반 사전학습 언어 모델을 중심으로 설계되어 있어, 디코더 전용 LLM에 직접 적용하는 데 한계가 있습니다. 이러한 한계를 해결하기 위해 계층적 사전학습, 타깃 도메인 검색-증강(retrieval augmentation), 검색 인식 강화 미세조정(fine-tuning)을 결합한 통합 프레임워크인 SignRAG를 제안합니다. 계층적 사전학습은 먼저 언어학적으로 기반을 둔(linguistically grounded) 수어 표현을 학습한 후 수어 인코더와 LLM을 공동으로 정렬하여 모달리티 간 최적화 불균형을 완화합니다. 다운스트림 적응을 위해 SignRAG는 매개변수 기반 미세조정을 인스턴스별 번역 단서를 제공하는 타깃 도메인 검색 갤러리로 보완합니다. 나아가 검색된 컨텍스트가 적절하게 활용되도록 번역 품질 보상과 검색 유용성 보상을 결합하여 유익한 검색 활용은 장려하고 유해한 의존은 억제하는 검색 유용성 유도 강화 미세조정(RUG-RFT)을 도입합니다. 여러 SLT 벤치마크에서의 실험을 통해 새로운 최고 성능(SOTA)을 달성했습니다. 특히 우리가 아는 한, SignRAG는 CSL-Daily에서 보고된 모든 평가 지표에 걸쳐 글로스 지도(gloss-supervised) 방식을 능가한 최초의 글로스 프리 접근법입니다. 향후 학술 연구를 지원하기 위해 다양한 크기의 모델과 함께 코드가 \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}에 공개되었습니다.
숏폼 동영상 팩트체크의 핵심 과제는 검증 결론을 뒷받침하기에 충분한 증거가 무엇인지 식별하는 것입니다. 기존 접근 방식은 검증 모델에 사용 가능한 모든 증거를 제공하여 노이즈를 유발하거나, 주제 적합성을 기준으로 증거를 선택하여 관련성과 충분성을 혼동합니다. 본 연구에서는 중복 없이 확신 있는 판정을 내리기에 증거의 부분집합이 적절한지를 나타내는 '증거 충분성(evidential sufficiency)'을 선택 기준으로 규정합니다. 또한 시각적 키프레임, 음성 전사본, 웹 검색 기반 외부 출처에 걸친 5,510개의 멀티모달 증거 단위와 3단계 판정 주석(지지됨, 반박됨, 불충분함)을 포함하는 195개의 숏폼 동영상 벤치마크인 MiniVer-V를 소개합니다. 아울러 내부 증거로부터 평가되는 주장-동영상 일관성과 외부 증거의 뒷받침을 추가로 요구하는 사실 판정 결정을 분리하는 2단계(two-layer) 검증 프레임워크를 제안합니다. 이 프레임워크 위에서 충분성 기반 탐욕 알고리즘(greedy search)은 충분성 임계값을 충족할 때까지 증거를 수집하며, 판정을 강제하기보다는 후보 풀이 소진되었을 때 '불충분함'을 출력합니다. Claude Sonnet 4를 사용했을 때, 제안 방법은 평균 4.5개의 증거 단위(전체 증거 집합의 16%)만을 사용해 Macro-F1 0.510에 도달하여 전체 증거 기준선(27.7개 단위로 0.518)과 통계적으로 구별되지 않는 성능을 달성하는 동시에, 기권(abstention)이 없는 동일한 탐색 대비 불충분 사례에 대한 인식을 크게 개선했습니다. 이러한 효율성 결과는 GPT-5.5에서도 재현되었으나, 오픈 가중치 Qwen2.5-72B 검증 모델에서는 부분적으로만 유지되었습니다. 절제 연구(ablation study) 결과, 외부 증거는 사실 판단에 필수적인 반면 내부 동영상 증거는 주장-동영상 일관성을 바탕으로 판정의 근거를 마련(grounding)하는 것으로 나타났습니다. 이러한 결과는 증거 효율적인 검증이 실현 가능하며, 증거가 실제로 불충분할 때는 명시적인 기권이 필요함을 시사합니다.
대규모 언어 모델(LLM)의 평생 편집(Lifelong editing)은 편집을 획득한 후 수천 개의 편집 사항을 저장해야 합니다. 널리 사용되는 접근 방식 중 하나는 편집마다 하나의 LoRA 어댑터를 부착하는 것으로, 이는 동작을 보존하지만 저장 공간이 선형적으로 증가합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 각 LoRA 어댑터를 획득한 후 압축하는 기법인 LadderEdit을 제안합니다. 각 편집은 먼저 저순위(low rank)의 저렴한 스케치 형태로 저장됩니다. 그런 다음 프로브 프롬프트에서 이 스케치가 재작성, 일반화, 국소성(locality) 계약을 여전히 만족하는지 확인합니다. 통과한 편집은 스케치를 유지하며, 실패한 편집은 계약이 충족될 때까지 사다리를 따라 더 높은 순위로 승격됩니다. 모든 편집이 일정 수준의 표현을 유지하므로 커버리지가 유지되며, 까다로운 편집만이 더 많은 순위를 소비합니다. LLaMA-3-8B, Mistral-7B, Qwen2.5-7B를 대상으로 한 ZsRE, CounterFact, WikiBigEdit 벤치마크 전반에서 LadderEdit은 정확한 LoRA 저장 공간을 5.2배 적은 메모리로 추적하며, 50,000개의 순차적 편집에서도 효과적인 성능을 유지합니다.
임상 진단은 본질적으로 순차적이다: 임상의는 추가 증거가 진단 불확실성을 해소할 것으로 예상될 때만 저비용 검사에서 고비용 검사로 단계를 높인다. 우리는 이러한 비용 인지 순차적 논리를 멀티모달 의료 AI에 적용하는 프레임워크인 ActiveMedAgent를 제시한다. 고정된(frozen), API로 접근 가능한 비전-언어 모델이 주어졌을 때, ActiveMedAgent는 후보 진단에 대한 확률 분포를 추적하고, 각 획득(acquisition)을 단계별 진단 유용성에서 비용을 뺀 값으로 점수화한다. 이후 경량 MLP 컨트롤러가 이렇게 점수화된 궤적들에 대해 오프라인으로 학습되어, 언제 추가 증거를 요청하고 언제 확정할지를 학습한다. 일반적으로 사용되는 세 가지 벤치마크 전반에서, 궤적 기반 정책 학습은 가이드 없는 획득 방식과 전체 모달리티 기준선 모두를 꾸준히 능가한다. 특히 우리는 정보 과부하(information overload) 효과를 발견했다. 175건의 사례에서 에이전트는 더 적은 채널로도 올바른 진단을 내리는 반면 전체 모달리티 기준선은 실패하며, 이는 무엇을 생략할지 학습하는 것이 무엇을 획득할지 학습하는 것만큼 중요할 수 있음을 보여준다.
우리는 자연스러운 대화 맥락에서 실제 또는 합성된 음성 응답의 음성 미학(voice aesthetics)을 설명하는 음성 대규모 언어 모델(speech LLM)인 Conversational Voice Aesthetic Model(CVAM)을 소개한다. 맥락(context)과 응답 음성이 주어지면, CVAM은 해당 음성을 특징짓는 주요 순간들을 설명하고 성별, 음높이(pitch), 속도(pacing), 감정, 전달 방식(delivery)에 걸친 9개의 범주형 속성을 예측한다. 핵심 과제는 감정 및 전달 방식과 같은 지각적 영역에 있는데, 이러한 영역은 본질적으로 주관적이며 명확한 정답(ground truth)이 존재하지 않는다. 이를 위해 우리는 CANDOR 코퍼스에서 파생된 3,000개의 실제 및 합성 응답 각각에 대해 약 10개의 인간 어노테이션을 수집한다. CVAM은 합성된 미학적 설명과 레이블에 대해 지도 파인튜닝(supervised finetuning)된 후, 인간 판단을 바탕으로 Group Relative Policy Optimization을 통해 최적화된다. 실험 결과, CVAM은 Gemini 3.1 Pro 및 오픈소스 음성 LLM보다 인간 청취자와 더 높은 일치도를 보였으며, 단일 인간과 나머지 인간들 간의 일치도(single-human-vs.-rest agreement)보다도 우수한 성능을 나타냈다. 종합적으로, 우리는 음성 미학을 인간의 지각에 그라운딩하는 것의 중요성을 입증하고, 인간 정렬(human alignment)을 위한 체계적인 프레임워크를 제안한다.