PyTorchKR Papers

최신 논문

총 423편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.00069v1cs.CV

SAMP: Self-Adaptive Margin Prioritization For Robust Diffusion Watermarking

Diffusion models have made high-fidelity visual generation widely accessible, while also lowering the barrier to producing convincing visual forgeries and complicating content provenance. Existing watermarking methods typically use a fixed embedding strength throughout denoising or treat all watermark dimensions equally. As a result, they may introduce unnecessary distortion when some watermark dimensions are already reliable, while failing to sufficiently reinforce those that are more vulnerable to subsequent perturbations. Therefore, robust watermarking requires adapting both the embedding strength during denoising and the optimization priority across watermark dimensions. To address this problem, we present SAMP, a self-adaptive framework consisting of global margin regulation and vulnerability-sensitive allocation. Global margin regulation adjusts the embedding strength according to the separation between the target codeword and competing codewords, together with the estimated effects of common attacks. Vulnerability-sensitive allocation identifies watermark dimensions that are more easily weakened by local perturbations and gives them higher optimization priority. Experimental results demonstrate that SAMP achieves an average information recovery accuracy of 0.993. Compared with state-of-the-art methods, SAMP improves PSNR by 16.8% and reduces LPIPS by 47.1%. These results validate the effectiveness of SAMP for reliable and high-quality diffusion watermarking.

arXiv:2611.00031v1cs.CV

공기 저항과 코트 기하를 이용한 단안 배드민턴 속도 추정

Monocular Badminton Speed Estimation with Air Drag and Court Geometry

단일 카메라는 추가 정보 없이는 가까이에서 느리게 움직이는 물체와 멀리서 빠르게 움직이는 물체를 구별할 수 없다. 셔틀콕의 경우 공기 저항이 강한 감속 단서를 제공하며, 이를 알려진 코트 기하와 결합할 수 있다. 본 연구는 스마트폰 영상에 중력과 항력을 반영한 궤적을 피팅하고, 자유 단안 피팅과 네트 평면을 통과하도록 제약한 피팅을 비교한다. 카메라 보정에는 코트 라인을 사용하며, 궤적은 강건한 비선형 최소제곱법으로 관측된 셔틀콕 위치와 프레임 타임스탬프에 피팅한다. 두 번의 촬영 세션에서 얻은 드롭 샷, 드라이브, 하프 스매시, 스매시를 포함한 배드민턴 샷 51개를 평가하였다. 네트 평면 피팅은 항력 기반 스테레오 기준값과의 절대 속도 차이 중앙값을 13.3%에서 8.6%로 줄였다. 항력 모델 없이 삼각측량된 위치를 미분하여 얻은 두 번째 기준값에서도 네트 평면 피팅의 차이 중앙값이 더 작았다. 이 결과는 단일 카메라로 배드민턴 속도를 추정할 때 코트 기하와 비행 역학을 결합하는 접근을 뒷받침한다.

arXiv:2610.10448v2cs.MM

MemoCare: 자동화된 인지 선별 검사를 위한 대화형 멀티모달 모바일 시스템

MemoCare: An Interactive Multimodal Mobile System for Automated Cognitive Screening

MemoCare는 영어와 베트남어로 자동 다중 모달 인지 선별 검사를 수행하는 React Native 기반 모바일 시스템이다. 이 시스템은 음성, 시간 및 공간 지남력, 터치스크린 상호작용, 시공간 구성 과제를 통합한다. Google Speech-to-Text 전사문은 과제별 결정론적 규칙으로 채점된다. GPS에 기반한 현재 및 과거 행정 지명은 위치 채점을 지원하고, 터치 이벤트는 행동을 검증하며, 경량 합성곱 신경망은 그림을 평가한다. 별도의 모델은 시각적 해석을 제공한다. 소프트웨어 검증에서는 사전에 정의된 언어, 공간 응답, 터치 채점 회귀 사례 151/151건과 4개국에 걸친 고정 좌표 공간 테스트 48/48건을 통과하였다. 전사문 기반 테스트는 음성 인식 정확도를 제외한다. 고정된 71장의 이미지 시험 집합에서 검증 기준으로 선택된 ShuffleNetV2 x1.5는 평균 균형 정확도 91.33%, 세 가지 기준 모두 일치하는 정확도 78.87%를 달성하였다. 공저자인 임상의 4인은 워크플로를 평가하였으며(8개 기준 통합 중앙값 4/5, 항목별 중앙값 3-4.5), 음성 처리, 응답 수용, 결과 투명성에서 개선이 필요함을 지적하였다. 이 워크플로는 문항별 점수와 총점을 자동으로 산출한다.

arXiv:2606.25547v2cs.CV

공간-주파수 협업 및 비가역 메커니즘을 갖춘 효율적인 교차 스케일 가역 은닉 네트워크

Efficient Cross-Scale Invertible Hiding Network with Spatial-Frequency Collaboration and Non-Invertible Mechanism

기존 가역 신경망(INN) 기반 이미지 은닉 방법들이 단일 스케일·단일 도메인 특징 추출과 제한된 비선형 표현으로 화질 저하를 겪는 문제를 해결하기 위해, CrosInv는 픽셀 셔플과 Haar 웨이블릿 변환을 활용한 교차 스케일 가역 모듈(CIM)과 비가역 교차 밀집 모듈(NCDM)을 결합해 공간-주파수 협업 특징과 향상된 비선형 표현을 동시에 달성한다. COCO, ImageNet, BOSSBase 세 가지 벤치마크 데이터셋에서 수행한 실험을 통해 기존 ISN, HiNet, StegFormer, StarINN 대비 우수한 이미지 품질 및 스테그분석 저항성을 검증하였다.

arXiv:2507.01652v2cs.CV

선형 복잡도를 갖는 자기회귀 이미지 생성: 공간 인식 감쇠 관점

Autoregressive Image Generation with Linear Complexity: A Spatial-Aware Decay Perspective

자기회귀(AR) 모델은 대규모 언어 모델의 기반이 되는 것과 동일한 다음 토큰 예측 원리로 시각 토큰을 모델링할 수 있어, 최근 이미지 생성을 위한 유망한 패러다임으로 부상하였다. 그러나 경쟁력 있는 대부분의 AR 이미지 생성기는 여전히 Transformer 어텐션에 의존하며, 어텐션의 토큰 간 상호작용 비용은 이차적이고 키-값 캐시는 계속 증가하므로 고해상도 시각 시퀀스에서는 점점 더 비용이 커진다. 선형 어텐션은 효율적인 AR 생성을 위한 매력적인 경로를 제공하지만, 본 연구는 언어 모델링의 선형 어텐션이나 감쇠 기반 어텐션을 그대로 도입하면 뚜렷한 품질 저하가 발생함을 보인다. 우리는 핵심 원인을 규명한다. 2D 토큰 맵을 래스터 스캔으로 평탄화하면 1D 시퀀스의 지역성이 더 이상 공간적 지역성을 충실히 반영하지 못하며, 기존 감쇠 메커니즘은 행이 전환되는 지점에서 거짓 지역성 편향을 유발할 수 있다. 이 문제를 해결하기 위해 우리는 선형 복잡도를 유지하면서 원래의 2D 토큰 기하 구조에 따라 감쇠를 조절하는 단순한 순환 어텐션 메커니즘인 공간 인식 감쇠 선형 어텐션(LASAD)을 제안한다. 이 계층을 기반으로 하는 LASADGen은 AR 이미지 생성기의 표준 어텐션을 공간 인식 선형 어텐션으로 대체한다. ImageNet 실험 결과, LASADGen은 선형 어텐션 기준 모델보다 생성 품질을 향상시키는 동시에 Transformer 기반 AR 모델에 비해 추론 비용과 메모리 사용량을 줄여 품질과 효율 간의 우수한 균형을 달성함을 보인다.

arXiv:2611.02680v1cs.SD

VioTech: 다중 스케일 전문가 혼합을 이용한 프레임 수준 바이올린 연주 기법 검출

VioTech: Frame-Level Violin Playing Technique Detection with Multi-Scale Mixture-of-Experts

연주 기법은 표현력 있는 바이올린 연주에 필수적이지만, 바이올린 기법 검출 모델은 거의 존재하지 않는다. 현재의 시스템은 주로 음표 수준 파이프라인에 의존하여 먼저 음표 경계를 추정한 뒤 기법을 분류한다. 이는 부드러운 시작과 연속적인 활-현 상호작용으로 인해 음표 분할이 신뢰하기 어려운 바이올린과 같은 찰현악기에서 특히 문제가 된다. 본 논문에서는 명시적인 음표 분할 없이 10 ms 해상도로 기법을 직접 예측하는 프레임 수준 바이올린 기법 검출 프레임워크 VioTech를 제안한다. 기법 간의 큰 시간 스케일 변동을 다루기 위해, VioTech는 고정된 MERT 인코더를 다중 스케일 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처 및 음색, 아티큘레이션, 레가토 관련 예측을 위한 과제별 라우팅과 결합한다. 또한 실제 독주 녹음으로부터 구축된 최초의 수작업 주석 바이올린 연주 기법 데이터셋인 VioTech120과 이에 수반되는 음표 레이블링 사용자 인터페이스를 소개한다. 결과는 VioTech가 기존 방법 대비 일관된 향상을 달성하고 데이터셋 간 일반화를 크게 개선하여, 바이올린 기법 인식 전사에서 새로운 최고 성능을 확립했음을 보여 준다.

arXiv:2610.41011v1cs.CV

기저-이득 표현을 통한 사전 정보 기반 단일 노출 HDR 새로운 시점 합성

Prior-Guided Single-Exposure HDR Novel View Synthesis via Base-Gain Representation

단일 노출 하이 다이내믹 레인지(HDR) 새로운 시점 합성(NVS)은 단일 노출로 촬영된 로우 다이내믹 레인지(LDR) 뷰로부터 HDR 장면을 복원하고, LDR 재노출을 위한 카메라 응답 함수(CRF)를 추정한다. HDR 정답이 없는 상태에서 단일 노출 LDR 뷰를 유일한 직접 지도 신호로 사용하면 HDR 복원이 충분히 제약되지 않아 충실한 복원을 보장할 수 없으며, 이는 학습된 LDR-HDR 복원 사전 정보의 필요성을 낳는다. 또한 단일 노출 LDR 뷰는 제한된 범위에서만 CRF를 지도하므로, 그 범위를 넘는 신뢰할 수 있는 재노출을 위해서는 학습 가능한 사전 정보가 필요하다. 우리는 두 과제를 모두 해결하는 3D 가우시안 스플래팅 프레임워크 PriorGS를 제안한다. (1) 2D 단일 노출 HDR 복원 방법으로부터 얻은 의사 HDR 지도로 HDR 복원을 유도하되 폐쇄 복원 루프를 통해 입력 LDR 뷰에 고정하고, (2) 단조성을 보장하고 그럴듯한 응답을 촉진하는 학습 가능한 사전 정보로 CRF 모델링을 정규화한다. 그러나 독립적으로 생성된 의사 HDR 목표의 뷰 간 불일치는 HDR을 가우시안의 색상 속성으로 직접 인코딩할 때 장면 복원을 해친다. 따라서 우리는 HDR 방사도를 LDR 기저와 그 위에 덧씌워지는 3D 이득 필드로 분해하는 3D 기저-이득 HDR 표현을 도입하여, 이러한 불일치에 대한 강건성을 높이고 3D HDR 외관 편집을 가능하게 한다. 폭넓은 실험을 통해 PriorGS가 기준 모델보다 크게 우수함을 입증한다.

arXiv:2610.40883v1cs.AI

오디오 거대 언어 모델의 멀티모달 음성 감정 인식에 대한 불일치 인식 평가

Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models

음성 상호작용형 거대 언어 모델은 화자가 무엇을 말하는지와 어떻게 말하는지를 모두 처리하지만, 두 채널이 항상 일치하는 것은 아니다. 우리는 이러한 불일치가 음성 감정 인식을 저하시키는지 묻는다. 텍스트와 오디오를 공유된 감정가-각성도-지배도 공간에 사상하고, 두 표현 사이의 거리를 2성분 가우시안 혼합을 통해 연속적이고 임계값이 없는 불일치 점수로 변환하며, 이 점수를 인간의 판단에 대해 검증한다. 우리는 연기된 음성, 대화 음성, 자발적 음성(eNTERFACE'05, MELD, CMU-MOSEI)에 대해 오디오를 처리할 수 있는 세 모델을 평가한다. 모달리티 전반에서 모델을 고정했을 때, 정답 감정과 특징 공간에서의 거리를 통제한 후에도 오디오가 존재하는 한 모든 코퍼스에서 불일치가 오류의 오즈를 높인다. 동일한 특징으로 학습한 지도 분류기는 반대로 행동하는데, 이는 어려움이 신호 자체가 아니라 이들 모델이 원시 증거를 결합하는 방식에 있음을 시사한다. 텍스트 전용 효과는 신뢰할 수 없다. 전사문을 읽는 모델만 교체해도 한 코퍼스에서 그 부호가 뒤바뀐다. 감정 어휘 사전 없이 점수를 재구성해도 핵심 결과가 재현되며, 여섯 가지 더 단순한 대안 중에서는 세 코퍼스 모두에서 오류를 예측하는 유일한 무레이블 점수이다. 코드, 데이터 표, 프롬프트를 공개한다.

arXiv:2609.12769v3cs.AI

복잡성과 창의성 수준을 아우르는 통합 에이전트 기반 영상 편집

Unified Agentic Video Editing Across Levels of Complexity and Creativity

편집은 영상 제작의 핵심 구성 요소로, 창의적 기획과 여러 제약 조건 하에서의 의사결정을 요구한다. 본 논문에서는 편집 목표, 복잡성, 창의성이 서로 다른 세 가지 과제, 즉 장면 미리보기, 영상 요약, 영화 예고편에 걸쳐 자동 영상 편집을 위한 에이전트 도구 방법을 보고한다. 우리는 출력물을 평가하고 자동화와 주체성에 대한 함의를 논의한다.

arXiv:2605.00826v2cs.IR

텍스트-비디오 검색의 성능 정체 이해하기: 포괄적인 실증 및 언어학적 분석

Understanding the Performance Plateau in Text-to-Video Retrieval: A Comprehensive Empirical and Linguistic Analysis

텍스트-비디오 검색은 사용자가 자연어 질의로 관련 비디오 콘텐츠를 찾을 수 있게 해 주며, 온라인 비디오의 급격한 확산과 함께 중요성이 점점 커지고 있는 과제이다. 지난 6년간 듀얼 인코더, 어텐션 기반 모델, 멀티모달 융합 접근법 등 수많은 방법이 연구되었으나, 모델 동작, 데이터셋의 영향, 질의 난이도에 관한 근본적인 질문은 여전히 남아 있다. 본 연구에서는 통합된 전처리 및 평가 프레임워크 아래에서 널리 사용되는 3개 데이터셋에 걸쳐 14개의 최신 검색 방법을 평가한다. 우리는 길이, 명확성, 의미 범주, 행동 대 장면의 균형을 포함한 캡션 특성을 분석하고 이를 모델 성능과 연결한다. 연구 결과, 단일 행동이나 색상 속성을 묘사하는 것과 같이 짧고 명확하며 단순한 캡션은 더 높은 재현율을 보인 반면, 복잡한 사건, 다단계 활동, 세밀한 장면 묘사는 기존의 모든 모델에게 여전히 어려운 것으로 나타났다. 어텐션 기반 아키텍처는 시간적으로 의존적이거나 다단계인 질의를 더 잘 처리하는 반면, 듀얼 인코더와 멀티모달 융합 모델은 주로 더 단순하거나 단일 범주의 캡션에서 좋은 성능을 보인다. 데이터셋 간 일반화는 더 크고 다양한 캡션 집합에서 향상되지만, 생성된 캡션이 검색 정확도를 일관되게 높이지는 않는다. 종합하면, 본 연구의 결과는 핵심적인 데이터셋 요인, 벤치마크의 과제, 질의 내용과 모델 아키텍처 간의 상호작용을 부각하며, 더 효과적인 텍스트-비디오 검색 시스템을 개발하기 위한 지침을 제공한다.

arXiv:2609.30238v2cs.CL

SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data

Recent research on Multimodal Sentiment Analysis (MSA) has focused on learning from language, visual, and acoustic modalities with incomplete data to infer human sentiment. Most studies typically compensate for missing information by reconstructing modality features or designing complicated fusion mechanisms. However, these methods still suffer from spurious generation and noisy guidance due to the lack of high-level semantic grounding in partially observed multimodal evidence. To address these issues, we propose SemMSA, a latent semantic-aided framework that constructs rich sentiment-relevant semantics with LLMs, fully integrating with all modalities via anchor-free spectral alignment. It mainly consists of Cross-modal Semantic Refinement (CSR) and Cross-modal Spectral Alignment (CSA). Specifically, CSR first adaptively extracts visual and acoustic representations by corresponding adapters to form a unified multimodal prefix with language in the frozen LLM embedding space. It then iteratively produces continuous discriminative semantic states through a token-efficient latent refinement process without decoding explicit text. Next, CSA simultaneously aligns the refined semantics with all modalities by enhancing the dominant spectral component of their kernel Gram matrix. This captures global nonlinear dependencies among all representations without relying on a predefined anchor modality. In addition, an instance-level spectral separation constraint preserves cross-sample discriminability and mitigates representation collapse. Extensive experiments on SIMS, MOSI, and MOSEI benchmarks demonstrate that SemMSA achieves state-of-the-art performance.

arXiv:2501.12060v3cs.CV

GSVC: Efficient Video Representation and Compression Through 2D Gaussian Splatting

In this work, we explore 2D Gaussian splat as a new primitive for representing and compressing videos, showing its promise as an alternative to traditional signal-based primitives. We introduce GSVC, a new Gaussian splatting-based video codec that incorporates common techniques used in classical video codecs to exploit temporal redundancy between nearby frames. In GSVC, each frame is represented by a set of overlapping Gaussian splats, which, when rendered together, approximate the original frame. Gaussian splats for the first frame and subsequent frames following scene changes (called anchor frames) are learned from scratch, while the remaining frames (called propagation frames) are initialized from the Gaussian splats of their previous frames and then fine-tuned. Scene changes are detected through loss differences during the training process. To capture large motion or newly appeared objects, we randomly add Gaussian splats to propagation frames before fine-tuning. GSVC supports a knob for rate-distortion trade-offs through controlling the number of Gaussian splats for each frame. Gaussian splats with low contributions to the frame quality can be removed during training. GSVC supports two-pass encoding by propagating the Gaussian splats from a future propagation frame back to an anchor frame, further improving the video quality for challenging video scenes. To achieve efficient compression, GSVC uses a residual-based Gaussian splats quantization framework that encodes only changes to the Gaussian parameters between frames. Experimental results show that GSVC achieves rate-distortion performance comparable to state-of-the-art video codec implementations for AV1 and VVC. GSVC inherits the advantages of Gaussian splatting in rendering, allowing it to achieve the rendering speed of 1500 fps for a $1920\times 1080$ video. Project page: https://longanwang-cs.github.io/gsvc/.

arXiv:2610.38252v1eess.AS

A Tutorial on Generative Models for Music Audio

Music audio generation spans instrumental clips, full songs with vocals, edits of existing recordings, and systems that play alongside a musician in real time. This monograph explains the methods behind these systems for readers familiar with neural-network training who are new to music generation. It introduces neural audio codecs and autoencoders, autoregressive and masked token models, diffusion and flow matching, sampling acceleration, and preference optimization in a shared notation. Worked examples connect training objectives and sampling procedures to published systems. The application sections relate the musical requirements of instrumental generation, songs, editing, and live performance to model design. Comparison tables record representations, methods, inputs, tasks, and release information documented in papers and official sources. Symbolic composition, speech, and sound effects are included where they connect to music audio. We explain how to interpret automatic metrics and learned judges, design and report listening tests, and assess evidence about data provenance, memorization, attribution, and output detection. Selected legal decisions and disputes illustrate the implications for training and release. The reviewed systems combine established generative paradigms with new representations, planning stages, and post-training procedures. Differences in data, scale, and evaluation limit what cross-system comparisons can establish about the sources of reported gains.

arXiv:2610.38639v1cs.CR

Enhanced image forensics through partial C2PA-based provenance information

Cryptographically verifiable C2PA-based Content Credentials (CCs) can be attached to freshly acquired or generated digital images but also to already existing ones with no previous provenance information, for instance after processing through trusted C2PA-enabled software tools. The latter case leads to images with so-called partial CCs, which capture only the last operations applied, while prior provenance remains unknown and can be investigated through signal forensics. This paper addresses the forensic analysis of such images, highlighting the opportunity to leverage the partial CCs as additional trusted knowledge to adapt forensic detectors towards the statistical characteristics of the image under analysis and mitigate potential distribution shifts. To this end, a two-step strategy is envisioned: (i) reconstructing the operations applied by the last signer through a structural analysis of the partial CCs; (ii) exploiting the obtained reconstruction to enhance the forensic detector of the analyst through an adaptation process. An empirical analysis on partial CCs produced by commercial C2PA-enabled software tools through different editing operations is carried out, providing evidence on the feasibility of the reconstruction in practical cases. An experimental case study on the forensic task of synthetic image detection is then presented, showing that the proposed strategy can significantly enhance the performance of state-of-the-art detectors on test images that are postprocessed via C2PA-enabled software tools after being generated/acquired.

arXiv:2507.08801cs.CV

Lumos-1: On Autoregressive Video Generation from a Unified Model Perspective

Lumos-1은 최소한의 구조 변경으로 기존 대형 언어 모델(LLM) 아키텍처를 유지하면서 자기회귀 방식의 비디오 생성을 구현한 모델입니다. 3D RoPE(Position Embedding) 기법을 확장한 MM-RoPE를 도입해 다중 모달 시공간 데이터의 주파수 스펙트럼을 효과적으로 모델링하며, 프레임 내 양방향성과 프레임 간 인과성을 고려한 토큰 의존성 전략을 사용합니다. 공간 정보 중복으로 인한 프레임별 손실 불균형 문제는 AR-DF(Autoregressive Discrete Diffusion Forcing)라는 시간적 튜브 마스킹 기법으로 해결하여 품질 저하 없이 학습 효율을 높였습니다. 48개의 GPU만으로도 효율적인 사전학습이 가능하며, 여러 벤치마크에서 경쟁력 있는 성능을 입증하였습니다.

arXiv:2506.15677cs.AI

Embodied Web Agents: Bridging Physical-Digital Realms for Integrated Agent Intelligence

현재 AI 에이전트는 주로 디지털 정보 탐색과 물리적 환경 상호작용 중 하나에 집중되어 있어, 두 영역을 통합한 복합적인 문제 해결에 한계가 있습니다. Embodied Web Agents는 이러한 물리적 체현(embodiment)과 웹 기반 대규모 추론을 유기적으로 연결하는 새로운 패러다임을 제안합니다. 이를 위해 3D 실내외 환경과 웹 인터페이스를 통합한 시뮬레이션 플랫폼과 다양한 실제 과제를 포함하는 벤치마크를 개발하여, 물리적·디지털 영역 간 협업 능력을 체계적으로 평가합니다. 실험 결과는 최신 AI 기술과 인간 능력 간 큰 성능 격차를 보여주며, 체현 인지와 웹 지식 접근의 융합 분야에서 도전과 기회를 동시에 제시합니다.

arXiv:2506.10857cs.CV

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

VRBench는 대규모 모델의 다단계 추론 능력을 평가하기 위해 설계된 최초의 긴 내러티브 비디오 벤치마크로, 기존 평가에서 간과된 시간적 추론과 절차적 유효성을 다룹니다. 이 벤치마크는 평균 1.6시간의 길이를 가진 960개의 비디오와 8,243개의 인간 라벨링 다단계 질문-답변 쌍, 25,106개의 타임스탬프가 있는 추론 단계를 포함하고 있습니다. VRBench는 일관된 추론 체인을 생성하는 인간-AI 협업 프레임워크를 개발하였으며, 다양한 유형의 추론을 평가하기 위한 다단계 평가 파이프라인을 설계했습니다. 12개의 대형 언어 모델(LLM)과 19개의 비디오 언어 모델(VLM)에 대한 광범위한 평가를 통해 다단계 추론 분야의 발전을 위한 귀중한 통찰을 제공합니다.

arXiv:2505.20296cs.CL

Reasoning LLMs are Wandering Solution Explorers

대규모 언어 모델(LLM)은 체인 오브 사고(Chain-of-Thought) 프롬프트와 트리 기반 추론과 같은 테스트 시간 계산(TTC) 기법을 통해 인상적인 추론 능력을 보여주고 있다. 그러나 현재의 추론 LLM(RLLM)은 체계적으로 해결 공간을 탐색하는 능력이 부족하다고 주장한다. 이 논문은 체계적인 문제 해결의 정의를 공식화하고, 추론 LLM이 체계적인 탐색자가 아닌 방황하는 탐색자임을 드러내는 일반적인 실패 모드를 식별한다. 여러 최신 LLM에 대한 정성적 및 정량적 분석을 통해, 잘못된 추론 단계, 중복 탐색, 환각적이거나 불신적인 결론과 같은 지속적인 문제를 발견하였다. 이러한 결과는 현재 모델의 성능이 간단한 작업에서는 유능해 보일 수 있지만, 복잡성이 증가함에 따라 급격히 저하될 수 있음을 시사한다. 따라서 최종 출력뿐만 아니라 추론 과정의 구조를 평가하는 새로운 메트릭과 도구의 필요성을 주장한다.

arXiv:2505.16025cs.CV

CP-LLM: Context and Pixel Aware Large Language Model for Video Quality Assessment

비디오 품질 평가(Video Quality Assessment, VQA)는 압축, 전송, 재생, 검색과 같은 다양한 응용에서 핵심적인 역할을 하지만, 실제 영상의 품질은 단순한 화질 열화만으로 결정되지 않기 때문에 매우 어려운 문제로 여겨집니다. 기존의 수작업 특징 기반 방법이나 판별적 학습 기반 모델은 주로 블러, 블로킹, 압축 손상과 같은 저수준 픽셀 왜곡에 집중해 왔으며, 영상이 담고 있는 장면 맥락이나 스타일적 의도까지 충분히 해석하지는 못했습니다. 반면 최근의 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 문맥 이해와 서술 생성에는 강점을 보이지만, 미세한 압축 아티팩트처럼 작은 품질 저하를 민감하게 포착하는 데에는 한계를 드러내는 경우가 많습니다. 이러한 간극을 메우기 위해 제안된 CP-LLM(Context- and Pixel-aware Large Language Model)은 영상의 고수준 문맥과 저수준 픽셀 왜곡을 분리해 이해하도록 설계된 새로운 멀티모달 구조입니다. 핵심적으로 이 모델은 두 개의 비전 인코더를 사용하여 하나는 장면의 의미와 콘텐츠 특성을, 다른 하나는 지역적 텍스처와 왜곡 양상을 독립적으로 분석하게 합니다. 이렇게 추출된 표현은 언어 디코더(Language Decoder)로 전달되어 서로 다른 수준의 시각 정보가 어떤 관계를 가지는지 추론하며, 그 결과 품질 점수와 해석 가능한 품질 설명을 동시에 생성합니다. 이 설계의 중요한 점은 VQA를 단순한 회귀 문제가 아니라, 맥락과 픽셀 단서를 함께 고려해야 하는 추론 문제로 재정의한다는 데 있습니다. 특히 의도적으로 어둡게 연출된 장면이나 스타일적인 블러처럼 콘텐츠 자체의 특성으로 보이는 요소와, 실제 열화로 인한 품질 저하를 구분해야 하는 사용자 생성 콘텐츠(User Generated Content, UGC) 환경에서 이러한 분리 학습은 큰 의미를 가집니다. 고수준 경로에는 시맨틱한 장면 이해에 강한 비전 인코더를, 저수준 경로에는 세밀한 왜곡 감지에 유리한 비전 트랜스포머(Vision Transformer, ViT) 계열 인코더를 사용함으로써, CP-LLM은 전체적인 영상 맥락과 미세한 압축 손상을 동시에 포착할 수 있도록 구성됩니다. 여기에 더해 품질 예측기(Quality Predictor)는 두 시각 경로의 표현을 결합해 절대 품질 점수를 산출하고, 언어 디코더는 프롬프트 기반 학습을 통해 시각적 내용, 스타일, 기술적 품질을 자연어로 풀어 설명합니다. 다시 말해 이 모델은 “얼마나 좋은가”와 “왜 그렇게 판단했는가”를 하나의 틀 안에서 함께 다루도록 설계되어 있습니다. 학습 단계에서도 이러한 목표는 그대로 반영됩니다. CP-LLM은 상대적 순위를 맞추는 pairwise ranking loss, 절대 점수를 예측하는 score regression loss, 그리고 설명 문장을 생성하는 autoregressive text generation loss를 동시에 최적화하여, 정량적 정확도와 정성적 해석 가능성을 함께 끌어올립니다. 실험에서는 LSVQ에 다양한 H.264 압축 변형을 추가해 학습한 뒤 여러 UGC 벤치마크에서 평가했으며, 그 결과 CP-LLM은 교차 데이터셋 환경에서 우수한 상관계수와 낮은 flip rate를 기록해 기존 방법들보다 더 안정적인 일반화 성능을 보여주었습니다. 특히 비슷한 콘텐츠 사이의 미세한 압축 차이를 구분하는 능력이 뛰어나, 픽셀 왜곡에 대한 민감도가 크게 향상되었음이 확인되었습니다. 종합하면 CP-LLM은 대규모 언어 모델의 문맥 이해 능력과 전통적인 VQA가 강했던 저수준 왜곡 감지를 결합함으로써, 설명 가능하면서도 강건한 비디오 품질 평가의 새로운 방향을 제시합니다.

arXiv:2610.37583v1cs.CV

Zero-Shot Multimodal Event Spotting in Soccer Broadcasts

Automatic soccer event spotting supports highlight generation, video indexing, and sports analytics, but existing methods depend on large annotated datasets and soccer-specific training. We present a zero-shot framework that detects, classifies, and temporally localizes events in full-length soccer broadcasts without task-specific parameter training. Each match is segmented into overlapping clips represented by a compact visual storyboard and the aligned commentary transcript, which a general-purpose multimodal model processes jointly. On three manually annotated matches containing 130 events, the best configuration achieves 72.0% F1@5s and outperforms SoccerNet-trained CALF and NetVLAD++ in a cross-dataset setting, while the storyboard representation reduces inference cost by 72% compared with individual frames. We further analyze the effects of model family, input representation, and prompt optimization, and introduce an evidence-grounded excitement-scoring stage that ranks detected events with natural-language explanations for highlight selection.