PyTorchKR Papers

최신 논문

총 425편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.00447v1cs.AI

고정된 장면, 뒤바뀌는 1위: 텍스트-to-3D 평가에서의 구성 취약성

Frozen Scenes, Shifting Winners: Configuration Fragility in Text-to-3D Evaluation

생성된 모든 장면이 고정되어 있을 때도 텍스트-to-3D(Text-to-3D) 리더보드의 순위가 바뀔 수 있을까요? 본 논문에서는 카메라 설정과 캡션 문구가 측정 프로토콜의 일부가 되는 렌더링 이미지 평가를 대상으로 이 질문을 검증합니다. 6개의 생성기에서 얻은 300개의 고정된 장면에 대해 19개의 정렬(alignment) 평가기와 1개의 지각적 품질 대조군을 대상으로 8가지 렌더링 및 캡션 요인을 변화시킨 후, 4가지 목표 장면 저하를 테스트합니다. 17/19의 정렬 평가기에서 최대 구성 분산이 생성기 간 분산을 초과했으며, 11/19에서는 프롬프트 부트스트랩 하한이 1을 넘었습니다. 순위는 점수보다 안정적이지만, 18/19의 평가기에서 특정 구성에 따라 점수 추정치 기준 1위가 바뀌었습니다. 쌍별 프로토콜 마진 엔벨로프는 테스트된 설정 전반에서 어떤 비교가 방향성을 유지하는지 보여줍니다. 선택된 일부 쌍은 반대 방향의 점별 구간을 갖지만, 전체 탐색에 대한 동시 추론(simultaneous inference)에서 유의미하게 유지되는 역전은 없습니다. 따라서 관찰된 1위 변화는 기술적(descriptive)인 것일 뿐, 생성기 우수성의 확정된 변화는 아닙니다. 민감도는 별개의 문제로 남습니다. 프롬프트가 없는 대조군을 포함해 어떤 평가기도 레이아웃 뒤섞기에서 동점 조정 방향 판별력 67%를 넘지 못했으며, 이는 인간 검증 기준 진리값이라기보다는 진단적 성격에 가깝습니다. 본 검증은 점수 안정성, 결정 불확실성, 목표 민감도를 분리하여 분석하며, 프로토콜 의존적 비교 및 선택 편향을 고려한 불확실성과 함께 (생성기, 점수, 카드 ID)를 보고할 것을 권장합니다.

arXiv:2610.00359v1cs.GR

소프트 마스크를 활용한 디퓨전 편집: 조절 가능한 강도를 통한 이미지 및 비디오의 픽셀 단위 재작업

Diffusion Editing with Soft Mask: Pixel Level Redo of Image and Video with Adjustable Strength

프롬프트(prompt) 및 참조 이미지 기반 편집 기능을 갖춘 디퓨전 모델은 빠른 발전을 이루었으나, 픽셀 단위 제어에는 여전히 너무 거칩니다. 유망한 방향 중 하나는 공간적으로 다양한 편집 강도를 지정하는 소프트 마스크(soft mask)를 통합하는 것이지만, 이러한 세밀한 제어를 학습(training)하려면 비용이 많이 드는 픽셀 단위 주석이 필요하며 기존 제로샷(zero-shot) 방법은 만족스럽지 못한 결과를 낳는 경우가 많습니다. 본 논문에서는 원본 콘텐츠를 완전히 보존하는 것부터 마스크된 영역을 완전히 재합성하는 것까지 연속적인 스펙트럼의 편집을 가능하게 하는 소프트 마스크를 활용한 새로운 제로샷 샘플링 방법인 SoftPaint를 소개합니다. 제로샷 인페인팅(inpainting) 방법을 넘어, 픽셀별 소프트 마스크 강도를 준수하는 랑주뱅 반복(Langevin iteration) 기반 샘플러를 설계하였으며, 이는 이미지 및 비디오 디퓨전 모델에 보편적으로 적용되어 비디오 편집과 같은 작업을 가능하게 합니다. 이 방법은 그래디언트(gradient)가 필요 없고 메모리 효율적이며, 여러 이미지 및 비디오 백본 전반에서 매끄러운 픽셀 단위 편집을 달성합니다.

arXiv:2610.02010v1cs.CV

잠재 주파수 마스킹에 대한 생성형 이미지 워터마크의 취약점 탐색

Exploring Weaknesses of Generative Image Watermarks against Latent Frequency Masking

보이지 않는 워터마킹(invisible watermarking)은 AI 생성 이미지를 추적하는 핵심 도구가 되었으나, 적응형 제거 공격에 대한 견고성(robustness)은 여전히 미해결된 보안 과제로 남아 있습니다. 본 논문에서는 워터마크가 적용된 이미지의 잠재 표현(latent representation)에서 선택된 푸리에 계수(Fourier coefficients)를 대체하여 워터마크 흔적을 지우는 공격 방식인 잠재 주파수 마스킹(Latent Frequency Masking)을 소개합니다. 대체할 값은 효율성을 위해 가우시안 노이즈(Gaussian noise)에서 샘플링하거나, 이미지 보존성을 높이기 위해 확산 재성형(diffusion regeneration)을 통해 도출할 수 있습니다. 또한 재구성된 적대적 이미지와 마스킹된 잠재 주파수 섭동(perturbation) 사이의 변화를 연계하는 이론적 왜곡 경계(distortion bound)를 제시합니다. 제안된 공격 기법을 DiffusionDB 및 MS-COCO 프롬프트로 생성된 이미지에 대해 6가지 확산 워터마킹 방식을 대상으로 평가합니다. 잠재 주파수 마스킹은 시각적 품질을 보존하고 기존 공격 기법 대비 우수한 실행 시간을 달성하면서 여러 워터마크를 제거하거나 대폭 약화시킵니다. 이러한 결과는 잠재 주파수 조작이 실질적인 공격 표면(attack surface)임을 입증하며, 생성형 이미지 워터마킹의 견고성 평가에 이러한 공격을 포함해야 할 필요성을 강조합니다.

arXiv:2610.01388v1cs.CV

야생의 자기 움직임을 통한 음향 위치 파악의 지도 학습

Supervising Sound Localization by In-the-wild Egomotion

본 논문에서는 자기 움직임(egomotion)을 지도 신호로 활용하여 바이노럴 음향 위치 파악(binaural sound localization)을 학습하는 방법을 제시합니다. 비디오가 진행되는 동안 카메라가 움직임에 따라 음원(sound source)을 향한 카메라의 방향도 변화합니다. 우리는 다중 시점 기하학(multi-view geometry)의 전통적인 방법으로 얻은 카메라 움직임에 대한 시각적 추정치와 일치하도록 음향 방향을 예측하는 오디오 모델을 학습시킵니다. 이는 전통적인 바이노럴 단서와 결합할 수 있는 약하지만 풍부한 형태의 지도 신호를 제공합니다. 이 방법을 평가하기 위해, 자기 움직임이 포함된 실제 환경의 시청각 비디오 데이터셋을 제안합니다. 실험을 통해 본 모델이 실제 데이터로부터 성공적으로 학습할 수 있으며 음향 위치 파악 작업에서 우수한 성능을 발휘함을 보여줍니다.

arXiv:2610.00195v1cs.GR

GS-PQM: 압축된 Gaussian Splatting을 위한 매개변수 도메인 품질 메트릭

GS-PQM: A Parameter-Domain Quality Metric for Compressed Gaussian Splatting

최근 Gaussian Splatting(GS) 압축 분야의 발전으로 GS 모델 크기를 크게 줄일 수 있게 되었다. 따라서 압축 기법을 비교하고 더 효율적인 GS 코덱 개발을 이끌기 위해서는 신뢰할 수 있는 객관적 품질 평가가 필수적이다. 기존의 GS 품질 평가는 일반적으로 이미지 및 비디오 품질 메트릭에 의존하며, 사전에 정의된 시점(viewpoint)을 렌더링해야 하고 그 결과 품질 추정치가 선택된 시점에 의존하게 된다. 본 논문은 GS 매개변수 도메인에서 직접 동작하는, 사후 학습(post-training) GS 압축을 위한 새로운 완전 참조(full-reference) 품질 메트릭인 GS-PQM을 제안한다. GS-PQM은 지지 벡터 회귀(Support Vector Regression) 모델을 사용하여 일련의 매개변수 도메인 왜곡 오차로부터 지각적 품질을 추정한다. 실험 결과, GS-PQM은 압축된 GS 콘텐츠를 평가하는 데 있어 기존의 25개 이미지, 비디오, 포인트 클라우드 품질 메트릭을 능가하는 성능을 보이며, 렌더링 기반 품질 평가에 대한 정확하고 계산적으로 효율적인 대안을 제공한다.

arXiv:2603.20169v2cs.CV

EgoForge: 목표 지향적 1인칭 시점 월드 시뮬레이터

EgoForge: Goal-Directed Egocentric World Simulator

생성형 월드 모델(generative world model)은 동적 환경을 시뮬레이션하는 데 가능성을 보여왔지만, 1인칭 시점(egocentric) 영상은 빠른 시점 변화, 빈번한 손-객체 상호작용, 그리고 잠재적인 인간의 의도에 따라 전개가 달라지는 목표 지향적 절차로 인해 여전히 어려운 과제로 남아 있다. 기존 접근법들은 장면 전개가 제한적인 손 중심의 지시적(instructional) 합성에 초점을 맞추거나, 행동 역학(action dynamics)을 모델링하지 않는 정적 시점 변환(static view translation)을 수행하거나, 카메라 궤적(camera trajectory), 긴 비디오 프리픽스(prefix), 동기화된 다중 카메라 촬영과 같은 조밀한 지도(supervision)에 의존한다. 본 연구에서는 단일 1인칭 시점 이미지, 상위 수준의 지시문(instruction), 그리고 선택적인 보조 3인칭 시점(exocentric view)이라는 최소한의 정적 입력으로부터 일관된 1인칭 시점 비디오 롤아웃(rollout)을 생성하는 목표 지향적 1인칭 시점 월드 시뮬레이터인 EgoForge를 제안한다. 의도 정렬(intent alignment)과 시간적 일관성을 향상시키기 위해, 목표(goal), 시간적(temporal), 장면 일관성(scene-consistency), 지각적(perceptual) 보상으로부터 도출된 긍정적 및 부정적 롤아웃 분포를 사용하여 확산 속도장(diffusion velocity field)을 일관되고 목표를 완수하는 1인칭 시점 시뮬레이션으로 유도하는 궤적 수준(trajectory-level)의 확산 정제(diffusion refinement) 기법인 GRAFT를 제안한다. 광범위한 실험을 통해 EgoForge가 강력한 베이스라인(baseline) 대비 의미적 정렬(semantic alignment), 기하학적 안정성(geometric stability), 모션 충실도(motion fidelity) 측면에서 일관된 성능 향상을 달성하며, 실제 스마트 글래스 실험에서도 견고하게 동작함을 보여준다.

arXiv:2602.10639v2cs.CV

VideoSTF: 비디오 대규모 언어 모델의 출력 반복 스트레스 테스트

VideoSTF: Stress-Testing Output Repetition in Video Large Language Models

비디오 대규모 언어 모델(VideoLLM)은 비디오 이해 과제에서 강력한 성능을 달성했지만, 기존 벤치마크는 모델이 무엇을 예측하는지만 평가할 뿐 어떻게 생성하는가의 안정성은 거의 살펴보지 않았다. 우리는 VideoLLM에서 기존에 충분히 탐구되지 않은 생성 실패인 출력 반복(output repetition)을 드러낸다. 이는 디코더가 반복된 구문이나 문장의 자기강화 루프로 붕괴하는 현상이며, 이 실패 모드를 체계적으로 측정·스트레스 테스트·활용하기 위한 벤치마킹 프레임워크 VideoSTF를 제시한다. VideoSTF는 세 가지 상호보완적인 $n$-그램 기반 지표로 반복을 정형화하고, 10,000개의 다양한 비디오로 구성된 표준화된 테스트베드를 제공하며, 제어된 시간적 스트레스 요인 라이브러리를 제공한다. 10개의 최신 VideoLLM에 걸쳐 VideoSTF는 네 가지 핵심 발견을 드러낸다. (i) 반복은 교란되지 않은 비디오에서도 광범위하게 나타나며 일반적으로 사용되는 프레임 수에 걸쳐 안정적이고, 반복률은 최대 91%에 달한다. (ii) 경미한 중복부터 토큰 상한 루프까지 심각도 스펙트럼에 걸쳐 있으며, 시간적 교란에 의해 크게 증폭된다. (iii) 시간적 스트레스 요인은 실용적인 블랙박스(black-box) 공격 표면을 형성하여, 수십 회의 쿼리로 무해한 비디오를 반복적인 것으로 전환하고 높은 공격 성공률(최대 98%)을 보인다. (iv) 반복은 시각적 중복으로 설명되지 않으며, 그 증폭은 국소적 시간 교란을 따르고, top-$k$ 샘플링, 입력 필터링, 프롬프트 변형과 같은 일반적인 완화책 중에서는 반복 페널티만이 이를 줄이지만, 페널티를 높이면 시각적 그라운딩이 약화된다. VideoSTF는 생성 안정성을 VideoLLM을 위한 유용하고 상호보완적인 평가 축으로 재구성하며, 이를 연구할 도구를 제공한다. 프로젝트 페이지는 https://videostf.github.io/ 에서 확인할 수 있다.

arXiv:2609.26907v1cs.MM

작은 단서, 큰 결과: 멀티모달 밈 분류를 위한 핵심 단서 학습

Small Cues, Big Consequences: Learning Pivotal Cues for Multimodal Meme Classification

밈(Meme)은 작지만 결정적인 시각적, 텍스트적 또는 크로스모달 단서로부터 유해하거나 혐오적이거나 풍자적인 의미를 도출하는 경우가 많습니다. 기존의 멀티모달 분류기(multimodal classifier)는 주로 전역적(global) 이미지-텍스트 표현에 의존할 때 이러한 증거를 놓칠 수 있습니다. 본 논문에서는 유해성, 혐오, 풍자에 걸친 9,895개의 밈으로 구성되고 핵심 증거의 모달리티와 근거를 식별하는 주석을 포함한 단서 중심 벤치마크인 MemeCF를 소개합니다. 또한 밈 분류(classification)를 위한 국소-전역(local-global) 아키텍처인 MemePIVOT을 제안합니다. MemePIVOT은 동결된(frozen) CLIP 특징, 무관한 증거는 매칭되지 않은 채로 남겨두면서 단어와 이미지 패치를 정렬하기 위한 불균형 최적 수송(unbalanced optimal transport), 불확실성 하에서 국소적 그라운딩(grounding)과 전역적 밈 문맥을 결합하는 증거 기반 융합 헤드(evidential fusion head)를 사용합니다. HarMeme, PrideMM, MemeCF에 대한 실험 결과, 강력한 텍스트 전용, 이미지 전용, 멀티모달 및 비전-언어(vision-language) 베이스라인 대비 일관된 성능 향상을 보여줍니다. 교차 데이터셋(cross-dataset) 및 어블레이션 결과는 명시적인 핵심 증거 모델링이 견고성을 향상시키며 전역 멀티모달 표현을 넘어 의미 있게 기여함을 추가로 보여줍니다. 코드와 데이터셋(dataset)은 https://github.com/AkshitSharma1/MemePIVOT 에서 공개적으로 이용 가능합니다.

arXiv:2609.27959v1eess.IV

전참조 및 무참조 영상 품질 평가를 위한 보완적 구조 표현으로서의 지역 SVD-엔트로피 맵

Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment

우리는 2차원 영상 패치에서 직접 계산한 특이값의 섀넌 엔트로피에 기반한, 지각적 영상 품질 평가(IQA)를 위한 지역 스펙트럴 복잡도 표현을 연구한다. 각 $3\times3$ 픽셀 그레이스케일 패치에 대해 SVD를 직접 적용하고, 정규화된 특이값 엔트로피가 HSVD-맵 값 하나를 정의한다. 이 구성은 평탄화(flattening)나 지연 임베딩(delay embedding)을 필요로 하지 않으며, 경계 패딩(boundary padding)을 사용하지 않고, 지역 서술자 수준에서 $90^{\circ}$ 회전 및 거울 반사에 불변이다. Lena에 대한 중첩 salt-and-pepper 실험은 깨끗한 참조 영상에 대한 절대 유사도와 추가 열화 단계에 대한 민감도를 분리한다. HSVD-SSIM은 지역 손상에 더 강하게 반응하며, 심한 노이즈 수준에서 더 큰 이웃 상태(neighboring-state) 응답을 유지한다. 왜곡된 KADID-10k 영상 10,125장 전체에 대한 검증 결과, HSVD-SSIM은 단독 전참조(full-reference) 지표로는 기존 SSIM보다 약하다(SRCC $0.450$ vs. $0.619$), 그러나 결합하면 보완적이다: 그룹 교차 검증(grouped cross-validation)에서 SRCC가 $0.618$에서 $0.659$로 증가하며, 증가분에 대한 부트스트랩 95\% 신뢰구간은 $[0.036,0.046]$이다. 무참조(no-reference) 실험에서 HSVD 기반 단일 영상 서술자를 추가하면 최상의 비선형 모델의 SRCC가 $0.528$에서 $0.575$로 개선되고(95\% CI $[0.033,0.061]$), 이웃 왜곡 상태 간 품질 변화 예측도 개선된다. 이 결과는 직접적인 지역 SVD 엔트로피가 해석 가능한 구조 채널로서 기존 영상 도메인 유사도를 보완하고, 무손상 참조 없이도 유익한 정보를 제공함을 뒷받침한다.

arXiv:2609.27560v1cs.MM

시각적 품질이 오도할 때: 렌더링 아바타 왜곡 하의 의도 인식

When Visual Quality Misleads: Intent Recognition under Rendered Avatar Distortions

아바타 스트리밍 시스템은 흔히 이미지 및 비디오 품질 평가(IQA/VQA) 지표로 평가되며, 시각적 충실도를 의사소통 성공의 대리 지표로 암묵적으로 간주한다. 우리는 깨끗한(pristine) 조건과 기하학적·광도(photometric)·시간적·복합 왜곡 14가지에 걸친 렌더링 3D 아바타에 대한 통제된 행동 연구를 통해 이 가정을 검증한다. 59명의 참가자가 지각된 행동, 응답 확신도, 시각적 품질에 대해 2,688건의 판단을 제공했다. 이 데이터셋에서 Misleading Quality(오도적 품질)를, 평균 이상의 지각 품질은 유지하지만 행동 인식 정확도는 평균 이하인 왜곡 렌더링으로 정의한다. 또한 인식 정확도와 확신도를 결합한 행동 목표인 Intent Quality Score(IQS)를 도출한다. 126개의 왜곡 콘텐츠–조건 셀 중 31개(24.6%)가 Misleading Quality를 보였으며, 시간적·기하학적 왜곡이 각각 50.0%, 31.1%로 가장 높은 비율을 나타냈다. 결과는 왜곡 유형이 외관과 의사소통에 서로 다르게 영향을 미치는 품질–정확도 분리(quality–accuracy dissociation)를 드러낸다. 24개의 직접 채점 IQA/VQA 지표와 세 가지 지도 학습 특징 회귀 기준선에 걸쳐 IQS와의 정렬(alignment)은 제한적이었고, $\lambda=0.5$에서 최상의 leave-one-content-out 기준선은 PLCC $=0.4435$에 도달했다. 이 통제된 프로토콜 하에서 시각적 충실도만으로는 아바타 의사소통에 불충분하며, 의도 인식(intent-aware) 품질 평가와 스트리밍 목표를 동기 부여한다.

arXiv:2602.20159v4cs.CV

초대규모 비디오 추론(VBVR) 스위트

A Very Big Video Reasoning Suite

비디오 모델의 급격한 발전은 주로 시각적 품질에 초점을 맞춰 왔으며, 추론 능력은 상대적으로 충분히 탐구되지 않았다. 비디오 추론은 텍스트가 자연스럽게 포착하기 어려운 시공간적으로 일관된 시각 환경에 지능의 기반을 두며, 연속성, 상호작용, 인과성과 같은 시공간 구조에 대한 직관적 추론을 가능하게 한다. 그러나 비디오 추론과 그 스케일링(scaling) 거동을 체계적으로 연구하는 것은 대규모 학습 데이터 부족으로 어렵다. 이러한 공백을 메우기 위해, 원칙적인 분류체계에 따라 큐레이션된 200개의 추론 과제와 100만 개 이상의 비디오 클립을 아우르는 전례 없이 대규모인 Very Big Video Reasoning(VBVR) 데이터셋을 제안한다. 이는 기존 데이터셋보다 약 세 자릿수(약 1,000배) 더 크다. 또한 VBVR-Bench를 제시한다. 이는 규칙 기반·인간 정렬(human-aligned) 채점기를 통합하여 모델 기반 판정을 넘어서는 검증 가능한 평가 프레임워크로, 재현 가능하고 해석 가능한 비디오 추론 능력 진단을 가능하게 한다. VBVR 스위트를 활용하여 비디오 추론에 대한 최초의 대규모 스케일링 연구 중 하나를 수행하였고, 보지 못한 추론 과제에 대한 창발적(emergent) 일반화의 초기 징후를 관찰하였다. VBVR은 일반화 가능한 비디오 추론 연구의 다음 단계를 위한 토대를 마련한다. 데이터, 벤치마크 툴킷, 모델은 https://video-reason.com/?v=vbvr 에서 공개된다.

arXiv:2412.02575v3cs.CV공식 코드 · Papers with Code

원격 탐사 영상을 위한 카피-무브 위조 탐지 및 질의응답

Copy-Move Forgery Detection and Question Answering for Remote Sensing Image

토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.

arXiv:2609.27175v1cs.MM

이의 제기 경험의 기억 통합을 통한 자기 진화형 멀티미디어 검증

Self-Evolving Multimedia Verification through Memory Consolidation of Contestation Experiences

멀티미디어 검증은 정확한 판단뿐 아니라 추적 가능한 증거, 신뢰할 수 있는 인간의 수정, 그리고 선행 경험의 안전한 재사용을 요구한다. 기존 시스템은 종종 중간 추론을 수정하거나 유해한 지식 전이를 방지하는 명시적 메커니즘을 갖추지 못한다. 본 논문은 SEMV(Self-Evolving Multimedia Verification)를 제안한다. 이는 자기 진화형 다중 에이전트 프레임워크로, 출처 정보를 담은 논증(argument)을 증거, 추론, 인간의 이의 제기(contestation), 기억(memory) 사이의 인터페이스로 다룬다. SEMV는 아레나 기반 정량적 이분 논증(A-QBAF), 인과적·범위 제한(scoped) 수정, 검증 게이트가 있는 기억 통합 및 명시적 갈등 보존을 결합한다. COSMOS 벤치마크에서 SEMV는 91.88% 정확도를 달성하며, 이는 비교 가능한 최강 기준선의 89.10%를 상회한다. 검증된 기억은 부정적 전이를 5.7%에서 0.2%로 줄인다. 리뷰어 이의 제기로 구성된 CTR 벤치마크에서 범위 제한 인과 수정은 초기 오류의 96.7%를 교정하면서 연산량 52.8%를 절감한다. MV2026 Grand Challenge 데이터셋은 증거 기반의 시간적으로 일관된 보고를 추가로 뒷받침한다. 이러한 결과는 SEMV가 검증된 경험을 통해 진화할 수 있으면서, 축적된 지식과 이후 결정을 추적 가능하고, 수정 가능하며, 이의를 제기할 수 있게 유지할 수 있음을 보여준다.

arXiv:2609.25611v1cs.CL

Qwen3.8-Omni: 네이티브 옴니모달 에이전트를 향하여

Qwen3.8-Omni: Towards Native Omni-Modal Agents

본 논문에서는 실제 환경의 멀티모달 생산성을 위해 설계된 네이티브 멀티모달 에이전트(agent) 모델인 Qwen3.8-Omni-Flash를 소개한다. 주로 인식과 상호작용에 집중했던 기존 옴니 모델들과 비교하여, Qwen3.8-Omni-Flash는 멀티모달 이해 및 추론뿐만 아니라 긴 호흡의(long-horizon) 에이전트 태스크 성능을 대폭 향상했다. 이러한 능력은 강력한 텍스트 도메인 성능을 보존하는 동시에 텍스트에서 오디오 및 비디오 태스크로의 에이전트 능력 전이를 촉진하는 네이티브 멀티모달 공동 학습(co-training) 전략을 통해 뒷받침된다. 이 모델은 Qwen3.8-Next의 희소 전문가 혼합(sparse MoE) 아키텍처를 계승하고 컨텍스트 윈도우(context window)를 100만 토큰(token)으로 확장하여, 긴 컨텍스트의 멀티모달 추론 및 장기적 계획 수립(long-horizon planning)을 지원한다. 이러한 발전 덕분에 본 모델은 주요 에이전트나 특화된 서브 에이전트로서 프로덕션 워크플로에 통합되어, 비디오 편집, 장문 오디오 및 비디오 번역, 음악 기반 뮤직비디오 또는 영화 생성, 비디오 기반 메모 작성이나 옴니 스킬(omni-skill) 생성을 지원할 수 있다. 기존 에이전트 하네스(harness)에서 네이티브 오디오 및 비디오 지원이 부족한 문제를 해결하기 위해, 멀티모달 생산성을 지원하는 경량 오픈소스 플러그인 프레임워크인 Qwen-MM-Plugins를 공개한다. 나아가 실시간 멀티모달 상호작용을 컨텍스트 및 메모리 관리, 도구 사용, 서브 에이전트 위임의 오케스트레이션을 필요로 하는 시스템 수준의 과제로 정의한다. 이에 따라 Qwen3.8-Omni-Flash 기반의 반응형 실시간 멀티모달 에이전트를 구축하기 위한 오픈소스 프레임워크인 Qwen-Live-Harness를 공개한다. 광범위한 평가(evaluation)를 통해 Qwen3.8-Omni-Flash가 멀티모달 이해, 추론, 긴 호흡의 에이전트 실행 및 비디오 생산성 태스크 전반에 걸쳐 강력한 성능을 달성함을 입증한다. 이러한 결과와 함께 제공되는 오픈소스 도구들은 Qwen3.8-Omni-Flash가 연구 및 프로덕션 환경에서 네이티브 멀티모달 에이전트를 배포하기 위한 실용적인 기반임을 뒷받침한다.

arXiv:2609.24156v1cs.CL

TAC-Time: 멀티모달 시계열 예측을 위한 채널로서의 텍스트

TAC-Time: Texts as Channels For Multimodal Time Series Forecasting

기존의 대부분의 시계열 예측(time series forecasting) 방법은 수치적 관측치에만 의존하여 보조 텍스트에 포함된 풍부한 문맥 정보를 간과합니다. 최근의 멀티모달 접근 방식은 텍스트 신호를 통합하고자 시도하지만, 텍스트를 정적 특징으로 취급하거나 대규모 언어 모델(LLM)을 예측 백본으로 사용하는 경우가 많아 시간적 동역학(temporal dynamics)을 포착하는 능력이 제한되고 연산 비용이 증가합니다. 이러한 과제를 해결하기 위해, 우리는 텍스트 정보를 추가적인 시간 채널로 변환하는 통합 프레임워크인 TAC-Time을 제안합니다. TAC-Time은 공유된 시간 백본에서 텍스트 특징을 수치 시퀀스와 함께 결합하여 모델링함으로써, 효율성과 확장성을 유지하는 동시에 시간적 연속성과 주기적 구조를 보존합니다. 또한 이러한 정형화는 체계적인 해석 가능성 분석을 가능하게 합니다. 우리는 어텐션(attention) 및 주파수 도메인 분석을 통해 강력한 모달 간 상호 의존성을 입증하고, 상관관계를 고려한 정렬을 통해 부분적인 예측 개선을 달성하는 예측적 텍스트 신호를 식별합니다. 실제 멀티모달 벤치마크(benchmark)에 대한 광범위한 실험을 통해 TAC-Time이 기존 방법들보다 우수한 성능을 보임을 입증합니다.

arXiv:2609.23376v1cs.MM

소리가 들리면 찾는 것을 도와라: 오픈 보캐블러리 시청각 이벤트 국소화를 위한 직교 지식 증류

If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization

오픈 보캐블러리 시청각 이벤트 국소화(open-vocabulary audio-visual event localization, OV-AVEL)는 비디오, 오디오, 언어로부터 텍스트 질의된 이벤트를 시간에 따라 그라운딩(grounding)합니다. 이 작업에 사용할 수 있는 지도 소스들은 시간적 경계의 신뢰도 면에서 다를 수 있습니다. 비록 설정된 오디오 교사(teacher)가 강력한 사전학습 오디오 모델(model)이며 의미적으로 유익한 정보를 유지함에도 불구하고, OV-AVEBench에서 우리가 구성한 시각 교사는 구성된 오디오 교사보다 더 신뢰할 수 있는 경계 단서를 제공합니다. 이는 시각과 오디오의 보편적 순위라기보다는 특정 설정에 기반한 진단입니다. 우리는 이로 인해 발생하는 과제를 지도 배치(supervision placement)로 공식화합니다. 즉, 어떤 교사 신호가 국소화 결정을 형성할 수 있으며, 어떤 신호가 보조적으로 남아 있어야 하는지에 관한 것입니다. 이러한 관점을 바탕으로, 우리는 신뢰도 인식 비대칭 증류 프레임워크인 OV-OrthKD를 제안합니다. 시각 특징(feature) 전이는 결정과 정렬된 표현을 형성하고, 오디오 특징 전이는 상호 보완적인 보조 부분공간을 풍부하게 하며, 텍스트 프로토타입은 관찰된(seen)/관찰되지 않은(unseen) 범주 의미를 고정하고, 직교성 손실(loss)은 두 교사 특화 투영 간의 방향적 중첩을 제한합니다. 학생(student) 모델은 추론(inference) 시 질의 인식 융합을 통해 두 모달리티를 계속 사용하는 반면, 기본 학습(training) 방식은 세그먼트 로짓(logit) 경로에서 오디오 교사 지도를 제외합니다. OV-AVEBench에서 OV-OrthKD는 0.816의 세그먼트 AP를 달성하고, 공식 미세조정(fine-tuning) 기준선(baseline) 대비 [email omitted] 전체적으로 2.7점, 관찰되지 않은 범주에서 3.4점 향상시킵니다. 경로 할당, 역할 교환, 손상, 전이 분석은 지도 배치가 OV-AVEL을 위한 작업 특화 설계 축임을 일관되게 뒷받침합니다.

arXiv:2609.22260v1cs.MM

오디오 언어 모델에서 거부 방향(Refusal Direction)의 인과적 위치 규명

Causal Localization of the Refusal Direction in Audio Language Models

대규모 오디오 언어 모델(LALM)은 이미 안전성 정렬(safety alignment)이 이루어진 텍스트 언어 모델(LM)에 음성 프런트 엔드를 결합한 구조이다. 이러한 모델이 유해한 음성 요청을 거부할 때, 그 거부는 프런트 엔드가 담당하는 것일까, 아니면 텍스트 LM으로부터 물려받은 것일까? 우리는 이를 인과적 개입(causal intervention)으로 검증한다. 각 모델의 오디오-LM 인터페이스와 테스트한 LM 잔차 층(residual layer)에서 유해 프롬프트와 무해 프롬프트를 구분하는 방향을 적합시키고, 해당 방향의 성분을 제거(ablation)한 뒤, 그에 따른 모델의 첫 토큰 거부 마진(refusal margin) 변화를 측정한다. 다섯 개 모델 중 네 개는 보류된(held-out) 범주 변화 조건에서 평가된다. 세 가지 백본 계열에 걸친 다섯 개의 LALM 가운데 세 개 모델이 기준선 안전성 게이트를 통과했으며, 이들에서 테스트한 효과 중 가장 큰 효과는 LM의 중간~후반 구간에서 나타난 반면, 테스트한 인터페이스 방향의 제거는 거의 영향을 미치지 않았다. Qwen2.5-Omni에서 L16 방향을 제거하면 마진이 -7.10 변하는 반면, 프로젝터에서는 -0.013 변한다. 그럼에도 오디오 경로는 여전히 사용되고 있다. 인코더 출력을 0으로 만들면 마진이 -4.7 변한다. 같은 모델에서, 단일 층 제거의 영향이 거의 없는 초기 층에서도 이 대비(contrast)는 선형적으로 디코딩될 수 있으며, LM 백본만으로 적합시킨 방향은 전체 오디오 모델로 전이된다. 유해 프롬프트와 무해 프롬프트는 형식 면에서도 다르기 때문에, 우리는 이 방향을 유해성에 특화된 것이 아니라 거부와 연관된(refusal-linked) 것으로 해석한다. 이러한 개입은 거부 마진의 의존성이 위치한 곳을 규명하는 것이며, 거부가 계산되는 위치를 규명하는 것은 아니다. 또한 마진을 움직이더라도 모델이 실제로 생성하는 내용이 항상 바뀌는 것은 아니다. 이러한 모델의 안전성 감사는 프로브(probe)에만 의존하지 말고 개입을 활용해야 하며, 오디오 인터페이스와 함께 물려받은 텍스트 LM도 함께 살펴보아야 한다.

arXiv:2609.22327v1cs.MM

지식 컴파일을 통한 시각적 그래프 추론

Visual Graph Reasoning via Knowledge Compilation

시각적 그래프 추론(visual graph reasoning)은 그래프 위상(topology)과 상태가 기호 형태가 아닌 시각적으로 전달되는 그래프 이미지로부터 그래프 이론적 질문에 직접 답하는 것을 요구합니다. 비전-언어 모델(VLM)의 최근 발전에도 불구하고, 기존의 시각적 그래프 추론 방식들은 여전히 단순한 시각적 그래프 문제에서도 실패합니다. 이는 시각적 입력으로부터 그래프 위상과 상태를 보존하는 명시적 그래프 표현의 중간 복원보다 최종 답변에 대한 지도(supervision)를 우선시한다는 기존 접근 방식들의 근본적인 한계를 드러냅니다. 이러한 한계를 해결하기 위해, 우리는 지식 컴파일(knowledge compilation)을 통한 시각적 그래프 추론을 위한 컴파일 중심 패러다임인 VGCompiler를 제안합니다. VGCompiler는 두 개의 컴파일러를 중심으로 추론을 구성합니다. 즉, 시각적 입력으로부터 구조를 보존하는 중간 그래프 표현을 복원하는 표현 컴파일러(representation compiler)와, 복원된 그래프 상태 하에서 쿼리 의도를 실행 가능한 그래프 연산으로 컴파일하는 연산 컴파일러(operation compiler)입니다. 구체적으로, 우리는 Qwen3-VL-8B를 기반으로 VGCompiler를 구축하고, 실행 가능성, 컴파일된 그래프 유효성, 표현 품질 및 연산 품질에 대한 계층화된 보상(reward)으로 유도되는 강화학습(reinforcement learning)으로 이를 학습(training)합니다. VGCompiler는 고정된(frozen) 옵저버를 사용하여 그래프 및 질문 조건을 가벼운 시그니처로 요약함으로써, 유사한 체제 전반에 걸쳐 아카이브 검색과 코드 재사용을 가능하게 합니다. 세 가지 벤치마크(benchmark)인 GVLQA, VisionGraph, VGCURE에 대한 실험 결과, 8B 백본을 기반으로 구축된 Qwen-VGCompiler는 높은 효율성을 유지하면서 가장 강력한 폐쇄형 VLM 기준선(baseline)을 28.9%, 가장 강력한 코드 기반 기준선을 23.7% 앞서는 것으로 나타났습니다. 나아가 지하철 경로 안내, 물류 배송, 네트워크 장애 평가 등 세 가지 실제 도메인에서 VGCompiler를 평가(evaluation)하였으며, 이질적인 시각적 그래프와 도메인에 기반한 작업 전반에 걸쳐 잘 일반화됨을 확인했습니다.

arXiv:2609.22264v1cs.MM

Hi-Singers: 표현력 있는 오디오 기반 노래하는 머리 합성을 위한 포괄적인 고품질 데이터셋

Hi-Singers: A Comprehensive High-Quality Dataset for Expressive Audio-Driven Singing Head Synthesis

오디오 기반 디지털 휴먼 생성을 위한 최첨단 모델들은 말하는 머리 합성(talking-head synthesis)에서 사실적인 결과를 달성했습니다. 그러나 상당한 도메인 격차(Domain Gap)로 인해 이러한 모델을 노래하는 머리 합성(singing-head synthesis)으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 노래는 더 과장된 표정, 생생한 턱 벌림, 그리고 정밀한 리듬 동기화를 필요로 하기 때문입니다. 주로 음성 데이터셋으로 학습된 기존 모델들은 종종 "리듬 편차(rhythmic drift)"와 제한된 역동성으로 인해 어려움을 겪습니다. 이를 해결하기 위해 우리는 노래하는 머리 합성에 특별히 맞춰진 최초의 대규모 고품질 인더와일드(in-the-wild) 비디오 데이터셋인 Hi-Singers를 소개합니다. Hi-Singers는 엄격한 자동화 및 수동 필터링 파이프라인을 거쳐 엄격한 주제 부합성, 고해상도 렌더링, 안정적인 움직임을 보장하며, 총 약 170시간에 달하는 29,608개의 비디오 세그먼트를 구축했습니다. 나아가 우리는 언어 및 음악적 스타일에 걸쳐 균형 잡힌 전용 평가 벤치마크를 구축했습니다. 3D 계수 기반 및 확산(diffusion) 기반 모델을 포함한 다양한 아키텍처에 걸친 광범위한 실험은 Hi-Singers가 모든 차원에서 성능을 일관되고 크게 향상시킴을 보여줍니다. 구체적으로, 이 데이터셋을 통해 모델은 우수한 시각적 사실성, 향상된 립싱크 일관성, 더욱 정밀한 리듬 역동성을 달성할 수 있어 도메인 격차를 효과적으로 해소하고 노래 합성 태스크에 대한 새로운 성능 기준을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers 에서 확인할 수 있습니다.

arXiv:2609.23533v1cs.CV

GeoBalance: 균형 잡힌 멀티모달 학습을 위한 기하학 인지 모니터링 및 재구성과 비대칭 최적화

GeoBalance: Geometry-Aware Monitoring and Reconstruction with Asymmetric Optimization for Balanced Multimodal Learning

멀티모달 분류기는 특정 모달리티가 결합 예측(joint prediction)을 지배하여 다른 모달리티의 학습을 억제하는 모달리티 지배적 해로 수렴할 수 있습니다. 기존의 불균형 완화 방법들은 주로 손실, 그래디언트(gradient) 또는 모달리티 기여도를 조정하며, 모달리티 불균형을 주로 최적화(optimization) 문제로 취급하는 동시에 취약한 모달리티를 최적화가 덜 되었을 뿐 표현적으로는 온전하다고 암묵적으로 간주합니다. 본 연구에서는 지속적인 모달리티 지배가 취약한 모달리티의 표현 수준 붕괴를 유발할 수 있으므로 이러한 가정이 항상 성립하지는 않음을 발견하고, 이를 다양체 모달리티 붕괴(manifold modality collapse, MMC)라고 명명합니다. MMC는 취약한 모달리티의 표현이 각 클래스 내에서 더 적은 방향으로 붕괴되고 클래스 간 구분이 어려워지는 결합된 기하학적 퇴보로 나타납니다. 이러한 관찰에 착안하여, 본 논문은 이 두 가지 기하학적 특성을 모니터링하고 MMC 징후를 보일 때만 취약한 모달리티 표현을 재구성하는 기하학 인지 프레임워크인 GeoBalance를 제안합니다. 일단 작동되면 GeoBalance는 고정된 Simplex-ETF 클래스 스캐폴드(scaffold)와 스펙트럼 정규화(regularization)를 사용하여 소수의 특징(feature) 방향으로의 붕괴를 방지하면서 클래스 분리도를 복원합니다. 결합 학습(joint training) 중에 재구성을 보존하기 위해 비대칭 그래디언트 투영은 재구성과 충돌하는 결합 그래디언트 성분을 제거하고 충돌하지 않는 최적화는 그대로 유지합니다. 6개의 멀티모달 벤치마크(benchmark)에 걸친 광범위한 실험을 통해 경쟁력 있는 불균형 완화 방법 대비 큰 폭의 성능 향상을 입증함으로써 그 효과를 검증합니다.