graphics.cs.msu.ru

이 이메일 도메인이 관측된 논문 8건

arXiv:2610.09952v1cs.CV

설명 가능한 딥페이크 탐지 챌린지 2026의 MSU 팀: 딥페이크 탐지를 위한 그라운딩된 아티팩트 증거

MSU Team at the Explainable Deepfake Detection Challenge 2026: Grounded Artifact Evidence for Deepfake Detection

최근 생성형 이미지 모델의 발전으로 조작된 다수의 이미지가 매우 사실적으로 변하면서, 정확할 뿐만 아니라 판단에 대한 시각적 증거를 제공할 수 있는 탐지기의 필요성이 커지고 있습니다. 본 논문에서는 XPlainVerse 데이터셋 기반의 설명 가능한 딥페이크 탐지 챌린지(Explainable Deepfake Detection Challenge)에 대한 저희의 솔루션을 제시합니다. 이 대회에서는 시스템이 이미지가 진짜인지 가짜인지 예측하고 눈에 보이는 포렌식 단서에 그라운딩(grounding)된 복합 및 단순 설명을 모두 생성해야 합니다. 저희의 방법은 모듈식 탐지 및 설명 설계를 따릅니다. 진짜/가짜 판별을 위해, 사전학습(pre-training)된 시각적 표현, DCT 인지 단서, 멀티스케일 포렌식 정보를 결합하여 여러 DINOv3 모델과 Mesorch 조작-위치화 특징을 결합한 멀티 백본 탐지기를 구축합니다. 탐지기에 설명 증거를 주입하기 위해, 학습 설명의 국소적 아티팩트 설명을 아티팩트 증거 맵(Artifact Evidence Map)을 위한 약한 패치 수준의 지도 신호로 변환하는 Grounding-DINO 기반 의사 마스크(pseudo-mask) 생성 파이프라인을 사용합니다. 나아가 쌍을 이루는 이미지나 픽셀 수준의 조작 마스크 없이도 탐지기 특징 공간에서 아티팩트 증거와 진위 증거를 분리하는 국소 패치 수준 대조 목적함수를 도입합니다. 언어 출력을 위해서는 클래스 조건부 Qwen3-VL 모델을 사용하여 가짜 및 진짜 예측에 대한 복합 설명을 생성한 뒤, GRPO로 최적화된 텍스트 단순화 모델을 적용합니다. 제안된 방법들은 XPlainVerse의 챌린지 서브셋에서 학습 및 평가되었습니다. 전체 테스트 분할에서 저희의 제출 모델은 탐지 정확도 0.9349, 설명 점수 0.5571, 최종 챌린지 점수 0.7456을 달성했습니다.

arXiv:2610.08936v1cs.CV

VCR-Bench: 비디오 분류 강건성을 위한 모듈형 오픈소스 벤치마크

VCR-Bench: A Modular Open-Source Benchmark for Video Classification Robustness

이미지 분류의 강건성(robustness)에는 여러 벤치마크가 존재하지만, 비디오 분야에는 이에 상응하는 벤치마크가 부재합니다. 비디오 분류에서는 시간적 차원(temporal dimension)이 적대적 공격(adversarial attack), 방어, 전처리에 추가적인 자유도를 부여합니다. 또한 시간적 샘플링, 섭동 예산(perturbation budget), 지표 집계 방식 등은 이미지 환경과 직접적으로 대응되지 않는 방식으로 상호작용합니다. 따라서 비디오 분류기의 강건성은 파편화되고 상호 호환되지 않는 구현체 전반에 걸쳐 연구되어 왔으며, 이로 인해 보고된 수치를 재현하고 분석하기 어려웠습니다. 이에 본 논문에서는 비디오 로딩, 분류기 래퍼, 적대적 공격 및 방어, 인지적 지표, 구성 프리셋, 결과 로깅을 표준화하는 모듈형 오픈소스 벤치마크 프레임워크인 VCR-Bench를 소개합니다. VCR-Bench는 현재 공통 평가 프로토콜 하에 30개의 비디오 분류 모델, 14개의 적대적 공격, 10개의 방어 래퍼를 통합하고 있습니다. 저자들은 Kinetics-400 서브셋에서 대표적인 비디오 분류기, 공격 및 방어를 평가하여 클린 정확도(clean accuracy), 공격 성공률(attack success rate), 인지적 품질, 실행 시간, 메모리 사용량을 보고합니다. VCR-Bench는 문서화된 설치 가이드, 재현 가능한 실행 프리셋, 컴포넌트 확장 인터페이스, 보고된 결과를 재현하기 위한 스크립트와 함께 https://github.com/msu-video-group/vcr-bench 에 공개되어 있습니다.

arXiv:2610.08230v1cs.CV

TSRN-RTVD: 실시간 비디오 디블러링 시스템

TSRN-RTVD: Real-Time Video Deblurring System

비디오 촬영 환경이 핸드헬드 및 엣지 기기로 이동함에 따라, 카메라 흔들림으로 인한 모션 블러(motion blur)는 인지적 품질을 저하시키고 다운스트림 컴퓨터 비전(CV) 태스크를 저해하는 보편적인 열화 요인이 되었습니다. 가장 뛰어난 성능을 보이는 디블러링 네트워크들은 인상적인 수준의 디테일을 복원해내지만 여전히 연산량이 과중하고 극도로 복잡하여, 소비자용 하드웨어에서는 실시간으로 감당할 수 없는 비용이 발생합니다. 이러한 복원 품질과 온디바이스 처리 속도 사이의 격차가 바로 실시간 디블러링을 어렵게 만드는 원인입니다. 본 연구에서는 노출 시간 동안의 기저 카메라 궤적을 명시적으로 재구성하고, 복원된 모션을 활용해 복원을 유도하는 효율적인 비디오 디블러링 시스템인 TSRN-RTVD를 개발 및 구현했습니다. 이 접근법은 블러의 물리적 원인을 선명화를 이끄는 신호로 전환합니다. 제안하는 시스템은 단일 소비자용 GPU에서 실행되어 GoPro 데이터셋에서 30.08 dB PSNR을 달성하는 동시에 30 FPS로 비디오를 복원합니다. 본 연구는 흐릿한 입력 영상과 디블러링된 출력 영상의 대화형 병렬 시각화, 실시간 처리량, 복원된 카메라 궤적의 화면 표시와 함께 소비자용 기기에서 TSRN-RTVD를 시연합니다. 데모 비디오는 https://youtu.be/3alMwVrVALU 에서 확인할 수 있습니다.

arXiv:2610.02010v1cs.CV

잠재 주파수 마스킹에 대한 생성형 이미지 워터마크의 취약점 탐색

Exploring Weaknesses of Generative Image Watermarks against Latent Frequency Masking

보이지 않는 워터마킹(invisible watermarking)은 AI 생성 이미지를 추적하는 핵심 도구가 되었으나, 적응형 제거 공격에 대한 견고성(robustness)은 여전히 미해결된 보안 과제로 남아 있습니다. 본 논문에서는 워터마크가 적용된 이미지의 잠재 표현(latent representation)에서 선택된 푸리에 계수(Fourier coefficients)를 대체하여 워터마크 흔적을 지우는 공격 방식인 잠재 주파수 마스킹(Latent Frequency Masking)을 소개합니다. 대체할 값은 효율성을 위해 가우시안 노이즈(Gaussian noise)에서 샘플링하거나, 이미지 보존성을 높이기 위해 확산 재성형(diffusion regeneration)을 통해 도출할 수 있습니다. 또한 재구성된 적대적 이미지와 마스킹된 잠재 주파수 섭동(perturbation) 사이의 변화를 연계하는 이론적 왜곡 경계(distortion bound)를 제시합니다. 제안된 공격 기법을 DiffusionDB 및 MS-COCO 프롬프트로 생성된 이미지에 대해 6가지 확산 워터마킹 방식을 대상으로 평가합니다. 잠재 주파수 마스킹은 시각적 품질을 보존하고 기존 공격 기법 대비 우수한 실행 시간을 달성하면서 여러 워터마크를 제거하거나 대폭 약화시킵니다. 이러한 결과는 잠재 주파수 조작이 실질적인 공격 표면(attack surface)임을 입증하며, 생성형 이미지 워터마킹의 견고성 평가에 이러한 공격을 포함해야 할 필요성을 강조합니다.

arXiv:2605.21244v2cs.CV

SR-Ground: 초해상도 콘텐츠를 위한 이미지 품질 그라운딩

SR-Ground: Image Quality Grounding for Super-Resolved Content

초해상도(Super-Resolution, SR)는 최근 수년간 빠르게 발전해 왔으며, 확산 기반 모델은 전례 없는 충실도를 달성하는 대신 새로운 유형의 시각적 아티팩트를 도입하는 대가를 치른다. 기존 이미지 품질 평가(Image Quality Assessment, IQA) 방법은 종합적인 품질 점수를 제공하지만, 해석 가능성이 부족하고 현대적 SR 접근법에서 발생하는 서로 다른 아티팩트 유형을 구분하지 못한다. 이 공백을 메우기 위해, 우리는 초해상도 이미지에서의 세분화된 아티팩트 분할을 위해 특별히 설계된 대규모 데이터셋인 SR-Ground를 소개한다. 이 데이터셋은 다양한 최신 SR 모델로 처리된 이미지로 구성되며, 여러 아티팩트 범주에 대한 픽셀 수준 주석이 포함되어 있다. 우리는 자동 생성된 분할을 검증하고 정제하기 위해 1,062명의 참가자가 참여한 대규모 크라우드소싱 연구를 수행하여, 6가지 서로 다른 아티팩트 유형을 아우르는 63,000장의 고품질 데이터셋을 구축하였다. SR-Ground에서 그라운딩 능력을 갖춘 IQA 모델을 학습하면 다운스트림 작업의 성능이 크게 향상됨을 보인다. 나아가, 우리의 그라운딩 모델을 활용하여 SR 출력에서 인지 가능한 아티팩트를 줄이는 미세조정 파이프라인을 도입함으로써 데이터셋의 실용적 유용성을 보여준다. 보지 못한 다섯 가지 SR 방법의 출력 1,000개로 구성된 별도 벤치마크에서, 저해상도 참조 그라운딩 모델은 무참조 대비 두드러짐 정렬(prominence alignment)을 크게 개선하며, 고해상도 정답(Ground-Truth)이 없는 저해상도 이미지의 실제 세계 원본 데이터셋에서 가장 우수한 성능을 보인다.

arXiv:2609.21480v1cs.CV

OpenSAL360: 전방향 영상 시각 주목성 수집을 위한 오픈소스 크라우드소싱 플랫폼

OpenSAL360: Open-Source Crowdsourcing Platform for Omnidirectional Video Saliency Collection

전방향 영상 시각 주목성(saliency) 예측은 뷰포트 적응형 스트리밍 및 압축, 초점(foveated) 렌더링, 메시 단순화, 지각 품질 평가 등 다양한 몰입형 멀티미디어 응용에서 중요한 역할을 한다. 그러나 이 분야의 진전은 VR 헤드셋을 이용한 아이트래킹(eye-tracking) 데이터 수집의 비용과 복잡성에 의해 여전히 제약을 받으며, 이로 인해 대규모 데이터셋 구축을 확장하기 어렵다. 우리는 확장 가능하고 저비용의 360° 영상 주목성 수집을 위한 최초의 오픈소스 플랫폼인 OpenSAL360을 제안한다. 기존 VR 기반 프로토콜과 달리, 표준 화면, 마우스, 인터넷 연결만 필요하며, 특수 하드웨어 없이 일반 크라우드소싱 평가자로부터 병렬적인 주목성 데이터 수집을 가능하게 한다. 수집 프로토콜을 7개의 잘 알려진 VR 아이트래킹 데이터셋과 대조하여 검증하고, 핵심 인터페이스 및 전·후처리 파라미터에 대한 ablation 연구를 수행한다. 제안 방법의 효과와 확장성을 보이기 위해, 2,000명 이상의 크라우드소싱 평가자가 주석을 단 500개의 전방향 영상을 포함하는 주목성 데이터셋을 수집하여 공개했으며, 우리가 아는 한 이 분야에서 가장 큰 데이터셋이다. OpenSAL360은 https://github.com/msu-video-group/OpenSAL360 에서 공개한다.

arXiv:2609.11486v1cs.CV

FreeFlow: A Bias-free Hierarchical Transformer for Optical Flow Estimation

Optical flow methods typically rely on task-specific inductive biases, such as correlation volumes, feature warping, and iterative refinement, among others, to reach high accuracy. While effective, such biases constrain the model to predefined heuristics, which can limit its expressivity and lead to more complex pipelines and additional computational cost. We present FreeFlow, a hierarchical transformer built without any flow-specific components, using instead a single feed-forward encoder--decoder. FreeFlow combines three attention variants: window attention for local processing, shifted-window attention for cross-window information exchange, and a global attention operating at a reduced resolution. The resulting architecture scales naturally with model capacity, enabling a consistent accuracy gain from small to large variants. Despite the absence of standard inductive biases, FreeFlow achieves state-of-the-art results on major benchmarks, including Sintel (0.68/1.48 EPE on Clean/Final), KITTI-2015 (3.23 Fl-all), and Spring (3.192 1px), while remaining memory efficient at 1080p inference.

arXiv:2608.29331v1cs.CV

신경망 비디오 코덱 품질 평가 데이터셋 및 벤치마크

Neural video codecs quality assessment dataset and benchmark

비디오 트래픽은 전 세계 웹 트래픽의 상당 부분을 차지합니다. 이러한 트래픽 양을 줄이기 위해 비디오 코덱이 지속적으로 개발 및 개선되어 왔습니다. 업계가 전통적인 비디오 코딩 분야에서 상당한 진전을 이룬 가운데, 최근 비디오 압축에 심층 학습(deep learning)을 적용하는 새로운 접근 방식으로 신경망 비디오 코덱(NVC)이 부상했습니다. 이는 코덱의 추가적인 개발과 개선에 필수적인 압축 품질 평가에 새로운 도전 과제를 제시합니다. 특히 NVC가 도입한 새로운 시간적 압축 패러다임을 평가하는 것이 중요합니다. 본 연구에서는 신경망 비디오 코덱과 전통적인 비디오 코덱으로 압축된 비디오의 대규모 주관적 데이터셋을 제시합니다. 주관적 점수는 크라우드소싱 기반의 쌍체 비교(pairwise comparison)를 통해 수집되었습니다. 제안된 데이터셋은 신경망 비디오 코덱에 특화된 비디오 품질 측정 지표의 개발 및 벤치마킹을 위한 귀중한 자원을 제공합니다. 데이터셋은 다음 링크에서 확인할 수 있습니다: https://videoprocessing.github.io/nvc-dataset-benchmark