PyTorchKR Papers

최신 논문

총 14편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.11638v2cs.CV

IS-Diff: 더 나은 초기 시드를 통한 디퓨전 기반 인페인팅 개선

IS-Diff: Improving Diffusion-Based Inpainting with Better Initial Seed

디퓨전 모델(diffusion model)은 자유 형식 인페인팅(free-form inpainting)에서 유망한 결과를 보여왔다. 정제된 디퓨전 샘플러(diffusion sampler)나 새로운 아키텍처 설계에 기반한 최근 연구들은 사실적인 결과와 높은 데이터 일관성을 달성했다. 그러나 기본(vanilla) 디퓨전 과정에서 사용되는 무작위 초기화 시드(노이즈)는 마스킹된 영역에 불일치한 의미 정보(semantic information)를 유입시킬 수 있으며, 이는 편향된 인페인팅 결과, 예를 들어 마스킹되지 않은 다른 영역과의 낮은 일관성 및 낮은 조화성(coherence)으로 이어질 수 있다. 이 문제를 해결하기 위해, 우리는 완전히 학습이 필요 없는(training-free) 접근법인 초기 시드 정제 디퓨전 모델(Initial Seed refined Diffusion Model, IS-Diff)을 제안하며, 이는 분포적으로 조화로운 시드를 결합하여 조화로운 결과를 생성한다. 구체적으로, IS-Diff는 마스킹되지 않은 영역에서 샘플링한 초기 시드를 사용하여 마스킹된 데이터 분포를 모방함으로써, 디퓨전 절차에 유망한 방향을 설정한다. 또한, 중간 잠재(intermediate latent)에서 심각하게 부조화한 인페인팅을 탐지하고 초기화 사전(initialization prior)의 강도를 동적으로 조정하는 동적 선택적 정제(dynamic selective refinement) 메커니즘을 제안한다. 우리는 CelebA-HQ, ImageNet, Places2 데이터셋을 사용하여 표준 및 대형 마스크 인페인팅 작업 모두에서 본 방법을 검증하였으며, 최신(state-of-the-art) 인페인팅 방법들과 비교하여 모든 지표에서 효과성을 입증하였다.

arXiv:2606.06379v4cs.CV

EasyLens: 의료 비전-언어 모델을 위한 학습 불필요 플러그앤플레이 미세 병변 표현 증폭기

EasyLens: A Training-Free Plug-and-Play Subtle-Lesion Representation Amplifier for Medical Vision-Language Models

의료 비전-언어 모델(VLM)이 미세 병변의 약한 시각 단서를 전역 이미지 표현에 집계하는 과정에서 희석되는 문제를 해결하기 위해, EasyLens는 추가 학습 없이 동결된 모델에 플러그앤플레이 방식으로 적용 가능한 미세 병변 표현 증폭기를 제안한다. 병리-해부학 프로토타입 공간(EasyBank), 반사실적 추론 기반 패치 선택기(EasyTag), 형태학 기반 잔차 강화 모듈(EasyAmplifier)로 구성되며, 다수의 의료 이미지 데이터셋과 동결 VLM 백본에서 기존 인코더 강화 기법을 능가하는 미세 병변 감지 성능을 달성했다.

arXiv:2610.03512v1cs.CV

ProgressNet: 동결된 텍스트-투-이미지 모델을 활용한 스케치 및 프롬프트 기반 점진적 생성

ProgressNet: Sketching and Prompting with a Frozen Text-to-Image Model

사람은 몇 번의 스트로크를 그리고 결과를 살핀 뒤, 스트로크를 지우거나 프롬프트를 수정하며 점진적으로 그림을 그립니다. 하지만 이미지 생성 모델은 이런 방식으로 동작하지 않습니다. 일반적으로 완성된 스케치를 받아 단일 패스로 이미지를 생성하므로 매 편집마다 그림을 처음부터 다시 시작해야 하며, 턴(turn)에 걸쳐 상태를 유지하는 모델들은 텍스트 기반으로만 동작하여 스트로크를 입력받지 못하고 함께 그림을 그리기에는 너무 느립니다. 본 논문에서는 동결된(frozen) 텍스트-투-이미지 모델이 드로잉 세션의 진행 과정(스트로크 추가 및 삭제, 프롬프트 수정)을 따라가며 턴당 약 1초 만에 이미지를 업데이트할 수 있도록 하는 학습(training)이 필요 없는 프레임워크인 ProgressNet을 제안합니다. 동결된 모델은 이전 턴을 기억할 수 있는 경로, 구조를 고정하지 않고도 외형을 전달할 수 있는 층(layer), 미완성된 스케치를 어느 정도 신뢰할지에 대한 내부 신호 등 점진적 생성기에 필요한 요소를 이미 갖추고 있으므로 새로운 파라미터가 필요하지 않습니다. 세 가지 추론(inference) 시점 메커니즘인 Previous-Concept Memory, Layer-Selective K/V Injection, Banded Adaptive Control이 이러한 요소들을 차례로 활용합니다. 스케치가 채워짐에 따라 기존의 모든 방법은 성능이 저하되어, FS-COCO에서 FLUX+ControlNet 기준선(baseline)의 FID는 완성도 10%에서 100% 사이에 두 배로 증가하는 반면, ProgressNet의 수치는 거의 변하지 않습니다. ProgressNet은 세 가지 스케치 도메인 전반에서 강력한 충실도와 점진적 일관성을 유지하며, 5개의 경쟁 방식보다 사용자 선호도가 높았고 특히 스트로크 삭제 작업에서 가장 압도적인 선호를 보였습니다.

arXiv:2610.01286v1cs.CV

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2607.11644v1cs.CV

Motion4Motion: 추론 시점에서 대상 간 모션 전이

Motion4Motion: Motion Transfer Across Subjects at Inference

본 연구는 한 영상에서 다른 영상으로의 모션 전이(motion transfer)를 탐구하며, 이는 다양한 캐릭터 애니메이션에서 핵심적인 기술이다. 기존에는 비디오 모션 전이가 주로 인간과 인간형 캐릭터 간에 연구되어 디지털 창작 분야에서 다양한 응용을 가능하게 했다. 그러나 이러한 접근법에는 주요 한계가 존재한다. 구체적으로, 관련 기술 파이프라인은 사전 정의된 인간 골격 구조에 크게 의존하며, 이에 따라 골격 조건부 모델 학습이 필요하다. 한편으로는, 이러한 방법들이 서로 다른 종의 동물과 같이 다양한 캐릭터로 일반화하면서 고유한 모션 스타일을 보존하기 어렵다. 다른 한편으로는, 다양한 골격에 대한 레이블 데이터가 부족하여 해당 태스크의 대규모 학습이 추가로 제한된다. 본 논문에서는 골격 기반 모션 전이 프레임워크에서 벗어나, Motion4Motion이라는 학습이 필요 없는(training-free) 모션 전이 프레임워크를 제안한다. Motion4Motion은 골격 대신 영상 내 캐릭터의 모션 흐름(motion flow)을 모델링함으로써 종(species) 간 모션 전이를 더욱 용이하게 한다. 광범위한 실험 결과와 새로운 응용 사례를 통해 제안하는 방법이 기준선(baseline) 대비 인상적인 성능 향상을 보임을 확인하였다. 프로젝트 페이지는 https://lhchen.top/Motion4Motion에서 확인할 수 있다.

arXiv:2607.03817v1cs.CV

전역 논리와 지역 탐색: 검증 가능한 산업 이상 탐지를 위한 이중 스트림 멀티모달 문맥 내 학습

Global Logic and Local Search: Dual-Stream Multimodal In-Context Learning for Verifiable Industrial Anomaly Detection

대규모 멀티모달 모델(LMM)은 강력한 퓨샷 일반화 능력을 보이지만, 결함이 작고 입력 해상도가 제한되며 텍스트 기준이 항상 시각적 증거에 근거하지 않기 때문에 산업 이상 탐지는 여전히 어렵다. 최근 최적화 기반 방법들은 미세조정을 통해 정렬을 개선하지만, 초기 배포 단계에서는 확보하기 어려운 다수의 불량 샘플을 필요로 하는 경우가 많다. 우리는 참조 기반 멀티모달 문맥 내 검증을 위한 학습 불필요 프레임워크인 Global Logic and Local Search(GLLS)를 제시한다. GLLS는 Part-Aware Visual-Logical Atlas를 사용하여 추론 컨텍스트 내에서 정상 참조와 구조화된 사양을 구성한다. 이 프레임워크는 SAM 3가 부분적으로 검증 가능한 시각적 사실을 추출하는 전역 및 논리 스트림(Global & Logic Stream)과, MCTS가 고정된 예산 내에서 지역 증거 크롭을 선택하는 세밀도 및 액션 스트림(Fine-Grained & Actions Stream)을 결합한다. MMAD-QA 및 추가 이상 탐지 데이터셋에서의 실험 결과, 매칭된 베이스라인과 범용 베이스라인 대비 일관된 성능 향상을 보이며, 검사 추적 전반에 걸쳐 최종 진단 결정을 명시적인 시각적 증거로 추적 가능하게 유지한다.

arXiv:2607.02886v1cs.CV

SPLIT: 공간 패치 수준 비일관성과 시간적 거칠기를 통한 학습 불필요 AI 생성 및 부분 편집 영상 탐지

SPLIT: Training-Free AI-Generated and Partially Edited Video Detection via Spatial Patch-Level Incoherence and Temporal Roughness

실제 서비스에 AI 생성 영상 탐지기를 배포하려면 실제 콘텐츠를 잘못 거부하지 않기 위해 실제 영상에 대한 극도로 낮은 거짓 양성률(FPR)이 요구되며, 이는 AUROC와 같은 표준 지표가 실제 운영 동작을 반영하지 못하는 영역이다. 우리는 공간 패치 수준 비일관성 및 시간적 거칠기(SPLIT)를 소개한다. SPLIT은 동결된 비전 인코더의 패치 토큰에서 동작하는 학습 불필요(training-free) 탐지기로, 완전히 생성된 영상과 부분적으로 편집된 영상 모두를 탐지한다. SPLIT은 두 가지 상호 보완적 신호를 계산한다: 1단계 및 2단계 특징(feature) 변화 대비를 통해 비매끄러운 패치 궤적을 포착하는 2단계 시간적 거칠기(TTR, Two-step Temporal Roughness)와, 특징 공간 모션 필드의 그래디언트를 통해 공간적으로 비일관적인 시간 변화를 측정하는 지역 공간 모션 비일관성(LSMI, Local Spatial Motion Incoherence)이다. 두 신호는 엄격한 임계값에서 실제-가짜 구분을 선명히 하기 위해 감마 보정과 함께 곱셈 방식으로 융합된다. 우리는 또한 실제 영상만을 이용한 임계값 보정 및 교차 실제 임계값 전이를 적용하여 고정 FPR에서의 가짜 재현율(Fake Recall)에 기반한 서비스 정합 평가 프로토콜을 추가로 제안한다. 세 가지 벤치마크(FakeParts, GenVideo, ViF-Bench)에 걸쳐 SPLIT은 FPR = 0.1%에서 가장 높은 가짜 재현율을 달성하며, 지도 학습 및 학습 불필요 기반선 방법을 크게 상회하는 동시에 무시할 수 있는 오버헤드로 후처리에 강건성을 유지한다. 코드는 https://github.com/mldljyh/SPLIT 에서 공개적으로 이용 가능하다.

arXiv:2607.01869v1cs.CV

QWERTY: 쿼리 워핑 비디오 확산 트랜스포머를 통한 학습 없는 모션 제어

QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers

QWERTY는 사전학습된 이미지-to-비디오 비디오 확산 트랜스포머(DiT)에서 추가 학습 없이 유연한 모션 제어를 가능하게 하는 프레임워크로, 쿼리의 프레임 불변 의미론적 부분공간을 워핑하여 3D 전체 어텐션을 조작한다. 의미론적-시간적 채널 분해(STCD)를 통해 프레임 비일관성 문제를 해결하고, 쿼리 워핑 노이즈를 잠재 최적화의 자기 지도로 활용함으로써 기존 학습 없는 방법 중 최고 수준의 모션 제어 성능을 달성하며 파인튜닝 기반 방법에 근접한 결과를 보인다.

arXiv:2607.00744v1cs.CV

프로토타입 메모리 기반 학습 불필요 산전 초음파 이상 분류 및 위치 추정

Prototype Memory-Guided Training-Free Anomaly Classification and Localization in Prenatal Ultrasound

산전 초음파에서 이상 소견의 낮은 유병률과 대규모 주석 데이터 의존 문제를 해결하기 위해, DINOv3 인코더 기반의 학습 불필요(training-free) 프레임워크를 제안하며 다중 입도(multi-granular) 프로토타입 메모리 뱅크, 프로토타입 기반 소프트 병합, 클래스 인식 정제 전략의 세 요소로 구성된다. 9개 카테고리 1,149개 사례의 다기관 데이터셋에서 [email omitted] 기준 60.67%를 달성하여 DeFRCN, TRR-CCM 등 기존 퓨샷 및 학습 불필요 방법들을 능가하였다.

arXiv:2607.00606v1cs.CV

검색된 이미지를 시각적 사고로: 개방형-폐쇄형 격차를 위한 학습 불필요 멀티모달 문맥 내 학습

Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap

학습이나 도구 없이 검색된 이미지-레이블 쌍을 시각적 사고의 단위로 활용하는 프레임워크 ReVisIT을 제안하며, 구조화된 클래스 정의, 쿼리별 멀티모달 예시 검색, 교번 사용자/어시스턴트 턴 주입을 결합해 문맥 내 학습(ICL)을 수행한다. Qwen3-VL-30B-A3B에 ReVisIT을 적용하면 VL-ICL Bench에서 4-샷 98.5%를 달성해 72B LLaVA-OneVision SOTA(98.7%)와 동등한 성능을 약 1/2.4 파라미터 수로 달성했으며, Bongard-OpenWorld에서 GPT-4.1 대비 26.1포인트 향상을 보였다.

arXiv:2503.15283v2cs.CV

TF-TI2I: 텍스트-대-이미지 모델의 다중 모달 암묵적 컨텍스트 학습을 활용한 학습 없는 텍스트-및-이미지-대-이미지 생성

TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models

추가 학습 없이 SD3 같은 MM-DiT 기반 T2I 모델을 활용해 텍스트 지시와 복수의 참조 이미지를 동시에 반영하는 TF-TI2I를 제안하며, MM-DiT의 텍스트 토큰이 비전 토큰으로부터 시각 정보를 암묵적으로 학습하는 특성을 활용한다. Reference Contextual Masking과 Winner-Takes-All 모듈로 다중 참조 간 간섭과 분포 이동 문제를 해소하고, 새로 제안한 FG-TI2I Bench를 포함한 18개 평가 지표 중 12개에서 최고 성능을 달성했다.

arXiv:2601.22615v3cs.CV

TTSA3R: Training-Free Temporal-Spatial Adaptive Persistent State for Streaming 3D Reconstruction

Streaming recurrent models enable efficient 3D reconstruction by maintaining persistent state representations. However, they suffer from catastrophic forgetting over long sequences due to balancing historical information with new observations. Recent methods alleviate this by deriving adaptive signals from the attention perspective, but they operate on single dimensions without considering temporal and spatial consistency. To this end, we propose a training-free framework termed TTSA3R that leverages both temporal state evolution and spatial observation quality for adaptive state updates in 3D reconstruction. In particular, we devise a Temporal Adaptive Update Module that regulates update magnitude by analyzing temporal state evolution patterns. Then, a Spatial Contextual Update Module is introduced to localize spatial regions that require updates through observation-state alignment and scene dynamics. These complementary signals are finally fused to determine the state updating strategies. Extensive experiments show that TTSA3R achieves competitive performance on standard short-sequence benchmarks and provides substantially stronger robustness on extended sequences. On NRGBD, as sequences extend from 50 to 250 frames, TTSA3R exhibits only a 1.33x error increase, compared with over 4x degradation for CUT3R. This highlights the practical value of temporal-spatial adaptive updates for long-term reconstruction stability. Our code is available at https://github.com/anonus2357/ttsa3r.

arXiv:2606.03867v2cs.CL

A Training-Free Mixture-of-Agents Framework for Multi-Document Summarization using LLMs and Knowledge Graphs

다중 문서 요약에서 복잡한 문서 간 관계 포착, 지도학습 데이터 의존, 도메인·언어 일반화 한계를 줄이기 위해 대규모 언어 모델(LLM)과 지식 그래프를 결합한 학습 없는(training-free) 혼합 에이전트(MoA) 프레임워크를 제안한다. 추출형 선택, 지식 그래프 기반 추상화, 추상 요약을 담당하는 전문 에이전트들의 결과를 다관점 일관성 메커니즘으로 통합했으며, 영어·베트남어 4개 데이터셋에서 최신 최고 또는 경쟁력 있는 성능을 보였다.

arXiv:2606.06885v1cs.CV

FreeAnimate: 미리보기 안내 디노이징 기반 학습 불필요 인간 이미지 애니메이션

FreeAnimate: Training-Free Human Image Animation with Preview-Guided Denoising

인간 이미지 애니메이션은 주로 확산 모델(diffusion model)에 힘입어 크게 발전해 왔다. 그러나 기존 방법들은 고품질 결과를 달성하기 위해 일반적으로 상당한 학습(training) 데이터와 리소스를 요구하여, 일반화와 접근성을 제한한다. 본 연구에서는 이미지 확산 모델의 고유 능력을 활용하여 시간적 일관성, 정체성 보존, 배경 안정성을 달성하는 학습 불필요 프레임워크인 FreeAnimate를 제안한다. 우리 접근법은 생성된 미리보기 프레임에서 시간적·구조적 사전 정보(prior)를 제공하는 새로운 미리보기 생성 전략을 통합하여, 학습 없이도 포즈 정렬과 배경 일관성을 효과적으로 안내한다. 또한 FreeAnimate는 시간적 일관성과 정체성 보존을 보장하기 위해 Inversion-Boosted Attention과 Reference-Anchored Self-Attention 모듈을 도입한다. 실험 결과, FreeAnimate는 기존 학습 불필요 경쟁 방법과 학습 기반 기준선(baseline) 방법을 능가하며, 최신(state-of-the-art) 방법에 필적하는 생성 품질을 달성하고 다양한 데이터셋(dataset)에 걸쳐 강건한 일반화를 제공함을 보여준다. 프로젝트 페이지는 https://freeani.github.io/ 에 있다.