PyTorchKR Papers

최신 논문

총 226편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11277v1cs.LG

물리적 외삽을 위한 최소 작용 원리 기반 디퓨전

Least-Action-Guided Diffusion for Physical Extrapolation

전산 물리학(computational physics)에서 생성 모델(generative model)의 신뢰할 수 있는 외삽(extrapolation)은 여전히 핵심적인 과제로 남아 있습니다. 시간, 매개변수, 또는 형상의 유한한 범위에서 학습된 모델은 학습 분포(training distribution) 외부에서 물리적으로 일관되지 않은 예측을 생성할 수 있기 때문입니다. 본 연구에서는 최소 작용 원리 기반 디퓨전(Least-Action-Principle-Guided Diffusion, LAPG)을 소개합니다. 이 프레임워크는 학습(training) 시 부과되는 제약 조건에만 의존하는 대신, 추론(inference) 과정에서 물리적 일관성을 보장합니다. 이 방법은 조건부 점수 기반 디퓨전 모델(conditional score-based diffusion model)과 작용(action)에서 유도된 물리적 가이던스 점수(physical guidance score)를 결합합니다. 첫 번째 단계에서 학습된 점수 모델은 분포 내(in-distribution) 제안을 생성하고, 두 번째 단계에서 작용 기반 변분 사전(action-based variational prior)이 이 제안을 목표 분포 외(out-of-distribution) 조건으로 정제(refine)합니다. 이러한 정식화는 최소 작용 원리를 미분 가능한 추론 시점 보정 메커니즘으로 변환하며, 종종 경험적 손실(loss) 균형 조정을 요구하는 점별(pointwise) 잔차 페널티에 대한 대안을 제공합니다. 자유 낙하, 보존적 및 소산적 스프링-질점 역학, 상호작용하는 점 와류, 매개변수화된 익형 주변의 포텐셜 유동을 포함한 대표적인 상미분 방정식 및 편미분 방정식 시스템에서 LAPG를 평가했습니다. 시간, 매개변수, 형상 외삽 테스트 결과, LAPG는 학습 시점 물리 정보 기반 베이스라인(baseline)과 비교하여 위상 드리프트(phase drift)를 줄이고, 소산 감쇠를 보존하며, 와류 운동을 포착하고, 익형 유동의 양력 응답을 개선했습니다.

arXiv:2601.22725v4cs.CV

OpenVTON-Bench: 제어 가능한 가상 피팅(VTON) 평가를 위한 대규모 고해상도 벤치마크

OpenVTON-Bench: A Large-Scale High-Resolution Benchmark for Controllable Virtual Try-On Evaluation

최근 디퓨전 모델의 발전은 가상 피팅(VTON) 시스템의 시각적 충실도를 크게 높였으나, 신뢰할 수 있는 평가는 여전히 지속적인 병목 현상으로 남아 있습니다. 기존 지표(metrics)는 세밀한 텍스처 디테일과 의미적 일관성을 정량화하는 데 어려움을 겪으며, 기존 데이터셋은 규모와 다양성 면에서 상업적 표준을 충족하지 못합니다. 본 연구에서는 약 10만 개의 고해상도 이미지 쌍(최대 $1536 \times 1536$)으로 구성된 대규모 벤치마크인 OpenVTON-Bench를 제안합니다. 해당 데이터셋은 의미적으로 균형 잡힌 샘플링을 위한 DINOv3 기반 계층적 군집화와 Gemini 기반 밀집 캡셔닝(dense captioning)을 사용하여 구성되었으며, 20개의 세밀한 의류 카테고리에 걸쳐 균일한 분포를 보장합니다. 신뢰할 수 있는 평가를 지원하기 위해, 배경 일관성, 아이덴티티 충실도, 텍스처 충실도, 형태 타당성, 전반적인 사실성이라는 5가지 해석 가능한 차원에서 VTON 품질을 측정하는 멀티모달 프로토콜을 제안합니다. 이 프로토콜은 VLM(비전-언어 모델) 기반 의미적 추론과 SAM3 분할 및 형태학적 침식(morphological erosion)에 기반한 새로운 멀티스케일 표현 지표를 통합하여, 경계 정렬 오류와 내부 텍스처 아티팩트를 분리해낼 수 있게 합니다. 실험 결과는 인간 판단과 강한 일치를 보여주며(켄달의 타우 $τ$ 0.833 vs SSIM의 0.611), VTON 평가를 위한 견고한 벤치마크를 확립합니다.

arXiv:2603.12901v2stat.ML

디퓨전 모델에서의 데이터 통계 학습 이론: 단순한 것에서 복잡한 것으로

A theory of learning data statistics in diffusion models, from easy to hard

디퓨전 모델이 강력한 생성 모델 클래스로 등장했지만, 그 학습 역학은 여전히 잘 이해되지 않고 있습니다. 우리는 먼저 자연 이미지로 학습된 표준 디퓨전 모델이 분포적 단순성 바이어스(distributional simplicity bias)를 보이며, 고차 상관관계로 특화되기 전에 단순한 쌍별(pair-wise) 입력 통계를 학습한다는 것을 경험적으로 보여줌으로써 이 문제를 다룹니다. 우리는 입력의 쌍별 및 고차 상관관계를 정밀하게 제어할 수 있는 최소 데이터 모델인 혼합 누적량 모델(mixed cumulant model)로 학습된 간단한 디노이저에서 이 동작을 재현합니다. 우리는 쌍별 및 고차 상관관계 학습의 샘플 복잡도를 규정하는 모델의 스칼라 불변량을 식별했으며, 이를 다른 학습 패러다임의 관련 불변량과 유사하게 디퓨전 정보 지수(diffusion information exponent)라고 부릅니다. 이 불변량을 사용하여, 우리는 디노이저가 선형 샘플 복잡도로 입력의 단순한 쌍별 통계를 학습하는 반면, 4차 누적량(fourth cumulant)과 같은 더 복잡한 고차 통계는 최소 3차 샘플 복잡도가 필요함을 증명합니다. 또한, 쌍별 및 고차 통계가 상관된 잠재 구조를 공유하는 경우 4차 누적량 학습의 샘플 복잡도가 선형임을 증명합니다. 우리의 연구는 디퓨전 모델이 점점 복잡해지는 분포를 학습할 수 있는 방법에 대한 핵심 메커니즘을 설명합니다.

arXiv:2606.12245v1cs.IR

DiffCold: 콜드 스타트 아이템 추천을 위한 디퓨전 기반 생성 모델

DiffCold: A Diffusion-based Generative Model for Cold-Start Item Recommendation

콜드 스타트 아이템 추천에서 발생하는 시소 딜레마(seesaw dilemma)를 해결하기 위해 DiffCold라는 디퓨전 기반 생성 모델을 제안한다. 조건부 디퓨전과 검색 강화 집계기, 시뮬레이션 기반 표현 정렬을 통해 웜 아이템과 콜드 아이템의 표현을 통합하여 벤치마크에서 최신 방법론을 모두 능가하는 성능을 보였다.

arXiv:2606.07356v1cs.SD

DirectAudioEdit: 확산 예측 대비를 통한 인버전 없는 텍스트 기반 오디오 편집

DirectAudioEdit: Inversion-Free Text-Guided Audio Editing via Diffusion Prediction Contrast

텍스트 기반 오디오 편집은 편집과 무관한 원본 구성 요소를 보존하면서 언어로 지정된 음향 콘텐츠를 수정하는 것을 목표로 합니다. 기존의 학습 없는(training-free) 방법들은 주로 인버전(inversion) 기반 편집에 의존합니다. 인버전 없는 편집은 계산 오버헤드와 재구성 오차를 줄여주기 때문에 매력적이지만, 오디오 편집 분야에서는 대부분 탐구되지 않은 상태로 남아 있습니다. 핵심 과제는 확산 디노이징(denoising) 역학을 통해 원본에서 목표로의 편집 경로를 구성하는 것입니다. 본 논문에서는 오디오 편집을 위한 학습 없고 인버전 없는 방법을 개발하려는 첫 번째 시도인 DirectAudioEdit을 소개합니다. 두 가지 백본(backbone)에 걸친 음악 및 이벤트 수준 벤치마크(benchmark)에 대한 실험 결과, DirectAudioEdit은 DDPM 인버전과 비교하여 매크로 평균 FAD와 KL을 각각 15.9%와 15.8% 감소시키면서 최대 64.5%의 편집 속도 향상을 달성함을 보여줍니다.

arXiv:2512.20963v3cs.LG

확산 모델의 일반화는 균형 잡힌 표현 공간에서 발생한다

Generalization of Diffusion Models Arises with a Balanced Representation Space

확산 모델은 고품질이고 다양한 샘플을 생성하는 데 탁월하지만, 학습 목표에 과적합되면 학습 데이터를 암기할 위험이 있다. 우리는 표현 학습의 관점에서 확산 모델에서 암기와 일반화의 차이를 분석한다. 2층 렐루(ReLU) 디노이징 오토인코더(DAE)를 조사함으로써, (i) 암기는 모델이 인코딩 및 디코딩을 위해 학습된 가중치에 원본 학습 샘플을 저장하는 것에 해당하며 국소적으로 뾰족한(spiky) 표현을 산출하는 반면, (ii) 일반화는 모델이 지역적 데이터 통계를 포착할 때 발생하여 균형 잡힌 표현을 생성한다는 것을 증명한다. 또한 실제 무조건(unconditional) 및 텍스트-이미지(text-to-image) 확산 모델에서 이러한 이론적 발견을 검증하여, 동일한 표현 구조가 깊은 생성 모델에서도 출현하며 이는 실용적으로 중요한 함의를 갖는다는 것을 보여준다. 이러한 통찰을 바탕으로, 암기를 탐지하는 표현 기반 방법과 표현 스티어링(representation steering)을 통해 정밀한 제어가 가능한 학습 없는(training-free) 편집 기법을 제안한다. 종합적으로, 우리의 결과는 우수한 표현 학습이 새롭고 의미 있는 생성 모델링의 핵심임을 강조한다.