PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02208v3cs.CV

Sphere Encoder 2

Sphere Encoder 2

Sphere Encoder는 고차원 잠재 구(high-dimensional latent sphere)에서 무작위 포인트를 디코딩하여 이미지를 생성하는 오토인코더(autoencoder)입니다. 본 논문에서는 생성 품질을 저하시키는 기존 수식의 두 가지 한계점을 규명합니다. 첫째, 인코딩된 잠재 공간에서 극(pole)을 기준으로 무작위 포인트들이 적도(equator) 부근에 집중되지만, 학습 회전은 이 영역에 도달하지 못해 격차가 발생하며 이는 원스텝(one-step) 생성을 제한합니다. 둘째, 픽셀 단위 재구성 손실로 생성 학습을 수행하면 디코더가 그럴듯한 이미지들을 평균화하도록 유도되어 고주파 세부 정보(high-frequency details)가 결여된 흐릿한 이미지가 생성됩니다. 이러한 두 가지 한계를 해결하기 위해 Sphere Encoder 2를 제안하며, 오토인코더의 속도와 단순성을 유지하면서도 이미지 생성 품질을 대폭 향상시킵니다. 모델은 https://github.com/kaiyuyue/sphere2 에서 공개됩니다.

arXiv:2609.06324v5cs.CL

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

arXiv:2609.35763v4cs.LG

단일 단계 시각 생성을 위한 분포 학습의 통합

Unifying Distributional Training for One-Step Visual Generation

분포 학습(distributional training)은 동결된 표현 공간에서 실제 특징과 생성된 특징을 매칭하여 단일 단계 시각 생성을 위한 집단적 감독을 제공합니다. 본 논문에서는 분포 모델링을 매칭 불일치로부터 분리하고, 바서슈타인 그래디언트 흐름(Wasserstein gradient flow)을 통해 전역 목적함수를 점별(pointwise) 특징 업데이트와 연결하는 통합 이론적 프레임워크를 소개합니다. 이 프레임워크 아래에서 FD-Loss와 가우시안 커널 드 리프팅(Gaussian-kernel Drifting)은 각각 가우시안 최적 수송 및 커널 밀도 기반 KL 매칭을 통해 복원됩니다. 이 프레임워크를 기반으로, 전역 모멘트와 샘플 기반 표현 사이의 조정 가능한 세분성으로 가우시안 혼합을 통해 특징 분포를 모델링하는 MGFlow를 제안합니다. MGFlow는 최적 수송과 스코어 기반 매칭을 모두 지원하며, 혼합 표현력만으로는 해결되지 않는 모드 붕괴(mode collapse)를 해결하기 위해 질량 제약 샘플 할당과 쌍을 이루는 컴포넌트 업데이트를 결합합니다. ImageNet $256\times256$에서 MGFlow는 FD-Loss 기준선을 크게 능가하여 pMF-H에서 1.45 $\mathrm{FDr}^6$, JiT-H에서 1.64를 기록하며 최고 성능(SOTA)을 달성했습니다. 텍스트-이미지 생성의 경우, MGFlow는 FLUX.2 [klein] 4B를 사후학습(post-training)하여 GenEval과 PickScore 모두에서 기존 4단계 모델을 능가하는 단일 단계 생성기로 변환합니다.

arXiv:2610.03626v1cs.AI

단일 단계 생성 모델에서의 시간으로서의 깊이

Depth as Time in One-Step Generative Models

증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.

arXiv:2609.39271v2cs.LG

RW-Flow: 바서슈타인 그래디언트 흐름을 통한 컴팩트 다양체 상에서의 원스텝 생성

RW-Flow: One-Step Generation on Compact Manifolds via Wasserstein Gradient Flows

지진과 같은 지리공간적 사건의 위치부터 3차원 구조에 관한 정보를 인코딩하는 생체분자 비틀림 각도에 이르기까지, 다양체 값 데이터(manifold-valued data) 및 이로 인해 유도되는 분포는 여러 영역에 걸쳐 널리 나타납니다. 확산(diffusion) 및 흐름 기반(flow-based) 생성 모델이 컴팩트 다양체(compact manifold)로 성공적으로 확장되었으나, 샘플링에는 일반적으로 수십에서 수백 번의 순차적 네트워크 평가가 필요합니다. 본 논문에서는 바서슈타인 그래디언트 흐름(Wasserstein gradient flow)을 통해 컴팩트 다양체 상에서 원스텝 생성 모델을 학습하기 위한 이론적으로 확립된 프레임워크인 RW-Flow를 소개합니다. 주요 과제는 식별가능성(identifiability)입니다. 즉, 속도장(velocity field)을 0으로 만드는 것이 모델 분포가 목표 분포와 일치함을 보장해야 합니다. 본 연구에서는 컴팩트 연결 리만 다양체(compact, connected Riemannian manifold) 상에서 식별가능성을 위한 필요충분조건을 확립합니다. 구체적으로 대칭적이고 립시츠 연속(Lipschitz-continuous)인 비용 함수에 대해, 싱크혼 발산(Sinkhorn divergence)에 의해 유도된 속도장이 식별가능할 필요충분조건은 연관된 깁스 커널(Gibbs kernel)이 비퇴화(nondegenerate)인 경우임을 보입니다. 이러한 특성화는 컴팩트 다양체 상에서 식별가능한 비용을 설계하기 위한 일반적인 원칙을 제공합니다. 또한 유클리드 제곱 거리의 자연스러운 다양체 대응물인 측지선 제곱 거리(squared geodesic distance)가 항상 식별가능성을 보장하는 것은 아님을 밝힙니다. 지리공간적 사건, 단백질 측쇄 비틀림 각도, RNA 백본 비틀림 각도, 삼각형 메시로 이산화된 일반 다양체를 포함하는 벤치마크 전반에서, RW-Flow는 공정한 비교 조건 하에 거의 모든 설정에서 기존 원스텝 방식보다 우수한 성능을 보입니다.

arXiv:2607.20883v1cs.CV

WhereEdit: 원스텝 이미지 편집을 위한 마스크 인식 로컬 잠재 편집

WhereEdit: Mask-aware Local Latent Editing for One-Step Image Editing

최근 원스텝 텍스트-투-이미지(T2I) 모델은 효율적인 이미지 합성을 가능하게 하며 실시간 이미지 편집에 새로운 기회를 제공한다. 그러나 기존 원스텝 편집 방법은 주로 의미 변환을 위해 텍스트 조건화(text conditioning)에 의존하여, 편집할 위치(where)에 대한 명시적 공간 제어가 부족하다. 더 중요한 것은, 공간적 제약이 도입되더라도 이러한 방법들은 대상 영역 내에서 강력하고 안정적인 의미 수정을 달성하는 데 종종 어려움을 겪는다는 점이다. 본 연구에서는 공간적으로 제어된 관점에서 원스텝 이미지 편집을 재검토하고 두 가지 핵심 과제를 확인한다: 편집 가능한 영역을 발견하는 것과 효과적인 국소화된 의미 변환을 달성하는 것. 기존 방법들이 전역적 의미 전송(global semantic transport)을 수행하며, 이는 원스텝 설정에서 고강도 국소 편집을 제한한다는 점을 밝힌다. 이 문제를 해결하기 위해, 원스텝 편집을 국소화 적응형 편집(localized adaptive editing)으로 재공식화하는 프레임워크 WhereEdit을 제안한다. WhereEdit은 내부 모델 특징에서 의미적으로 관련된 영역을 자동으로 식별하고, 적응형 국소 변조(adaptive local modulation)를 적용하여 대상 영역 편집을 강화하는 동시에 비대상 영역과 구조적 일관성을 보존한다. PIE-Bench 벤치마크에서의 실험은 WhereEdit이 기존 원스텝 이미지 편집 방법들을 일관되게 능가하며, 원스텝 생성의 효율성을 유지하면서 우수한 편집 품질을 달성함을 보여준다. 영역 수준 감독(region-level supervision)을 활용한 추가 실험은 고품질 원스텝 이미지 편집을 위해 명시적 공간 추론(spatial reasoning)의 중요성을 더욱 부각한다.

arXiv:2605.09235v2cs.LG

Mean Flow 학습에서의 분산 감소에 관하여

On Variance Reduction in Learning Mean Flows

MeanFlow 학습의 고질적 불안정성(손실 미감소, 그래디언트 분산 폭발)이 조건부 속도 필드를 JVP 접선(tangent)으로 사용할 때 몬테카를로 제어 변량(control variate) 계수를 잘못 할당한 데서 비롯됨을 이론적으로 규명하고, 최적 계수를 닫힌 형식으로 도출하여 동시 연구들의 다양한 수정 방법이 동일한 최적값의 실현임을 통합적으로 설명한다. ImageNet 기반 latent DiT 실험에서 그래디언트-MSE를 최소화하는 계수(β≈0.94)와 FID를 최소화하는 계수가 일치하지 않는 FID-MSE 경관 불일치를 정량적으로 확인하였다.