PyTorchKR Papers

최신 논문

총 84편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.06553v2cs.CV

RGB 생성에서 밀집 필드 판독으로: 텍스트-이미지 모델을 활용한 픽셀 공간 밀집 예측

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

ReChannel은 텍스트-이미지 생성 모델(FLUX-Klein 기반)의 DiT 백본을 밀집 예측(dense prediction)에 재활용할 때, 기존처럼 타깃을 VAE 잠재 공간에 인코딩-디코딩하는 생성적 출력 인터페이스를 제거하고, 각 공간 토큰을 태스크 고유의 픽셀 패치로 직접 매핑하는 토큰-로컬 선형 헤드(약 33K 파라미터)로 대체한다. 트리맵 없는 매팅, KITTI 깊이, 지칭 분할에서 최첨단 성능을 달성하면서 동일한 4B 설정에서 기존 편집-잠재 디코드 방식 대비 2.48배 빠른 추론 속도를 보인다.

arXiv:2605.16147v2cs.CV

레지스터 토큰은 픽셀 공간 확산 트랜스포머에 중요하다

Registers Matter for Pixel-Space Diffusion Transformers

확산 트랜스포머(DiT)는 ViT와 달리 패치 토큰 이상값이 없음에도 불구하고 레지스터 토큰 추가 시 생성 품질이 향상되며, 특히 잠재 공간보다 픽셀 공간 DiT에서 효과가 크다는 것을 실험적으로 분석하였다. 이를 바탕으로 레지스터 토큰이 시각적 구조와 일관성 개선에 기여하는 방향을 증폭시키는 Register Guidance 기법을 제안하여 최신 픽셀 공간 DiT의 성능을 일관되게 향상시켰다.

arXiv:2605.13974v2cs.CV

소수의 채널이 전체 그림을 그린다: 디퓨전 트랜스포머의 대규모 활성화 규명

Few Channels Draw The Whole Picture: Revealing Massive Activations in Diffusion Transformers

DiT(Diffusion Transformer) 내부의 소수 은닉 채널인 대규모 활성화(massive activation)가 단순한 이상값이 아니라 프롬프트 조건부 의미 정보를 구성·제어하는 희소 반송파 부분공간임을 채널 교란 실험, 공간 클러스터링, 활성화 이식(transport) 세 가지 방법으로 입증한다. 이 대규모 활성화를 한 생성 궤적에서 다른 궤적으로 이식하는 것만으로 추가 학습 없이 프롬프트 보간 및 피사체 기반 생성이 가능함을 FLUX, SANA 등 최신 모델에서 확인하였다.

arXiv:2607.03803v1cs.CV

CineMobile: 영화적 카메라 모션 생성을 위한 온디바이스 이미지-투-비디오 디퓨전

CineMobile: On-Device Image-to-Video Diffusion for Cinematic Camera Motion Generation

모바일 기기에서의 이미지-투-비디오 생성에 대한 수요가 증가함에 따라, 불릿 타임(bullet time), 달리 줌(dolly zoom), 슬로모션 등 영화적 모션 효과에 대한 관심이 높아지고 있다. 디퓨전 트랜스포머(Diffusion Transformers, DiTs)는 비디오 생성에서 우수한 성능을 보이지만, 방대한 매개변수 크기와 다단계 반복적 디노이징 과정으로 인해 상당한 연산 부담이 발생하여 모바일 기기에서의 효율적인 생성이 어렵다. 우리는 이 격차를 해소하기 위해 CineMobile을 제안한다. 구체적으로, CineMobile은 세 가지 최적화 전략을 채택한다: (1) 지식 증류 기반 가지치기 방식을 활용하여 영화적 효과에 필요한 핵심 비디오 생성 능력을 유지하면서도 컴팩트하고 효율적인 모델을 도출하고; (2) 디퓨전 증류와 강화학습의 조합을 통해 압축된 모델을 4단계 생성기로 최적화하며; (3) 하이브리드 사후 학습 양자화 전략을 적용하여 모델 용량을 1 GB 이하로 압축한다. 실험 결과, Wan 2.1 아키텍처의 교사 모델 대비 CineMobile은 유사한 시각적 품질을 유지하면서 생성 속도를 40배 향상시켰다. 구체적으로, CineMobile은 NVIDIA H200 GPU에서 단계당 디노이징 지연 시간 0.6초, MediaTek Dimensity 8400 Ultimate 5G 플랫폼에서 20초로 49프레임 480p 비디오를 생성하며, 최대 메모리 사용량은 1.8 GB로, 모바일 기반 이미지-투-비디오 생성의 실용적 적용 가능성을 입증한다.

arXiv:2607.03180v1cs.CV

FairFlow: 텍스트-이미지 확산 트랜스포머의 스테레오타입 바이어스 규명 및 완화

FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers

멀티모달 확산 트랜스포머(MM-DiT)는 현대 텍스트-이미지 생성 시스템의 주류 백본으로 부상했다. 그러나 이 모델들은 치명적인 정렬 취약점을 내포하고 있어, 무해한 프롬프트에서도 심각한 스테레오타입 바이어스를 체계적으로 드러낸다. 이는 배포된 시스템에서 알고리즘적 차별이라는 중대한 위험을 초래한다. 기존 완화 전략의 대부분이 레거시 U-Net 아키텍처에 맞게 설계되었기 때문에, MM-DiT에서 이러한 취약점을 정밀하게 교정하는 것은 여전히 미해결 과제로 남아 있다. 본 연구에서는 먼저 기계론적 분석을 통해 이 취약점의 근본 원인을 규명한다. MM-DiT에서 바이어스 표현이 깊이 방향으로 균일하게 분포되지 않고, 내부 의미적 바인딩 허브로 기능하는 소수의 레이어들에 의해 매개된다는 사실을 밝힌다. 이 허브들은 단계별 전파 방식으로 바이어스 발현을 주도한다: 초기 허브는 바이어스에 취약한 구조적 템플릿을 형성하고, 중간 허브는 텍스트 조건화로부터 핵심 스테레오타입 개념을 능동적으로 추출하며, 후기 허브는 시각적 셀프 어텐션을 통해 이러한 바이어스를 전역적으로 고착시킨다. 이러한 아키텍처적 인사이트를 바탕으로, 우리는 내재적·기제 기반 완화 프레임워크인 FairFlow를 제안한다. FairFlow는 희소 조정(sparse steering)을 적용하는 내부 조절자로서, 속성별 공정한 방향을 학습하고 이를 제한된 추론 윈도우 내에서 식별된 의미적 허브에만 주입한다. FLUX.1-dev 및 Stable Diffusion 3에 대한 평가에서 FairFlow는 성별, 인종, 교차적 설정 전반에 걸쳐 스테레오타입 취약점을 효과적으로 중화하며 최적의 공정성-충실도 균형을 달성함을 보인다. 추론 오버헤드가 거의 없고 복잡한 프롬프트에도 강건한 FairFlow는 대규모 배포 MM-DiT 시스템을 위한 경량의 실용적인 바이어스 완화 방법을 제공한다. 코드와 데이터셋은 논문 승인 후 공개될 예정이다.

arXiv:2607.02968v1cs.CV

확산 트랜스포머 깨우기: 대규모 활성화 변조를 통한 강력한 생성 및 이해 능력 유도

Awakening Diffusion Transformers: Eliciting Stronger Generation and Understanding via Massive Activation Modulation

대규모 활성화(Massive Activations, MAs)는 트랜스포머 기반 모델에서 널리 관찰되어 왔으나, 확산 트랜스포머(Diffusion Transformers, DiTs)에서의 구조와 기능적 역할은 아직 충분히 이해되지 않고 있다. 본 연구에서는 대표적인 DiTs에서 MAs를 체계적으로 분석하고, 이들이 이미지 토큰 전반에 걸쳐 공간적으로 분포하면서 소수의 고정된 특징 차원에 집중된다는 사실을 발견하였다. 또한 이러한 차원들이 AdaLN 잔차 스케일링 인수와 밀접하게 정렬되어 있으며, 텍스트 조건이 아닌 노이즈 제거 타임스텝에 의해 주로 변조된다는 것을 보인다. 이 구조는 태스크에 따라 두 가지 상이한 효과를 초래한다: 생성의 경우 MAs는 세밀한 디테일 합성에 중요한 반면 전역적 의미론에는 제한적인 영향을 미치며, 이해의 경우 공유된 고크기 방향으로 인해 원시 DiT 특징이 공간 토큰 간에 지나치게 유사해져 밀집 특징 변별력이 약화된다. 이러한 발견에 기반하여, 우리는 DiTs의 생성 및 표현 능력을 모두 향상시키기 위해 MAs를 통합 변조 신호로 활용하는 학습-불필요 프레임워크 EMA(Eliciting Massive Activation)를 제안한다. 생성 측면에서 EMA는 MA 기반 디테일 가이던스(Detail Guidance, DG)를 제안하는데, 이는 MA 차원을 억제하여 디테일이 결핍된 반사실적(counterfactual) 예측을 구성하고 더 세밀한 시각적 디테일을 향해 샘플링을 유도한다. DG는 효율적인 부분 순전파 추론, 분류기 없는 가이던스(classifier-free guidance)와의 통합, 그리고 선택된 이미지 영역을 정제하는 토큰 수준 Local DG를 추가로 지원한다. 이해 측면에서 EMA는 MA 변조 표현 추출(MA-modulated REPresentation extraction, MREP)을 도입하는데, 이는 사전학습된 AdaLN 채널별 변조를 사용하여 MA 방향적 우세성을 줄이고 유용한 공간 구조를 보존하기 위해 공간적으로 정규화된 MA 맵을 연결한다. 광범위한 실험을 통해 EMA가 DiTs의 생성 품질과 표현 능력을 모두 일관되게 향상시킴을 입증한다.

arXiv:2607.01825v1cs.CV

수중 현저 객체 검출을 위한 조건부 생성의 재고찰

Rethinking Conditional Generation for Underwater Salient Object Detection

수중 이미지의 산란·흡수로 인한 저대비, 색상 왜곡, 경계 모호성 문제를 해결하기 위해, 조건부 특징의 신뢰성에 초점을 맞춘 열화 인식 조건부 생성 네트워크(DCGNet)를 제안한다. DMG·UPP·USG 모듈로 다중 스케일 표현, 물리 기반 열화 복원, 공간 가우시안 현저성 사전을 구성하고 경량 타임스텝 적응형 DiT 병목을 결합하여, USOD10K 등 5개 벤치마크에서 기존 최고 성능 방법들을 크게 능가하는 결과를 달성했다.

arXiv:2607.01743v1cs.CV

InterCMDM: 자기회귀적 인간 상호작용 생성을 위한 블록-인과 디퓨전

InterCMDM: Block-Causal Diffusion for Autoregressive Human Interaction Generation

InterCMDM은 텍스트 조건부 두 사람 동작 생성에서 인과성 보존과 파트너 간 협응을 동시에 달성하기 위해, 각 사람별 인과 스트림을 분리 유지하면서 다중 태스크 어텐션 마스크로 상호작용을 모델링하는 블록-인과 잠재 디퓨전 프레임워크를 제안한다. InterHuman 및 Inter-X 벤치마크에서 최고 성능을 달성하며 텍스트-모션 정렬, 사실성, 장기 연속성을 향상시켰다.

arXiv:2607.01677v1cs.CV

ICDepth: 문맥 내 컨디셔닝을 통한 비디오 깊이 추정을 위한 비디오 확산 모델 길들이기

ICDepth: Taming Video Diffusion Models for Video Depth Estimation via In-Context Conditioning

사전학습된 텍스트-투-비디오 확산 트랜스포머를 문맥 내 컨디셔닝(In-Context Conditioning) 방식으로 적용한 ICDepth 프레임워크를 제안하며, 노이즈 오염을 방지하는 SAND-Attention과 DINOv2 기반의 기하학적 정밀도를 강화하는 SRFM을 핵심 구성요소로 도입했다. 경쟁 생성 모델 대비 6~13배 적은 80만 프레임만으로 학습하면서도 다수의 벤치마크에서 최고 성능을 달성하고, 야간·수중·안개 환경 등 다양한 도메인에 대한 강력한 제로샷 일반화를 입증했다.

arXiv:2607.00766v1cs.CV

분리된 가이던스: 텍스트-이미지 개인화에서 주체와 맥락 경로의 분리

Decoupled Guidance: Disentangling Subject and Context Pathways in Text-to-Image Personalization

텍스트-이미지 개인화에서 주체 정체성(충실도)과 장면 맥락(편집 가능성)이 동일한 어텐션 자원을 두고 경쟁하는 컨디셔닝 얽힘(conditioning entanglement) 문제를 분석하고, 이를 해결하기 위해 두 조건을 독립적인 가이던스 스트림으로 분리하는 플러그앤플레이 프레임워크 Decoupled Guidance(DeGu)를 제안한다. DeGu는 Context-Agnostic Embeddings(CAE), Decoupled Guidance Mixer(DGM), Test-time Cross-Attention Masking(TCAM)으로 구성되며, SD v3.5 및 flow-matching 기반 Diffusion Transformer(DiT)를 포함한 다양한 백본에서 기존 개인화 방법의 성능을 일관되게 향상시킨다.

arXiv:2601.11641v3cs.CV

Mixture of Distributions Matters: Dynamic Sparse Attention for Efficient Video Diffusion Transformers

비디오 생성용 Diffusion Transformer(DiT)의 셀프-어텐션 이차 복잡도 문제를 해결하기 위해, MOD-DiT는 어텐션 맵이 블록-대각선, 주대각선 평행, 수직 세 가지 패턴의 동적 혼합으로 구성된다는 사실을 활용하여 샘플링 없이 디노이징 단계별 스파스 마스크를 선형 근사로 예측한다. 다수의 벤치마크에서 Wan2.1 대비 1.75×, HunyuanVideo 대비 2.05× 추론 가속을 달성하면서 생성 품질을 유지함을 입증했다.

arXiv:2511.18050v1cs.CV

UltraFlux: Data-Model Co-Design for High-quality Native 4K Text-to-Image Generation across Diverse Aspect Ratios

Diffusion transformers have recently delivered strong text-to-image generation around 1K resolution, but we show that extending them to native 4K across diverse aspect ratios exposes a tightly coupled failure mode spanning positional encoding, VAE compression, and optimization. Tackling any of these factors in isolation leaves substantial quality on the table. We therefore take a data-model co-design view and introduce UltraFlux, a Flux-based DiT trained natively at 4K on MultiAspect-4K-1M, a 1M-image 4K corpus with controlled multi-AR coverage, bilingual captions, and rich VLM/IQA metadata for resolution- and AR-aware sampling. On the model side, UltraFlux couples (i) Resonance 2D RoPE with YaRN for training-window-, frequency-, and AR-aware positional encoding at 4K; (ii) a simple, non-adversarial VAE post-training scheme that improves 4K reconstruction fidelity; (iii) an SNR-Aware Huber Wavelet objective that rebalances gradients across timesteps and frequency bands; and (iv) a Stage-wise Aesthetic Curriculum Learning strategy that concentrates high-aesthetic supervision on high-noise steps governed by the model prior. Together, these components yield a stable, detail-preserving 4K DiT that generalizes across wide, square, and tall ARs. On the Aesthetic-Eval at 4096 benchmark and multi-AR 4K settings, UltraFlux consistently outperforms strong open-source baselines across fidelity, aesthetic, and alignment metrics, and-with a LLM prompt refiner-matches or surpasses the proprietary Seedream 4.0.

arXiv:2606.30934v1cs.LG

Quality-Aware Modulation for Diffusion Transformers

Modern text-to-image diffusion models, such as diffusion transformers (DiT), rely on timestep or prompt embeddings to modulate the strength of the denoising process in each timestep. While this modulation communicates the current noise level, it does not provide any quality-aware information, which can lead to generated images that are unaligned, visually inconsistent, and lacking in fidelity. In this paper, we propose the Quality Representation Module (QRM), a lightweight transformer module that learns a quality-aware representation based on existing model inputs, and produces a set of vectors $M_{qrm}$. These vectors adjust the adaptive LayerNorm modulation within the DiT transformer blocks, thereby injecting a quality-sensitive signal into the denoising parameters. The QRM introduces no significant changes to the sampling schedule or diffusion backbone. Experiments include ablations on QRM training losses and architectures, as well as empirical results demonstrating consistent image quality improvements over baseline DiT-based models.

arXiv:2606.30045v1cs.CV

임플리시트 공간에서 걷기: 신경 장면 표현을 통한 인터랙티브 세계 탐험

Walking in the Implicit: Interactive World Exploration via Neural Scene Representation

카메라 제어 세계 탐험을 위한 인터랙티브 비디오 생성 시스템은 점점 늘어나는 잠재 비디오 프레임 시퀀스를 롤아웃하며, 상태 전이와 고주파 관측 합성을 서로 얽히게 한다. 우리는 롤아웃 변수를 프레임 잠재 변수에서 고정 길이의 렌더링 가능한 임플리시트 상태인 신경 임플리시트 장면(Neural Implicit Scene, NIS)으로 변경하는 장면 중심 패러다임 Walking in the Implicit을 제안한다. 이는 인터랙티브 생성을 압축된 장면 상태의 확률적 전이와 샘플링된 상태에 조건부로 수행되는 결정론적 포즈 조건부 렌더링으로 분해한다. 우리는 이 패러다임을 NeuWorld로 구현한다: 트랜스포머 VAE는 희소한 포즈드 프레임으로부터 국소적으로 고정된 NIS를 학습하고, 확산 트랜스포머는 미래 카메라 궤적과 기하학 인식 검색 히스토리를 조건으로 NIS를 발전시킨다. VAE 인코더를 통합 조건화 장치로 재사용함으로써, NeuWorld는 카메라, 참조 이미지, 히스토리 단서를 동일한 NIS 모달리티로 매핑하여 외부 이종 인코더를 사용하지 않는다. 사전학습된 비디오 백본이나 보조 3D 재구성기 없이 공개된 포즈드 뷰 데이터로 처음부터 학습된 NeuWorld는 우수한 추론 효율성과 함께 강력한 장기 일관성을 달성한다.

arXiv:2606.27760v1cs.CV

PixelU: 효율적인 End-to-End 픽셀 확산을 위한 U형 트랜스포머

PixelU: A U-Shaped Transformer for Efficient End-to-End Pixel Diffusion

End-to-end 픽셀 공간 확산 모델은 잠재 확산 모델(Latent Diffusion Models, LDM)의 손실 압축을 우회하지만, 고차원 공간에서 저주파 의미와 고주파 신호를 공동으로 모델링하는 데 어려움을 겪는다. 기존 연구들은 이 문제를 완화하기 위해 복잡한 픽셀 디코더에 크게 의존한다. 본 논문에서는 이러한 추세에 도전하며, 이러한 디코더가 주로 속도 예측(velocity prediction, $v$-prediction)에 내재된 최적화(optimization) 난점을 보완하는 역할을 한다는 점을 밝힌다. 클린 데이터 패러다임(clean data paradigm, $x$-prediction) 하에서는 이들은 중복된다. 이 통찰에 동기 부여되어, 우리는 복잡성보다 단순함을 옹호하고 픽셀 공간에 맞춘 미니멀리스트형 단일 단계 U형 확산 트랜스포머(Diffusion Transformer)인 PixelU를 제안한다. PixelU는 보조 디코더를 버리고 무(無)비용 스킵 연결(skip connections)을 채택하며, 이는 손상되지 않은 고주파 공간 세부 정보를 얕은 층에서 깊은 층으로 직접 전달하는 "정보 고속도로(information highway)" 역할을 한다. 백본(backbone)이 저주파 의미만을 모델링하는 데 전적으로 집중할 수 있도록, 우리는 자연스러운 저역 통과 필터(low-pass filter)로서의 일정 채널(constant-channel) 공간 다운샘플링(spatial down-sampling) 메커니즘을 도입하여, 깊은 층의 특징(feature)을 압축적이고 저주파의 의미 매니폴드(semantic manifold)로 압축한다. 광범위한 실험을 통해, 이러한 주파수 분리(decoupling of frequencies)가 강력한 기준선(JiT-G)을 약 1/3의 연산 비용만으로 능가할 수 있음을 보여준다. ImageNet 256$\times$256 및 512$\times$512에서 PixelU는 각각 FID 1.63과 1.92를 달성하여, 최근 픽셀 공간 방식들을 능가하고 end-to-end 확산 모델을 위한 단순하면서도 강력한 새로운 패러다임을 정립한다.

arXiv:2603.09241v2cs.CV

RAE-NWM: 밀집 시각 표현 공간에서의 내비게이션 월드 모델

RAE-NWM: Navigation World Model in Dense Visual Representation Space

시각 내비게이션은 에이전트가 인식과 계획을 통해 복잡한 환경에서 목표에 도달해야 하기를 요구한다. 월드 모델은 동작 조건부 상태 전이를 시뮬레이션하여 미래 관측을 예측함으로써 이 과제를 다룬다. 현재 내비게이션 월드 모델은 일반적으로 변분 오토인코더(Variational Autoencoder)의 압축된 잠재 공간 내에서 동작 하의 상태 진화를 학습하며, 공간 압축이 세밀한 구조 정보를 종종 제거하여 정밀한 제어를 저해한다. 서로 다른 표현의 전파 특성을 더 잘 이해하기 위해, 우리는 선형 동역학 프로브를 수행하고 밀집 DINOv2 특징이 동작 조건부 전이에 대해 더 강한 선형 예측 가능성을 보인다는 것을 관찰한다. 이 관찰에 기반하여, 우리는 밀집 시각 표현 공간에서 내비게이션 동역학을 모델링하는 Representation Autoencoder 기반 내비게이션 월드 모델(RAE-NWM)을 제안한다. 우리는 연속적 전이를 모델링하기 위해 Decoupled Diffusion Transformer head(CDiT-DH)를 갖춘 Conditional Diffusion Transformer를 사용하고, 생성 중 동작 주입 강도를 조절하기 위해 동역학 조건화를 위한 별도의 시간 구동 게이팅 모듈을 도입한다. 광범위한 평가 결과, 이 공간에서 순차적 롤아웃을 모델링하는 것이 구조적 안정성과 동작 정확도를 향상시켜 하류 계획 및 내비게이션에 도움이 됨을 보여준다.

arXiv:2510.03117v2cs.CV

고급 모달리티 조건과 상호작용을 통한 텍스트-사운드 비디오 생성의 정교화

Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

본 연구는 도전적이면서도 유망한 과제인 텍스트-사운드 비디오(Text-to-Sounding-Video, T2SV) 생성에 초점을 맞춘다. 이는 텍스트 조건으로부터 동기화된 오디오를 갖춘 비디오를 생성하면서, 두 모달리티 모두 텍스트와 정렬되도록 하는 것을 목표로 한다. 공동 오디오-비디오 학습의 진전에도 불구하고, 두 가지 핵심 과제는 여전히 해결되지 않은 채 남아 있다: (1) 비디오용 텍스트와 오디오용 텍스트가 동일한 단일 공유 텍스트 캡션은 종종 모달 간섭을 유발하여 사전학습된 백본을 혼란스럽게 만들고, (2) 교차 모달 특징 상호작용을 위한 최적 메커니즘은 여전히 불명확하다. 이러한 과제를 해결하기 위해, 먼저 분리된 캡션 쌍—비디오 캡션과 오디오 캡션—을 생성하여 조건화 단계에서 간섭을 제거하는 계층적 시각 기반 캡셔닝(Hierarchical Visual-Grounded Captioning, HVGC) 프레임워크를 제안한다. HVGC를 기반으로, 대칭적이고 양방향적인 정보 교환을 가능하게 하여 의미적 및 시간적 동기화를 모두 달성하는 견고한 ``bridge'' 역할을 하는 Dual CrossAttention(DCA) 메커니즘을 채택한 새로운 이중 타워 확산 트랜스포머(dual-tower diffusion transformer)인 BridgeDiT를 추가로 도입한다. 인간 평가를 포함한 세 개의 벤치마크 데이터셋에 대한 광범위한 실험은 우리 방법이 대부분의 지표에서 최첨단(state-of-the-art) 결과를 달성함을 보여준다. 포괄적인 ablation 연구는 우리 기여의 효과를 추가로 검증하며, 향후 T2SV 과제에 대한 핵심 통찰을 제공한다. 모든 코드와 체크포인트는 공개적으로 배포될 예정이다.

arXiv:2606.26899v1cs.AI

메트릭 순서 시퀀스 학습과 하이브리드 정책 선호 최적화를 적용한 확산 트랜스포머 기반 생성형 검색

Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

세밀한 패턴을 표현하는 시드 집합에서 목표 속성을 만족하면서 동일 패턴을 유지하는 아이템을 찾는 패턴 보존 속성 검색을 연속 생성형 검색으로 풀기 위해 MO-DiT+HPPO를 제안한다. 메트릭 순서 연속 사전학습, 꼬리 중심 미세조정, 하이브리드 정책 선호 최적화(HPPO)와 파레토 쌍 필터로 쿼리 임베딩을 생성하며, 네 가지 속성 도메인에서 8개 분할 셀 중 7개에서 교집합 메트릭이 유의미하게 향상된다.

arXiv:2606.26769v1cs.AI

ResilPhase: 확산 가속을 위한 플러그 앤 플레이 위상 매핑 및 노이즈 내성 거시 궤적 외삽

ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration

확산 모델(DiT)의 높은 가속 비율에서 기존 cache-then-forecast 방식이 품질을 크게 떨어뜨리는 원인을 연속 궤적과 불일치한 외삽·도함수 불안정성으로 분석하고, ODE 공간에서 Global Drift를 도함수 없는 무심점 Lagrange 외삽과 유계 Phase Mapping으로 예측하는 ResilPhase를 제안한다. FLUX.1-dev와 HunyuanVideo에서 공격적 가속 조건에서도 최첨단 수준의 충실도를 유지하며, FLUX.1-dev와 HunyuanVideo에서 약 5배 속도 향상을 달성한다.

arXiv:2606.27364v1cs.CV

PhysiFormer: 월드 공간에서 역학을 시뮬레이션하도록 학습

PhysiFormer: Learning to Simulate Mechanics in World Space

본 논문은 물리적으로 그럴듯한 3D 객체 움직임을 위한 diffusion 트랜스포머인 PhysiFormer를 제안한다. 시점 의존적 픽셀 공간에서 동작하는 영상 world 모델과 달리, PhysiFormer는 객체를 월드 좌표계로 표현된 3D 메시로 나타낸다. 초기 정점 위치와 속도, 그리고 강체(rigid) 또는 탄성(elastic) 재질 유형이 주어지면, 모델은 미래 정점 궤적을 샘플링한다. 관련 신경 물리학 접근법들이 임의의 잠재 공간에 의존하거나 강성(rigidity)과 인과성(causality)을 명시적으로 강제하는 반면, PhysiFormer는 정점 궤적 예측을 월드 좌표에서 직접 단일 denoising diffusion 과정으로 공식화함으로써, 이러한 귀납적 편향(inductive bias) 없이도 우수한 결과를 얻을 수 있음을 보여준다. 확률적 공식화는 학습된 동역학의 불확실성을 포착하여 초기 조건으로부터 다양하고 그럴듯한 미래를 생성할 수 있게 하며, 관측되지 않은 불확실성이 존재하는 응용에 이 프레임워크가 유용할 수 있음을 시사한다. 이 모델은 효율성을 위해 시간, 공간, 객체에 대해 분해된 어텐션을 특징으로 하며, 명시적 객체 인코딩 없이도 순열 불변(permutation-invariant) 다중 객체 추론을 가능하게 한다. 10만 개 이상의 시뮬레이션 궤적로 학습된 PhysiFormer는 강체 및 탄성 역학을 생성하고, 혼합 재질 설정, 보지 못한 실세계 기하, 더 많은 객체 수로 일반화한다. 궤적 정확도, 강성 보존, 모멘텀 기반 물리적 일관성 측면에서 자기회귀(autoregressive) 기준선들을 크게 능가한다. 본 결과는 좌표 공간 diffusion이 로봇공학, 그래픽스, 물리 설계를 위한 시점 불변(view-invariant), 기하 인식(geometry-aware) world 모델링을 향한 유망한 단계임을 보여준다. 시각화, 코드, 모델은 https://yimingc9.github.io/physiformer 에서 확인할 수 있다.