PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27537v1cs.CV

MemoBench: 동적으로 변화하는 환경에서의 세계 모델링 벤치마킹

MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

비디오 생성 모델은 동적 환경을 시뮬레이션하고자 하며, 여러 벤치마크가 프레임 간 메모리 일관성을 평가하고 있다. 그러나 대부분은 대상이 시야에 머무르는 동안에만 일관성을 평가하며, 시야에서 사라지도록 강제하는 소수의 벤치마크도 가림(occlusion) 동안 아무것도 변하지 않는 정적 장면을 평가한다. 이 간극을 메우기 위해, 우리는 동적으로 변화하는 환경에서 사라짐-재등장(disappear-and-reappear) 패러다임을 중심으로 구축된 진단 벤치마크인 MemoBench를 도입한다. 대상 객체가 물리적 과정을 거친 뒤 시야에서 사라지고, 재등장 시 갱신된 상태로 올바르게 복원되어야 한다. 우리는 합성 및 실세계 장면에 걸친 360개의 정답(ground-truth) 클립을 큐레이션하고, 자동화된 지표와 시각적 질의응답(VQA) 기반 평가를 네 가지 진단 축에 걸쳐 결합한 평가 스위트를 설계한다. 8개의 최신(state-of-the-art) 모델에 대한 평가는 사라짐-재등장 패러다임 하에서의 메모리 일관성에 관한 핵심 통찰과 미해결 과제를 밝힌다.

arXiv:2606.27504v1cs.CV

ReWorld: 월드 액션 모델을 위한 더 나은 표현 학습

ReWorld: Learning Better Representations for World Action Models

월드 액션 모델(WAM)은 행동 조건부 하에서 미래 환경 진화를 모델링하며, 자율주행을 위한 확장 가능한 패러다임을 제공한다. 그러나 기존 접근법은 대체로 모델 아키텍처 설계에 집중하고 있으며, WAM이 계획을 위해 더 나은 세계 표현을 어떻게 효율적으로 학습할 수 있는지는 아직 충분히 탐구되지 않았다. 이 공백을 해소하기 위해, 우리는 자율주행 월드 액션 모델을 위해 특별히 설계된 최초의 표현 학습 프레임워크인 ReWorld를 제안한다. WAM에서 표준 학습은 생성 및 계획 모듈의 출력 단만을 감독하며, 세계 지식을 담은 중간 표현은 이러한 출력을 맞추는 부산물로만 간접적으로 형성된다. ReWorld의 핵심 아이디어는 중간 표현을 최적화의 직접적 목표로 간주하고, 세 가지 상보적 차원을 따라 이를 형성하는 것이다. 생성을 담당하는 Video DiT에 대해, 중간 표현에 미래 예측 감독을 부과한다. 계획을 담당하는 Action DiT에 대해, 먼저 중간 표현을 비디오 세계 표현과 교차 모달적으로 정렬하고, 이어 hard-negative 감독을 통해 안전 중요 경계 주변에서 판별력 있게 추가로 형성한다. 또한, 비디오 생성 월드 모델에서 기존 표현 학습 방법의 효과를 체계적으로 분석하고, 이 과제에서 그 성능이 제한적인 이유를 논의한다. nuScenes 및 NAVSIM에서의 실험은 ReWorld가 FVD에서 파인튜닝된 비디오 생성을 23.9% 개선하고(81.3에서 61.9), RL이나 후처리와 같은 사후 학습 없이 폐루프 PDMS를 89.1에서 90.4로 높이며, 처음부터의 수렴을 약 2배 가속한다는 것을 보여준다.

arXiv:2606.26551v2cs.CV

PhyEditBench: 물리 인식 이미지 편집을 위한 실세계 다단계 벤치마크

PhyEditBench: A Real-World Multi-Stage Benchmark for Physics-Aware Image Editing

지시 기반 이미지 편집 모델의 물리 기반 추론을 평가하기 위해 영상에서 추출한 238개 실세계 인스턴스와 35개 Anti-Physics 합성 샘플로 구성된 벤치마크 PhyEditBench를 제안하며, 현재 SOTA 편집 방법들의 물리적 이해 한계를 드러낸다. 테스트 시점 스케일링과 잠재 공간 축소를 활용한 학습 없는 기준선 PhyWorld는 영상 생성을 추론 메커니즘으로 활용해 유사 모델보다 우수한 성능을 보인다.

arXiv:2606.18610v3cs.RO

SC3-Eval: 자기 일관성 비디오 생성을 통한 로봇 파운데이션 모델 평가

SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation

실제 환경에서 범용 로봇 조작 정책을 평가하는 것은 비용이 많이 들고, 느리며, 확장하기 어렵습니다. 행동 조건부 비디오 월드 모델은 정책 롤아웃(rollout)을 시뮬레이션하여 확장 가능한 대안을 제공합니다. 자기회귀(autoregressive) 롤아웃은 오류가 누적되고, 여러 카메라 뷰에 걸친 관찰은 상호 일관성을 유지해야 하며, 평가자는 학습 분포 밖에 있는 행동을 보이는 정책으로 일반화되어야 합니다. 우리는 SC3-Eval을 통해 이러한 문제를 해결합니다. SC3-Eval은 세 가지 보완적인 형태의 일관성을 강제하여 사전 학습된 비디오 파운데이션 모델을 정확한 정책 평가자로 적용하는 자기 일관성 비디오 생성 방식입니다. 첫째, 순방향-역방향 역학(forward-inverse dynamics) 일관성은 모델이 행동에서 프레임을 예측하고 프레임에서 행동을 복구하도록 공동으로 학습시켜, 생성된 롤아웃을 물리적으로 타당한 행동 다양체(manifold)에 고정하고 순방향 전용 모델이 페널티를 부과할 수 없는 드리프트(drift)를 상쇄합니다. 둘째, 교차 뷰(cross-view) 일관성은 모델이 다른 뷰에서 각 카메라 뷰를 인페인트(inpaint)하도록 학습시켜, 명시적인 메모리 메커니즘 없이 긴 롤아웃에 걸쳐 다중 카메라 관찰이 응집되도록 유지합니다. 셋째, 테스트 타임(test-time) 일관성은 추론(inference) 시 역방향 역학 모드를 행동 청크(action chunk)별 불확실성 신호로 재사용하여, 생성된 프레임이 요청된 행동에서 벗어난 롤아웃을 종료합니다. 또한 SC3-Eval 롤아웃이 실제 환경 롤아웃에서 정책이 보여주는 실패 모드를 재현함을 입증하여, 단순한 집계 순위가 아닌 세밀한 진단 비교를 지원합니다. 7개의 실제 환경 비전-언어-행동(vision-language-action) 정책에 걸쳐 SC3-Eval은 $0.929$의 폐루프(closed-loop) 피어슨 상관계수와 $0.119$의 MMRV를 달성하여 3가지 강력한 기존 비디오 모델 기반 베이스라인을 능가했으며, 새로운 작업으로 일반화되었습니다.

arXiv:2604.17565v4cs.CV

UniGeo: 비디오 모델을 통한 카메라 제어 이미지 편집을 위한 기하적 가이던스 통합

UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models

연속적인 카메라 움직임에서 기하적 드리프트와 구조 퇴화를 일으키는 분절된 기하 가이던스 한계를, 비디오 모델의 연속 시점 prior와 표현·아키텍처·손실 함수 세 수준에 걸친 통합 기하 가이던스를 주입하는 UniGeo로 해결한다. 여러 공개 벤치마크의 광범위·제한적 카메라 움직임 설정에서 시각적 품질과 기하적 일관성 모두에서 기존 방법을 크게 능가한다.

arXiv:2604.13793v2cs.CV

동기에서 시퀀스로: 보간을 통한 Exo-to-Ego 생성

From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation

Exo-to-Ego 비디오 생성은 동기화된 3인칭 시점과 해당 카메라 포즈로부터 1인칭 비디오를 합성하는 것을 목표로 한다. 페어드(paired) 지도는 이용 가능하지만, 동기화된 exo-ego 데이터는 본질적으로 상당한 시공간적·기하학적 불연속성을 도입하여 표준 비디오 생성 벤치마크의 부드러운 움직임 가정을 위반한다. 우리는 이러한 동기화로 인한 점프(jump)를 핵심 과제로 식별하고, 소스와 타깃 비디오 사이를 보간하여 단일 연속 신호를 형성하는 순차적 공식화인 Syn2Seq-Forcing을 제안한다. Exo2Ego를 기존의 조건-출력(condition-output) 작업이 아닌 순차적 신호 모델링으로 재구성함으로써, 우리의 접근법은 확산 기반(diffusion-based) 시퀀스 모델(예: Diffusion Forcing Transformers, DFoT)이 프레임 간 일관된 전환을 더 효과적으로 포착할 수 있게 한다. 실험적으로, 포즈 보간 없이 비디오만 보간하는 것만으로도 이미 상당한 성능 향상을 달성함을 보여주며, 지배적인 난관이 시공간적 불연속성에서 비롯됨을 강조한다. 즉각적인 성능 향상을 넘어, 이 공식화는 Exo2Ego와 Ego2Exo 생성을 단일 연속 시퀀스 모델 내에서 통합할 수 있는 일반적이고 유연한 프레임워크를 확립하여, 교차 시점(cross-view) 비디오 합성 분야의 향후 연구를 위한 원칙적인 기반을 제공한다.

arXiv:2603.17426v2cs.CV

SHIFT: 적대적 하이브리드 미세조정을 통한 비디오 확산 모델의 모션 정렬

SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning

이미지 조건 비디오 확산 모델은 인상적인 시각적 사실감을 달성하지만, 종종 모션 충실도가 약화되는 문제를 겪는다. 예를 들어 모션 역학이 감소하거나 장기적 시간적 일관성이 저하되는 등의 현상이 있으며, 특히 미세조정 이후에 두드러진다. 우리는 사후 학습 단계에서 비디오 확산 모델의 모션 정렬을 연구한다. 이를 해결하기 위해 픽셀 플럭스(pixel flux) 역학에 기반한 픽셀-모션 보상을 도입하여 순간적 및 장기적 모션 일관성을 모두 포착한다. 또한 지도 미세조정과 이점 가중 미세조정(advantage-weighted fine-tuning)을 통합하는 확장 가능한 보상 기반 프레임워크인 Smooth Hybrid Fine-tuning(SHIFT)을 제안한다. 새로운 적대적 이점(adversarial advantages) 덕분에 SHIFT는 수렴 속도를 개선하고 보상 해킹(reward hacking)을 완화한다. 실험 결과, 본 접근법은 현대 비디오 확산 모델의 지도 미세조정에서 발생하는 동적 정도(dynamic-degree) 붕괴를 효율적으로 해결함을 보여준다. 프로젝트 페이지: https://xiye20.github.io/projects/SHIFT/.

arXiv:2603.13910v2cs.CV

절대 스케일에서의 장면 생성: 정확하고 해석 가능한 3D 실내 장면 생성을 위한 텍스트 기반 의미·기하학적 가이던스 활용

Scene Generation at Absolute Scale: Utilizing Semantic and Geometric Guidance From Text for Accurate and Interpretable 3D Indoor Scene Generation

본 논문은 측정적으로 정확하고 전역적으로 일관되며 의미적으로 해석 가능한 실내 장면을 생성하는 text-to-3D 생성 프레임워크인 GuidedSceneGen을 제안한다. 기하학적 drift나 스케일 모호성 문제가 흔한 기존 텍스트 기반 방법들과 달리, 본 접근법은 전체 생성 과정 전반에 걸쳐 절대 세계 좌표계를 유지한다. 텍스트 장면 설명에서 출발하여, 의미 구조와 기하학적 구조를 모두 인코딩하는 전역 3D 레이아웃을 예측하고, 이를 후속 단계의 안내 프록시로 사용한다. 의미 및 깊이 조건 파노라마 확산 모델이 전역 레이아웃에 정렬된 360° 영상을 합성하여 공간적 일관성을 크게 향상시킨다. 관측되지 않은 영역을 탐색하기 위해, 커버리지와 충돌 회피의 균형을 맞춘 최적화된 카메라 궤적로 안내되는 비디오 확산 모델을 사용하며, 이는 전수적 경로 탐험 대비 최대 10배 빠른 샘플링을 달성한다. 생성된 뷰는 3D Gaussian Splatting으로 융합되어 절대 스케일에서 일관되고 완전히 탐색 가능한 3D 장면을 산출한다. GuidedSceneGen은 레이아웃에서 재구성으로 객체 포즈와 의미 레이블의 정확한 전달을 가능하게 하며, 재정렬 없이 점진적 장면 확장을 지원한다. 정량적 결과와 사용자 연구는 최근 파노라마 text-to-3D 베이스라인 대비 더 높은 3D 일관성과 레이아웃 타당성을 보여준다.

arXiv:2601.12066v4cs.CV

비디오-투-비디오 변환을 통한 비디오 객체 제거를 위한 확률적 브리지 학습

Learning Stochastic Bridges for Video Object Removal via Video-to-Video Translation

기존 비디오 객체 제거 방법은 주로 정보가 없는 가우시안 노이즈에서 생성을 시작하는 노이즈-투-데이터(noise-to-data) 패러다임을 따르는 확산 모델에 의존한다. 이 접근 방식은 원본 입력 비디오에 존재하는 풍부한 구조적·문맥적 사전 정보를 버린다. 따라서 이러한 방법들은 종종 충분한 안내를 얻지 못해, 객체가 불완전하게 지워지거나 장면의 물리적 논리와 충돌하는 비현실적인 콘텐츠를 합성하기도 한다. 본 논문에서는 확률적 브리지(stochastic bridge) 모델을 통해 비디오 객체 제거를 비디오-투-비디오 변환 작업으로 재정식화한다. 노이즈 초기화 방식과 달리, 우리 프레임워크는 객체가 포함된 소스 비디오에서 객체가 제거된 타깃 비디오로 이어지는 직접적인 확률적 경로를 설정한다. 이 브리지 공식화는 입력 비디오를 강력한 구조적 사전 정보로 효과적으로 활용하여, 모델이 정확한 제거를 수행하면서 채워진 영역이 주변 환경과 논리적으로 일관되도록 안내한다. 강한 브리지 사전 정보가 큰 객체의 제거를 방해하는 트레이드오프를 해결하기 위해, 우리는 새로운 적응형 마스크 변조 전략을 제안한다. 이 메커니즘은 마스크 특성에 따라 입력 임베딩(embedding)을 동적으로 변조하여, 배경 충실도와 생성적 유연성 사이의 균형을 맞춘다. 광범위한 실험을 통해 우리 접근법이 시각적 품질과 시간적 일관성 모두에서 기존 방법들을 크게 능가함을 보여준다. 프로젝트 페이지는 https://bridgeremoval.github.io/ .

arXiv:2511.20562v2cs.CV

PhysChoreo: 부분 인식 의미적 그라운딩 기반 물리 제어형 비디오 생성

PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding

최근 비디오 생성 모델은 시각적 충실도 측면에서 큰 진전을 이루었지만, 명시적인 물리적 제어성과 타당성이 부족한 경우가 많다. 이를 해결하기 위해 일부 최근 연구는 물리 기반 렌더링으로 비디오 생성을 유도하려 시도했다. 그러나 이러한 방법들은 복잡한 물리적 특성을 정확히 모델링하고, 긴 시간 구간에 걸쳐 결과적인 물리적 행동을 효과적으로 제어하는 데 본질적인 어려움에 직면한다. 본 연구에서는 단일 이미지로부터 다양한 제어성과 물리적 현실감을 갖춘 비디오를 생성할 수 있는 새로운 프레임워크인 PhysChoreo를 제안한다. 제안 방법은 두 단계로 구성된다. 먼저 부분 인식 물리 특성 복원을 통해 이미지 내 모든 객체의 정적 초기 물리적 특성을 추정하고, 이어서 시간적 지시 기반 및 물리적으로 편집 가능한 시뮬레이션을 통해 풍부한 동적 행동과 물리적 현실감을 갖춘 고품질 비디오를 합성한다. 실험 결과 PhysChoreo는 풍부한 행동과 물리적 현실감을 갖춘 비디오를 생성할 수 있으며, 여러 평가 지표에서 최신(state-of-the-art) 방법들을 능가함을 보여준다.

arXiv:2510.16732v3cs.CV

체화 AI를 위한 월드 모델에 관한 포괄적 서베이

A Comprehensive Survey on World Models for Embodied AI

체화 AI는 환경을 인지하고, 행동하며, 행동이 미래 세계 상태를 어떻게 바꾸는지 예측할 수 있는 에이전트를 요구한다. 월드 모델은 환경 역학을 포착하는 내부 시뮬레이터 역할을 하며, 순방향 및 반사실적 롤아웃을 가능하게 하여 인지, 예측, 의사결정을 지원한다. 본 서베이는 체화 AI에서의 월드 모델을 위한 통합 프레임워크를 제시한다. 구체적으로, 문제 설정과 학습 목표를 형식화하고, 다음을 포괄하는 3축 분류 체계를 제안한다: (1) 기능성, 의사결정 결합형 vs. 범용 목적형; (2) 시간적 모델링, 순차 시뮬레이션 및 추론 vs. 전역 차분 예측; (3) 공간 표현, 전역 잠재 벡터, 토큰 특징 시퀀스, 공간 잠재 그리드, 분해 렌더링 표현. 로봇공학, 자율주행, 일반 비디오 설정 전반에 걸쳐 데이터 자원과 지표를 체계화하며, 픽셀 예측 품질, 상태 수준 이해, 과제 성능을 다룬다. 또한 최신 모델들의 정량적 비교를 제공하고, 통합 데이터셋의 부족, 픽셀 충실도보다 물리적 일관성을 평가하는 평가 지표의 필요성, 실시간 제어에 필요한 계산 효율성과 모델 성능 간의 트레이드오프, 오류 누적을 완화하면서 장기간 시간적 일관성을 달성하는 핵심 모델링 난제 등 주요 미해결 과제를 정리한다. 마지막으로, https://github.com/Li-Zn-H/AwesomeWorldModels 에서 엄선된 참고문헌 목록을 유지한다.

arXiv:2510.03117v2cs.CV

고급 모달리티 조건과 상호작용을 통한 텍스트-사운드 비디오 생성의 정교화

Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction

본 연구는 도전적이면서도 유망한 과제인 텍스트-사운드 비디오(Text-to-Sounding-Video, T2SV) 생성에 초점을 맞춘다. 이는 텍스트 조건으로부터 동기화된 오디오를 갖춘 비디오를 생성하면서, 두 모달리티 모두 텍스트와 정렬되도록 하는 것을 목표로 한다. 공동 오디오-비디오 학습의 진전에도 불구하고, 두 가지 핵심 과제는 여전히 해결되지 않은 채 남아 있다: (1) 비디오용 텍스트와 오디오용 텍스트가 동일한 단일 공유 텍스트 캡션은 종종 모달 간섭을 유발하여 사전학습된 백본을 혼란스럽게 만들고, (2) 교차 모달 특징 상호작용을 위한 최적 메커니즘은 여전히 불명확하다. 이러한 과제를 해결하기 위해, 먼저 분리된 캡션 쌍—비디오 캡션과 오디오 캡션—을 생성하여 조건화 단계에서 간섭을 제거하는 계층적 시각 기반 캡셔닝(Hierarchical Visual-Grounded Captioning, HVGC) 프레임워크를 제안한다. HVGC를 기반으로, 대칭적이고 양방향적인 정보 교환을 가능하게 하여 의미적 및 시간적 동기화를 모두 달성하는 견고한 ``bridge'' 역할을 하는 Dual CrossAttention(DCA) 메커니즘을 채택한 새로운 이중 타워 확산 트랜스포머(dual-tower diffusion transformer)인 BridgeDiT를 추가로 도입한다. 인간 평가를 포함한 세 개의 벤치마크 데이터셋에 대한 광범위한 실험은 우리 방법이 대부분의 지표에서 최첨단(state-of-the-art) 결과를 달성함을 보여준다. 포괄적인 ablation 연구는 우리 기여의 효과를 추가로 검증하며, 향후 T2SV 과제에 대한 핵심 통찰을 제공한다. 모든 코드와 체크포인트는 공개적으로 배포될 예정이다.

arXiv:2506.07460v2cs.CV

SIGNER: 시간 해상도 조건화를 통한 시간적 그라운딩 수어 생성

SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning

수어 생성(SLG, sign language generation)은 텍스트-수어 생성(text-to-sign generation)으로도 알려져 있으며, 수어 사용자와 비수어 사용자 간의 의사소통 격차를 해소하는 것을 목표로 한다. 다른 많은 생성 과제와 달리 SLG는 두 가지 근본적인 언어학적 제약을 만족해야 한다. 첫째, 수어는 gloss라고 불리는 단어와 유사한 단위에 정렬된 제스처 순서를 통해 의미를 표현하므로, 의도한 의미를 보존하기 위해 올바른 어휘 순서(lexical ordering)가 필요하다. 둘째, 각 제스처는 의도된 gloss를 충실히 반영해야 한다(의미 정확도). 최근의 진전에도 불구하고, 기존 SLG 방법은 종종 잘못된 어휘 순서와 낮은 의미 정확도의 수어를 생성한다. 기존 접근법의 흔한 한계는 전역 융합(globally fused) 조건화 전략에서 비롯되며, 이는 gloss와 실제화된 수어 세그먼트 간의 시간적 대응, 즉 시간적 그라운딩(temporal grounding)을 약화시킨다. 이는 종종 잘못된 어휘 순서와 의미적으로 모호한 수어를 초래한다. 이 한계를 해결하기 위해, 우리는 시간적 그라운딩을 보장하기 위해 시간 해상도(timE-Resolved) 조건화를 갖춘 SIGN(SIGN language generation) 프레임워크인 SIGNER를 제안하며, temporal-gloss condition과 국소 시간 융합(LTF, local temporal fusion)을 활용한다. SIGNER는 입력 텍스트로부터 gloss sequence와 그 지속 시간을 추정하고, 시간 차원 전반에 gloss 의미를 할당하여 temporal-gloss condition을 구성한다. 다음으로, 우리는 디노이징(denoising) 과정 동안 제한된 시간 윈도우 내에서 temporal-gloss condition을 통합하는, 시간적 그라운딩된 융합 모듈인 LTF를 도입한다. 조건 융합에서 시간적 국소성(temporal locality)을 강제함으로써, LTF는 시간적 그라운딩을 유지하여 올바른 어휘 순서와 더 명확한 gloss별 의미를 달성한다. Phoenix-2014T와 CSL-Daily에서의 실험은 최신 최고(state-of-the-art) 성능을 보여주며, 모션 평활도(motion-smoothness) 분석으로 추가로 뒷받침된다. 프로젝트 페이지는 https://taeryunglee.github.io/projects/signer 에서 확인할 수 있다.

arXiv:2606.27326v1cs.LG

월드 모델의 환각은 예측 가능하고 예방할 수 있다

Hallucination in World Models is Predictable and Preventable

생성형 월드 모델의 환각(hallucination)이 상태-행동(state-action) 공간의 낮은 커버리지(coverage) 영역에 집중된다는 가설을, ground-truth 행동·보상·라이브 시뮬레이터를 갖춘 MMBench2(427시간·210개 태스크)와 350M 매개변수 월드 모델로 검증한다. 지각(perceptual), 행동 주변화(action-marginalized), 장면 분기(scene-diverging) 세 환각 모드를 분류하고 이를 예측하는 신호와 커버리지 인식 샘플링·온라인 데이터 수집을 통해, 미보 환경에 실제 궤적 50개만으로 적응하는 데이터 효율적 파인튜닝 방법을 제시한다.

arXiv:2606.27277v1cs.AI

EO-WM: 확률적 지구 관측 예측을 위한 물리 정보 기반 세계 모델

EO-WM: A Physically Informed World Model for Probabilistic Earth Observation Forecasting

변화하는 기상 조건 하에서 위성 관측으로 지구 표면 역학을 예측하는 과제를 부분 관측 기상 구동 세계 모델링(world modeling)으로 정식화하고, 기후학적 기준선·기상 이상·누적 물리 스트레스를 별도 경로로 조건화하는 다중분광 EO 예측용 비디오 확산 트랜스포머 EO-WM을 제안한다. Extreme Summer와 Seasonal Matched-Pair 진단 벤치마크에서 예측 NDVI 감소 진폭 오류를 상대 5.63% 줄이고 방향 적중률을 7.80% 개선하며, 표준 픽셀 수준 지표에서도 경쟁력을 유지한다.

arXiv:2606.27234v1cs.CY

유명인에서 누구나로: 4chan에서 AI 누드화 콘텐츠, 기술, 커뮤니티 동태 특성 분석

From Celebrities to Anyone: Characterizing AI Nudification Content, Technology, and Community Dynamics on 4chan

4chan에서 AI 누드화를 대규모로 측정해 24,105건의 비동의 합성 성적 노출 이미지(SNEACI)를 식별했으며, 대상의 55.8%가 비유명인으로 기존 연구(4.7%)보다 크게 늘어 사회적 관계망 내 개인을 겨냥하는 경향이 강화됨을 보였다. Stable Diffusion과 Wan 등 오픈소스 생성 모델과 소수의 활발한 제작자가 공유 파인튜닝 모델·튜토리얼을 통해 생산을 주도하며 요청-제공형 커뮤니티 생태계를 유지한다.

arXiv:2606.26769v1cs.AI

ResilPhase: 확산 가속을 위한 플러그 앤 플레이 위상 매핑 및 노이즈 내성 거시 궤적 외삽

ResilPhase: Plug-and-Play Phase Mapping and Noise-Resilient Macro-Trajectory Extrapolation for Diffusion Acceleration

확산 모델(DiT)의 높은 가속 비율에서 기존 cache-then-forecast 방식이 품질을 크게 떨어뜨리는 원인을 연속 궤적과 불일치한 외삽·도함수 불안정성으로 분석하고, ODE 공간에서 Global Drift를 도함수 없는 무심점 Lagrange 외삽과 유계 Phase Mapping으로 예측하는 ResilPhase를 제안한다. FLUX.1-dev와 HunyuanVideo에서 공격적 가속 조건에서도 최첨단 수준의 충실도를 유지하며, FLUX.1-dev와 HunyuanVideo에서 약 5배 속도 향상을 달성한다.

arXiv:2606.26114v1cs.CY

드림 머신 — 다음 창의 경제

Dream machine -- the next creative economy

생성형 AI가 창의 산업에 미치는 구조적 변화를 정책 문서·산업 데이터·창작자 설문 등 374개 1차 자료로 분석하고, Human-AI Agency Continuum(인간-AI 주체성 연속체)과 슬롭 상한(slop ceiling) 등 분석 프레임워크를 제시한다. AI 생성 콘텐츠가 업로드의 44%를 차지해도 스트리밍은 약 1–3%에 그치는 현상, 영국 AI·저작권 공청회 응답의 88%가 학습 권한 확대에 반대한 결과, Disney·Netflix 등 주요 스튜디오의 AI 증강 제작 대응을 다루며 전환을 위한 투명성·동의·보상·인간 중심 설계 원칙을 제안한다.

arXiv:2606.27325v1cs.CV

모든 행동이 동등하지 않다: 손기술 월드 모델의 조건화 재고

Not All Actions Are Equal: Rethinking Conditioning for Dexterous World Model

고자유도(high-DoF) 손기술 제어에서는 전체 행동 시퀀스를 단일 표현으로 압축할 때 손목·카메라 같은 대규모 움직임이 미세한 손가락 신호를 압도해 월드 모델의 행동 추종이 약해진다. DexAC-WM은 행동 토큰화(action tokenization)와 국소-전역 조건화, 의미 분기(semantic branch)로 차원별 의미를 보존하며, EgoDex·EgoVerse에서 FID·FVD·PCK가 유의미하게 개선됨을 보였다.

arXiv:2606.27192v1cs.CV

LISA: 시각 조건 제어 생성을 위한 가능도 점수 정렬(Likelihood Score Alignment)

LISA: Likelihood Score Alignment for Visual-condition Controllable Generation

시각 조건 기반 제어 생성의 dual-branch 패러다임에서 메인 네트워크는 무조건 score, 사이드 네트워크는 likelihood score 역할을 한다는 관점으로 LISA(Likelihood Score Alignment)를 제안하고, 사이드 네트워크 중간 특징을 근사 likelihood score와 정렬하는 정규화 손실을 확산 학습과 함께 최적화한다. 다양한 이미지·비디오 태스크와 diffusion/flow 모델에서 학습 수렴을 가속하고 합성 품질을 개선하며, 추가 학습 비용은 거의 없고 추론 비용은 들지 않는다.