실내 3D 장면 그래프(3DSG)는 관측된 기하학적 프리미티브(예: 평면)를 더 높은 수준의 미터법-의미론적(metric-semantic) 개념(예: 방, 층, 건물)과 연결하는 다층 계층 구조로 환경을 표현하여 로봇 인지 및 SLAM을 위한 점진적 공간 추론을 가능하게 합니다. 그러나 기존의 고수준 개념 생성 방식은 특정 개념 클래스에 대한 수작업 규칙에 의존하며, 학습 기반 방법은 그래프 구조와 공간 노드 특징(예: 중심점)에 대해 별도의 모델을 요구하므로 새로운 클래스 및 더 복잡한 계층 구조로의 확장성이 제한됩니다. 본 논문에서는 구조와 특징을 함께 학습하고 관측된 수직 평면으로부터 임의의 계층 깊이에 걸쳐 완전한 3DSG를 상향식(bottom-up)으로 구축하는 통합 자기회귀 확산 기반 그래프 생성 모델을 제안합니다. 제안하는 방법은 합성 장면, 실제 건축 평면도, 로봇 센서 데이터를 아우르고 레이아웃 복잡도와 계층 깊이가 다양한 3DSG 데이터셋 전반에서 모든 학습 기반 및 무작위 베이스라인을 일관되게 능가하며, 가장 큰 계층 구조 및 실제 단층 데이터에서 목표 그래프 크기에 대한 오라클 접근 권한을 가진 원샷(one-shot) 모델을 능가합니다. 마지막으로, 생성된 3DSG를 정답(ground truth)과 비교하여 원칙적인 그래프 수준 평가를 수행하기 위한 Fused Gromov--Wasserstein 거리의 적응 방식을 제안합니다.
확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.
Nemotron-Labs-Diffusion은 자기회귀(AR), 디퓨전, 셀프-스페큘레이션 디코딩을 단일 아키텍처에서 통합한 삼중 모드 언어 모델로, 결합 AR-디퓨전 목적함수로 학습하여 두 패러다임의 장점을 상호 보완적으로 활용한다. 3B·8B·14B 규모로 스케일링된 모델 패밀리는 최신 오픈소스 AR 및 디퓨전 언어 모델 대비 정확도와 속도 모두에서 앞서며, 특히 Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 순전파당 6배 더 많은 토큰을 디코딩해 SPEED-Bench에서 4배 높은 처리량을 달성한다.
확산 언어 모델(diffusion language model)의 컨텍스트 표현과 노이즈 제거 역할을 분리하기 위해, 고정된 자기회귀(AR) 컨텍스트 타워와 학습 가능한 확산 디노이저 타워로 구성된 블록 단위 아키텍처 TwoTower를 제안한다. Nemotron-3-Nano-30B-A3B 기반으로 약 2.1T 토큰 학습한 Nemotron-Labs-TwoTower는 자기회귀 기준선 대비 품질 98.7%를 유지하면서 2.42배 높은 생성 처리량(throughput)을 달성했다.
최근 생성적 비디오 압축 방법들은 강력한 생성 사전(generative prior)을 활용하여 지각적으로 우수한 복원 결과를 달성하고 있다. 그러나 대부분의 기존 접근법은 생성 모델이 압축 표현으로부터 현실적인 복원 결과를 생성하도록 적응시키기 위해 추가적인 학습을 필요로 한다. 본 논문에서는 저지연 비디오 복원을 위해 사전학습된 자기회귀 확산 사전(autoregressive diffusion prior)을 활용하는 제로샷 생성적 비디오 압축 프레임워크인 ZeroGVC를 제안한다. ZeroGVC는 각 픽처 그룹(GOP)의 첫 번째 프레임을 이미지 코덱으로 인코딩하고, 이후의 P-프레임은 코드북 유도 자기회귀 잠재 압축(Codebook-Guided Autoregressive Latent Compression)을 통해 표현한다. 이 설계는 노이즈 제거 확산 코드북 모델의 압축 방식이 소수 스텝 일관성 샘플링(few-step consistency sampling)에 효과적이라는 관찰에서 비롯된다. 재현 가능한 코드북 노이즈 벡터의 압축적인 조합을 선택함으로써, ZeroGVC는 잠재 노이즈 제거 궤적을 목표 P-프레임 방향으로 유도하는 동시에, 디코더가 소수의 노이즈 제거 스텝만으로 동일한 궤적을 재현할 수 있도록 한다. 또한, 추가적인 비트율 오버헤드 없이 다음 I-프레임 컨텍스트를 활용하여 오류 전파를 완화하는 선택적 양방향 참조 모드를 설계하였다. 표준 비디오 압축 벤치마크에 대한 광범위한 실험을 통해, ZeroGVC가 추가 학습 없이도 초저 비트율에서 우수한 지각적 복원 품질을 달성함을 입증한다.
자연스럽고 정확한 문장 수준의 수화를 생성하려면, 기본 의미 단위인 "글로스(gloss)"를 합성하는 것이 필수적이다. 그러나 현재 대부분의 수화 생성(SLP) 방법은 전체 시퀀스를 한 번에 생성한다. 이러한 종단간(end-to-end) 접근은 종종 효율적이지만, 문장이 길어질수록 시간적 drift와 손 동작 blur에 취약하며, 개별 글로스를 정확히 제어하지 못한다. 본 논문에서는 의미(언어) 및 운동학적(동작) 문맥을 모두 조건으로 하여 연발음(coarticulation)을 모델링하는 글로스 단위 확산 프레임워크인 Context-aware Gloss-wise AutoRegressive Diffusion 모델(GARD)을 제안한다. 글로스 동작 간 자연스러운 연속성을 보장하기 위해 GARD는 두 가지 추가 전략을 도입한다: i) Inter-Gloss Transition Guidance — 그래디언트 기반 guidance를 적용하여 글로스 간 경계를 운동학적으로 정렬하고 매끄러운 pose 일관성을 보장한다. ii) Global Motion Harmonizer — Inter-Gloss Transition Guidance로 조정된 경계 pose를 기반으로 전체 글로스 동작 시퀀스를 정제한다. Phoenix-T 및 CSL-Daily 데이터셋에 대한 광범위한 실험 결과, GARD는 언어적 정확도와 동작 유사도 모두에서 기존 SLP 방법보다 우수한 성능을 달성함을 보여준다.
다중 턴 이미지 편집은 반복적 디자인에 필수적이지만, 현재 모델들은 연속된 편집 단계에서 정체성 드리프트(identity drift)와 오류 누적 문제를 겪는 경우가 많다. 기존 연구는 일관성 유지를 위해 비디오 사전 지식(video priors)을 활용하지만, 양방향 어텐션에 대한 의존성은 인터랙티브 편집의 인과적·순차적 특성과 근본적으로 맞지 않는다. 본 논문에서는 고해상도 장기 다중 턴 편집을 위해 특별히 설계된 최초의 자기회귀(AR) 확산 기반 프레임워크인 AnchorEdit를 제안한다. AnchorEdit는 세 단계 학습 커리큘럼을 통해 비디오 사전 지식과 인과적 추론 간의 간극을 해소한다: 정체성 보존 단일 턴 사전학습, 노출 바이어스 완화를 위한 새로운 자기 롤아웃 전략을 적용한 인과적 AR 강제 미세조정, 그리고 효율적인 4단계 생성을 위한 일관성 증류. 추론 시에는 초기 피사체 정체성을 고정하고 확장된 편집 궤적에 걸쳐 안정적인 외삽(extrapolation)을 보장하기 위한 메모리 메커니즘을 도입한다. 성능 평가를 위해 장기 안정성을 집중적으로 테스트하도록 설계된 새로운 고해상도 다중 턴 편집 벤치마크를 제공한다. 광범위한 실험을 통해 AnchorEdit가 최신 기술 수준의 결과를 달성하며, 10회 이상의 상호작용 라운드에서도 뛰어난 피사체 충실도와 지시 따르기(instruction following) 능력을 유지함을 입증한다.