How much of a learned decoder can a simple readout preserve? On generated ELF and AURORA states, token-wise affine maps recover $97.17\%$ and $95.74\%$ of native lexical decisions. Contextual computation has already produced these states; only the terminal readout is simplified. The remaining disagreements matter beyond their count: equal-count rare-first and low-native-margin-first repairs have opposing pooled evaluator effects in both interfaces. On conditional summarization, rare-first improves reference similarity, while source consistency remains unresolved. Score accounting locates part of the benefit on unchanged text despite increased unigram cost, without identifying rarity as a cause. Repeatable repair effects do not ensure prediction transfer: a frozen predictor improves on two ELF checkpoints but fails on a distilled student. A separate task-fitted selector improves BERTScore over random selection by $0.261$ points on 256 fresh articles at a $50\%$ native-call budget; all-native decoding remains higher-scoring and acceleration is unestablished. Compressed and directional interface tests further distinguish fitting-state coverage, native decisions, and soft inputs. Together, the results motivate testing a simplification at three levels: preserved decisions, output consequences, and computational savings. Native decisions are fidelity targets, not semantic truth.
고충실도 변형체(deformable body)의 신경망 기반 시뮬레이션은 컴퓨터 그래픽스와 물리 AI 분야의 근본적인 과제입니다. 고해상도 3D 볼류메트릭 메시(volumetric mesh)에 대한 장기 예측(long-horizon prediction)은 매우 어렵습니다. 자기회귀(autoregressive) 방식은 오차 누적에 취약하며, 고유 해상도에서의 직접적인 다중 프레임 예측은 계산 비용이 지나치게 큽니다. 이는 메시 기반 볼류메트릭 물리에서는 거의 연구되지 않았던 소형 시공간 잠재 표현(compact spatiotemporal latent representation)의 필요성을 시사합니다. 한편, 결정론적 회귀(deterministic regression)와 생성적 확산(generative diffusion) 중 어떤 것이 더 적합한 예측 패러다임인지도 여전히 불분명합니다. 이러한 복합적인 과제를 해결하기 위해, 본 논문에서는 원샷 볼류메트릭 변형체 시뮬레이션을 위한 통합 잠재 확산 패러다임인 PhysLDM을 소개합니다. PhysLDM의 핵심은 일반적인 비디오 VAE와 같은 표준 시간 압축 방식의 "계단식(staircase)" 아티팩트를 방지하는 총체적 시공간 VAE로, 최대 78배의 토큰 압축률에서 미터 규모 장면에 대해 약 2.48mm의 재구성 정밀도를 달성합니다. 신뢰할 수 있는 이 잠재 공간을 기반으로 회귀 및 확산 방식을 체계적으로 비교합니다. 실험을 통해 복잡한 변형체 동역학이 종종 카오스적(chaotic)이며, 이러한 조건에서 결정론적 회귀는 비물리적 평균을 생성하는 경향이 있는 반면 확산 모델은 해당 분포를 더 잘 모델링한다는 핵심 모델링 통찰을 발견했습니다. 이에 따라 카오스적 데이터로부터 효과적으로 학습하여 물리적으로 타당한 궤적을 생성하는 잠재 확산 모델을 적용합니다. Objaverse 규모의 데이터셋에서 순수하게 운동학적(kinematically)으로 학습된 단일 PhysLDM 모델은 미지의 분포 외(OOD) 데이터셋(GSO 및 Toys4K)에 대해서도 제로샷(zero-shot)으로 일반화됩니다. 또한 미분 가능성을 바탕으로 역문제(inverse problem) 해결 및 고차 설계 최적화를 효율적으로 수행할 수 있습니다. 우리가 아는 한, PhysLDM은 볼류메트릭 변형체 동역학을 위한 최초의 고충실도 시공간 오토인코더이자 잠재 확산 패러다임으로, 신경망 시뮬레이션을 위한 확장 가능하고 견고한 접근법을 제시합니다.
3D 스타일화는 게임 개발, 가상 현실, 디지털 아트에서 핵심적인 역할을 하며, 다양한 에셋에 대한 수요는 빠르고 고품질(high-fidelity)의 조작을 지원하는 확장 가능한 방법을 필요로 합니다. 기존의 텍스트 기반 3D(text-to-3D) 스타일화 방식은 일반적으로 2D 이미지 에디터로부터 증류(distillation)하는 방식을 취하므로, 에셋마다 많은 시간이 소요되는 최적화(per-asset optimization)가 필요하고 현재 텍스트 기반 이미지(text-to-image) 모델의 한계로 인해 다중 뷰 불일치(multi-view inconsistency)가 나타나 대규모 제작 환경에서는 비실용적입니다. 본 논문에서는 추론(inference) 시점에 즉각적으로 편집을 수행하는 텍스트 기반 3D 스타일화를 위한 선구적인 피드포워드(feed-forward) 프레임워크인 GaussianBlender를 소개합니다. 제안하는 방법은 공간적으로 그룹화된 3D 가우시안(3D Gaussians)으로부터 기하학적 구조(geometry)와 외형(appearance)에 대해 제어된 정보 공유를 갖는 구조화되고 분리된 잠재 공간(disentangled latent spaces)을 학습합니다. 그런 다음 잠재 확산 모델(latent diffusion model)이 학습된 표현에 텍스트 조건부 편집을 적용합니다. 포괄적인 평가 결과는 GaussianBlender가 즉각적이고 고품질이며 기하학적 구조를 보존하고 다중 뷰 일관성을 갖춘 스타일화를 제공할 뿐만 아니라, 인스턴스별 테스트 시점 최적화(test-time optimization)를 요구하는 방식들을 능가하여 대규모 환경에서 실용적이고 대중화된 3D 스타일화를 가능하게 함을 보여줍니다.
3차원(3D) 분자 생성은 우수한 생성 품질을 달성하는 확산 모델(diffusion model)이 주도해 왔으나, 일반적으로 생성 전에 분자 크기를 별도로 지정하거나 예측해야 합니다. 이는 생성되는 구조의 크기 자체가 설계 문제의 일부가 되는 신약 개발의 핵심인 단편 기반(fragment-based) 분자 생성에 한계로 작용할 수 있습니다. 자기회귀 모델(autoregressive model)은 생성 과정에서 크기를 결정하며 부분 구조 조건화를 자연스럽게 지원하지만, 무조건부 생성과 단편 조건부 생성 간의 균형을 맞추는 것은 여전히 까다로운 과제입니다. 본 논문에서는 통일된 오토인코더(UAE)의 잠재 공간(latent space)에서 분자를 생성하여, 자기회귀 생성의 유연성을 유지하면서 분자 그래프 위상(topology)과 기하학적 구조(geometry)를 공동으로 모델링하는 잠재 자기회귀 확산 프레임워크인 KRONOS를 소개합니다. 나아가 중간 채우기(Fill-in-the-Middle, FIM) 패러다임에서 영감을 받은 혼합 학습(mixed training) 전략을 도입하여, 단일 좌우 순차(left-to-right) 자기회귀 모델이 무조건부 생성과 단편 조건부 생성을 모두 지원할 수 있도록 합니다. QM9 및 GEOM-Drugs에 대한 실험은 강력한 무조건부 생성 성능과 경쟁력 있는 단편 조건부 생성 성능을 입증합니다.
흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.
멀티모달 추론은 모델이 전체 추론 과정에 걸쳐 여러 모달리티의 정보를 활용하도록 요구합니다. 그러나 기존 방식들은 흔히 모달리티별 사고 토큰(thought token)들을 단일 시퀀스로 단순 연결(concatenate)하여, 모델이 모달리티 간 추론을 수행할 때 표현 간의 차이를 직접 메우도록 남겨둡니다. 본 논문에서는 이러한 사고들을 추론을 위한 공유 잠재 공간(shared latent space)으로 통합하는 프레임워크인 Uni-LaDiR(Unified Latent Diffusion Reasoner)을 소개합니다. 통합된 인코더는 서로 다른 모달리티의 교사(teacher) 추론 단계를 공유 사고 토큰으로 매핑하며, 이후 추론 단계 및 최종 답변이나 행동에 필요한 정보를 보존하도록 학습(training)됩니다. 동일한 문맥에서도 유효한 다음 단계가 여러 개 존재할 수 있으므로, 본 연구에서는 확산(diffusion) 모델을 사용하여 입력과 선행 블록으로부터 다음 사고 토큰 블록을 예측합니다. 모델 가중치를 공유하여 인코더와 확산 추론기(diffusion reasoner)를 결합 학습함으로써 사고 토큰이 태스크에 유용하면서도 가용한 문맥으로부터 예측 가능하도록 유도합니다. 추론(inference) 시 모델은 교사의 관측 없이도 이러한 토큰들을 생성합니다. 11개의 비전-언어 모델(VLM) 벤치마크와 2개의 비전-언어-행동(VLA) 스위트에 걸쳐, Uni-LaDiR은 평가된 가장 강력한 베이스라인 대비 시각적 추론 태스크에서 7.3%, 로봇 조작(robot manipulation) 태스크에서 6.1%의 상대적 성능 향상을 달성했습니다.
현재 잠재 확산 모델(latent diffusion model)이 의료 영상 생성을 주도하고 있으며, 이러한 모든 파이프라인은 영상 생성이 작동할 잠재 코드(latent code)로 영상을 압축하는 토크나이저(tokenizer)에 기반한다. 따라서 토크나이저 선택은 재구성 충실도와 생성 품질부터 후속 분석에 사용 가능한 표현에 이르기까지 모든 후속 작업(downstream task)을 제약한다. 그러나 의료 영상 파이프라인은 자연 영상용 토크나이저의 동작이 그대로 이전될 것이라는 가정 하에 이를 일상적으로 사용하고 있다. 하지만 이는 데이터셋 규모가 수 자릿수 더 작고 영상 간 분산(inter-sample variance)이 훨씬 낮은 의료 영상 영역에서 한 번도 검증된 적 없는 가정이다. 본 논문은 10개의 모델 계열(model family)에 걸친 30가지 구성을 12개 데이터셋, 3가지 압축률(compression factor)에서 평가하여 재구성, 생성, 잠재 기하 구조(latent geometry), 후속 분류(downstream classification), 암기(memorization)를 아우르는 의료 영상 토크나이저의 체계적 평가를 제시한다. 그 결과 (1) 영상 재구성과 생성 성능은 자연 영상에 대한 기존 보고와 달리 강하게 상관관계를 보이고, (2) 최신 토크나이저는 코드북 항목(codebook entry)의 거의 전부를 사용하지만 여전히 잠재 공간(latent space)의 대부분은 사용되지 않은 채로 남아 있으며, (3) 학습 데이터셋에 대한 암기는 경미하고 잠재 공간 압축이 강해질수록 더욱 억제되고, (4) 이산 양자화(discrete quantization)는 룩업 프리(lookup-free) 방식을 주요 예외로 하여 후속 분류 성능을 대체로 보존할 수 있음을 확인하였다.
심층 학습이 전체 슬라이드 이미지(WSI) 분석을 발전시켰지만, 기포나 주름과 같은 조직 아티팩트는 필수 형태학을 가려 침묵 실패(silent failures)를 자주 유발한다. 현재 병리학 이미지 복원 방법은 대부분 작은 패치에 국한되어 메가픽셀 규모에서 전역 구조적 일관성을 유지하기 어렵다. 우리는 조직학적 이미지에서 진단 구조를 재구성하여 잘못된 고신뢰도 예측을 방지하고 오류율을 낮추는, 전역 일관 메가픽셀 규모 인페인팅을 위한 프레임워크 RestorePath를 제안한다. 우리 모델은 병리학 파운데이션 모델(PFM) 임베딩을 조건으로 하는 잠재 확산 모델(LDM)을 활용하며, 랜덤 패치 확산 동안 장거리 의존성을 다루기 위해 Large Kernel Attention(LKA)를 통합한다. Distance-Weighted Interpolation(DWI)과 Adaptive Guidance Scale(AGS)로 강화된 RestorePath는 주변 패치의 정보를 조절하여 구조적 일관성과 충실도를 보장한다. 512~4608픽셀 범위의 이미지에 대해 TCGA-BRCA, BACH, Camelyon16 데이터셋에서의 평가는 조직학적 일관성 유지에서 최신(state-of-the-art) 성능을 보여준다. RestorePath는 하류 계산 병리학(CP) 과제를 유의미하게 개선하며, 원본 아티팩트 이미지와 기존 Detect-and-Discard(D&D) 접근법 모두를 능가한다. 코드는 https://github.com/PathfinderLab/RestorePath 에서 이용 가능하다.
의료 이미지 분할(medical image segmentation)은 임상 진단 및 치료 계획 수립에 매우 중요합니다. 전통적인 방법들은 일반적으로 단일 분할 마스크만을 생성하여 고유한 불확실성을 포착하지 못합니다. 최근의 생성 모델들은 여러 임상의의 협력적 판독을 모방하여 이미지당 타당한 복수의 마스크를 생성할 수 있게 되었습니다. 그러나 이러한 접근 방식은 여전히 연산 비용이 큽니다. 본 연구에서는 효율적인 의료 이미지 분할을 위해 변분 오토인코더(VAE)와 잠재 확산 모델(latent diffusion model)을 결합한 확산 기반 프레임워크인 MedSegLatDiff를 제안합니다. VAE는 입력을 저차원 잠재 공간으로 압축하여 노이즈를 줄이고 학습(training) 속도를 높이며, 확산 과정은 이 압축된 표현 공간에서 직접 수행됩니다. 또한 작은 결절과 같은 미세한 구조를 더 잘 보존하기 위해 VAE 마스크 재구성 경로에서 기존의 MSE 손실(loss)을 가중 크로스 엔트로피로 대체했습니다. MedSegLatDiff는 ISIC-2018(피부 병변), CVC-Clinic(용종), LIDC-IDRI(폐 결절) 데이터셋에서 평가되었습니다. 본 모델(model)은 최고 수준(SOTA) 또는 매우 경쟁력 있는 Dice 및 IoU 점수를 달성하는 동시에 다양한 분할 가설과 신뢰도 맵을 생성합니다. 이는 결정론적 기준선(deterministic baselines) 대비 향상된 해석 가능성과 신뢰성을 제공하여, 본 모델을 임상 적용에 특히 적합하게 만듭니다.
3차원(3D) 뇌 MRI는 임상 신경학 및 신경종양학의 핵심이며, 여기서 생성 모델은 대표성이 부족한 코호트를 보강하고, 질병 궤적을 시뮬레이션하며, 프라이버시 보존 데이터 공유를 지원할 수 있습니다. 잠재 확산(Latent diffusion)은 영상 데이터 모델링의 대표적인 해결책이었지만, 토크나이저에 두 가지 상충하는 요구 사항을 부과합니다. 즉, 인코더 임베딩은 다운스트림 작업에서 활용하는 임상 정보를 유지해야 하고, 디코더는 해부학적으로 충실한 볼륨을 재구성해야 합니다. 기존의 재구성 중심 토크나이저는 후자를 달성하기 위해 전자를 희생합니다. 이를 해결하기 위해 우리는 3D 뇌 MRI 잠재 확산을 위한 완전 볼륨 기반 마스크드 오토인코더(MAE) 기반 토크나이저를 도입하여 인코더와 디코더를 분리했습니다. 고정된 3D MAE 인코더는 임상적으로 유의미한 임베딩을 생성하고, 전용 CNN 디코더는 해당 임베딩의 선형 투영으로부터 복셀을 재구성합니다. 우리는 4가지 모달리티, 10가지 질병 범주, 200개 이상의 데이터 수집 사이트에 걸친 18개의 공개 코호트에서 총 35,309개의 볼륨으로 인코더를 사전학습(pre-training)했으며, 두 가지 설정에서 그 이중 유용성을 입증합니다. 첫째, 23개 작업으로 구성된 선형 프로빙(linear probing) 벤치마크에서 해당 인코더는 23개 작업 중 21개에서 최첨단(SOTA) 모델(즉, BrainIAC, BrainSegFounder, MedicalNet)보다 우수하거나 동등한 성능을 보였습니다. 둘째, 임상적으로 유의미한 임베딩으로 학습된 조건부 확산 트랜스포머(DiT)는 6개 변수에 걸친 조건부 생성과 환자별 종단 예측(longitudinal forecasting)을 모두 지원합니다. 종합적으로 이러한 결과는 다운스트림 임상 작업과 제어 가능한 생성을 모두 수행할 수 있는 단일 3D 뇌 MRI 임베딩 공간을 확립합니다.
이미지 생성 파운데이션 모델의 학습은 상당한 자원을 소비한다. 이전 방법들은 학습 과정을 가속하기 위해 의미적(semantic) 유도를 활용하려 시도했지만, 실험은 ImageNet과 같은 단순한 데이터셋, 낮은 해상도, 소규모 모델에서만 수행되었다. 본 논문에서는 새로운 잠재 확산(latent diffusion) 모델링 패러다임인 semantic-first diffusion 위에 구축된 텍스트-이미지 파운데이션 모델 SeFi-Image를 제안한다. SeFi-Image를 1B, 2B, 5B 매개변수의 세 가지 모델 규모로 구현하여, 스케일링(scaling) 거동의 체계적 연구와 다양한 연산 예산에 따른 유연한 배포를 가능하게 한다. 특히, 가장 큰 5B 모델은 단 125K A800 GPU 시간으로 학습되었으며, 이는 Z-Image가 사용한 학습 연산량의 대략 10–20%에 해당한다. 그럼에도 Qwen-Image 및 Z-Image와 동등하거나 더 나은 결과를 달성한다. 이러한 적은 학습 연산량에도 불구하고 SeFi-Image는 GenEval, DPG, LongTextBench, OneIG, CVTG-2K를 포함한 다양한 벤치마크에서 강력한 성능을 보인다. 또한 다양한 하드웨어 제약과 지연 시간 요구에 대응하기 위해 각 모델 규모별로 DMD2 증류(distilled) few-step turbo 변형을 제공한다. 코드와 가중치를 공개하고, 본 연구가 T2I(텍스트-이미지) 생성을 위한 의미 유도 확산 모델링에 대한 유용한 통찰을 커뮤니티에 제공하며, 실용적이고 바로 배포 가능한 모델 옵션도 함께 제공하기를 기대한다.
Latent diffusion models pair VAEs with diffusion backbones, and the structure of VAE latents strongly influences the difficulty of diffusion training. However, existing video VAEs typically focus on reconstruction fidelity, overlooking latent structure. We present a statistical analysis of video VAE latent spaces and identify two spectral properties essential for diffusion training: a spatio-temporal frequency spectrum biased toward low frequencies, and a channel-wise eigenspectrum dominated by a few modes. To induce these properties, we propose two lightweight, backbone-agnostic regularizers: Local Correlation Regularization and Latent Masked Reconstruction. Experiments show that our Spectral-Structured VAE (SSVAE) achieves a $3\times$ speedup in text-to-video generation convergence and a 10\% gain in video reward, outperforming strong open-source VAEs. The code is available at https://github.com/zai-org/SSVAE.
데이터 난독화는 센서에서 방출되는 시계열 데이터에 접근할 수 있는 반신뢰 당사자의 속성 추론 공격을 완화하는 유망한 기법이다. 최근 연구는 조건부 생성 모델을 적대적 학습 또는 상호 정보량 기반 정규화와 함께 활용하여 데이터 프라이버시와 유틸리티의 균형을 맞춘다. 그러나 이러한 방법들은 종종 하위 작업을 수정해야 하거나, 만족스러운 프라이버시-유틸리티 트레이드오프를 달성하기 어렵거나, 계산 비용이 많이 들어 자원이 제한된 모바일 IoT 기기에 배포하기에는 비실용적이다. 우리는 잠재 확산 모델 기반의 새로운 데이터 난독화 프레임워크인 Cloak을 제안한다. 기존 연구와 달리, 우리는 대조 학습을 사용하여 분리된 표현을 추출하고, 이를 통해 잠재 확산 과정이 유용한 정보는 유지하면서 사적 정보는 은닉하도록 유도한다. 이 접근법은 다양한 프라이버시 요구를 가진 사용자들이 최소한의 재학습으로 프라이버시-유틸리티 트레이드오프를 조절할 수 있게 한다. 다중 센싱 모달리티를 아우르는 4개의 공개 시계열 데이터셋과 얼굴 이미지 데이터셋에 대한 광범위한 실험을 통해, Cloak이 최신 난독화 기법들을 일관되게 능가하며 유틸리티 손실을 최대 7.21%, 프라이버시 손실을 최대 5.76%까지 줄이고, 자원이 제한된 환경에 배포하기에 적합함을 보여준다.
열화상-가시광 얼굴 변환은 기하학적 불연속성, 의미적 속성 불일치, 신원 저하를 포함한 근본적인 과제를 제기한다. 우리는 이러한 한계를 해결하면서 신원 특성을 보존하기 위해 깊이(depth)와 텍스트 정보를 시너지적으로 통합하는 새로운 다중모달 잠재 확산 프레임워크인 MTVDiff를 제안한다. MTVDiff 프레임워크는 세 가지 핵심 기술적 기여를 제시한다: (1) 다중 스케일 열화상-깊이 특징 추출 및 융합을 위한 Dual-Branch Cross-Attention Fusion(DBCAF) 모듈, (2) 의미론적으로 유도된 생성을 위한 Gated Text-to-Visual Feature Alignment 메커니즘, (3) 적응적 다중모달 사전(prior) 통합을 위한 Spatial Feature Transformations(SFT). MCXFace 및 SpeakingFaces 데이터셋에 대한 광범위한 실험은, 우리의 다중모달 접근법이 여러 지표에서 기존 생성적 적대 신경망(GAN) 기반 및 확산 기반 접근법을 크게 능가하며, 이미지 품질과 얼굴 검증 성능 모두에서 상당한 개선을 달성함을 보여준다. FID는 최대 48.3% 감소하고 Rank-1 정확도는 최대 8.9% 향상되었다. 우리의 연구는 다양한 조명 조건에서 작동하는 얼굴 인식 시스템을 위한 견고한 해결책을 제공하며, 효과적인 다중모달 통합을 통해 교차 스펙트럼 얼굴 이미지 변환의 최신 기술(state-of-the-art)을 발전시킨다.
비주얼 아나그램(visual anagram)은 뒤집기나 회전과 같은 변환 하에서 단일 이미지가 서로 다른 개념적 해석을 제시하는 흥미로운 예술 창작 형식이다. 최근 연구는 사전학습된 텍스트-이미지(T2I) 확산 모델을 활용하여 비주얼 아나그램 합성을 달성했지만, 여전히 계산 비효율, 미흡한 미적 품질, 낮은 의미 충실도와 표현력 등 여러 핵심 한계를 겪고 있다. 본 연구는 최소한의 계산 비용으로 시각적 품질이 실질적으로 향상된 비주얼 아나그램을 생성하는 데 초점을 맞추며, 이를 통해 착시적 디지털 예술의 지능형 창작을 발전시킨다. 이미지 해상도를 높이면서 시간 오버헤드를 줄이기 위해, 픽셀 기반 T2I 모델의 최첨단 병렬 디노이징 알고리즘을 적대적 증류 기반 잠재 모델에 맞게 적용하고, 이에 따라 그로 인한 시각적 품질 저하를 상쇄하기 위한 구조-의미 공동 최적화(structure-semantic co-optimization, S2CO) 프레임워크를 제안한다. 핵심으로, S2CO 프레임워크는 세 가지 주요 혁신으로 구성된다: (ⅰ) null-text 구조 정렬 최적화; (ⅱ) 의미 강화 최적화; (ⅲ) 어텐션 기반 노이즈 융합. 이들 구성 요소를 바탕으로, S2CO-Anagram이라 명명한 우리 방법은 관련 SOTA 접근법보다 눈에 띄게 우수한 시각적 조화와 의미 충실도를 갖춘 고해상도 아나그램 이미지를 생성할 수 있으며, 동시에 실질적으로 더 빠른 추론 속도를 달성한다. 코드는 공개될 예정이다.
기존의 확률적 3D 인체 동작 예측 모델들은 스켈레톤 운동학을 하드코딩함으로써 근본적인 제약을 받아, 일반화를 심각하게 저해하고, 교차 데이터셋 학습을 방해하며, 복잡한 데이터 리타겟팅을 요구한다. 우리는 이 병목 문제를 해결하는 최초의 운동학 무관(kinematics-agnostic) 모델인 EquiFusion을 소개하며, 순열 등변(permutation equivariant) 아키텍처를 갖춘 잠재 확산 모델을 구현한다. EquiFusion은 운동학의 연결성을 명시적 입력 매개변수로 처리하여, 내부 연산이 관절 순서와 그래프 구조에 본질적으로 무관하도록 보장한다. 이 새로운 설계는 미관찰 운동학에 대한 진정한 교차 데이터셋 일반화를 가능하게 하고, 부분적이거나 가려진 관측으로부터의 동작 예측 및 특정 사지 생성과 같은 새로운 제로샷(zero-shot) 방향을 열어준다. EquiFusion은 주요 벤치마크에서 최신 기술 수준(state-of-the-art)의 결과를 달성하며, 이전의 운동학 특화 방법들보다 최대 75% 더 컴팩트하면서도 더 빠른 학습 및 추론을 실현한다. EquiFusion은 이로써 강건한 인체 동작 예측을 위한 새롭고 유연한 표준을 확립한다. 모델과 학습 코드는 https://ceveloper.github.io/publications/equifusion/ 에서 확인할 수 있다.
인지 기능의 제1원리 모델링 시리즈의 일환으로, 본 논문은 사고와 지각에 대한 수학적 정식화를 제시한다. 느린 사고(slow thinking), 더 넓게는 능동적 지각(active perception)을 형식적으로 도출하며, 느린 사고 대규모 언어 모델(LLM)의 설계, 학습, 추론을 아우른다. 출발점은 관측 공간과 잠재 공간 위의 확률 분포를 리프팅(lifting)하고 투영(projection)하는 것으로, 복잡한 데이터 분포를 신경망과 같은 단순한 함수족으로 표현하는 것을 목표로 한다. "능동적 리프팅(active lifting)"이라 명명된 이론을 제안하며, 이는 잠재 시퀀스의 샘플링과 최대 속도로 불확실성을 줄이려는 내재적 동인에 기반한다. 이 이론은 정적 이론(static theory)이라 부르는 부분 공간에 느린 사고 모델을 포함하는 광대한 설계 공간을 도출한다. 해당 모델들은 정적 이론이 유도하는 표현 계층 구조와 샘플러 계층 구조 위에 위치하며, 두 계층 구조를 올라감으로써 개선될 수 있다. 능동적 리프팅은 나아가 내부 시간 축을 지닌 추론 과정과, 최소 길이 부호화 및 언어의 발명과 유사한 학습 목표를 도출한다. 이로써 느린 사고 형식의 창발(emergence)을 포함한 지각의 에이전시(agency)를 특성화한다. 본 이론의 기술적 부산물로는 느린 사고 모델 개선을 위한 3단계 경로, 모든 데이터 모달리티에 대한 인코더 및 생성 모델 구축의 통합적 접근법, 인간과 유사한 시각적 표현의 선험적(a priori) 형성, 그리고 정책 붕괴(policy collapse)에 대한 가능한 해결책이 포함된다.
해부학적 일관성을 보장하면서 뇌 MRI 종단적 진행을 모델링하기 위해, 기준 해부 구조·임상 공변량·노이즈 추가 추적 상태를 입력 단계에서 직접 융합하고 경량 3D 분할 모델(WarpSeg)로 해부학적 지도를 제공하는 AG-LDM을 제안한다. ADNI 31,713쌍 실험과 OASIS-3 제로샷 평가에서 기존 BrLP 대비 체적 오차 15~20% 감소, 공변량 민감도 3.5~31.5배 향상을 달성하며 알츠하이머 진행 특성인 변연계 위축과 뇌실 확장을 정확히 포착하는 반사실적 궤적 생성이 가능함을 보였다.
몰입형 3D 콘텐츠에 대한 수요가 증가함에 따라 단안(monocular) 영상을 스테레오 비디오로 자동 변환하는 기술이 필요해지고 있다. 본 논문에서는 일반 비디오를 양안(binocular) 비디오로 업그레이드하는 제어 가능한 직접 엔드-투-엔드 방법인 Elastic3D를 제안한다. 조건부 잠재 확산(conditional latent diffusion)에 기반한 우리의 접근법은 명시적인 깊이 추정 및 워핑(warping)으로 인한 아티팩트를 방지한다. 고품질 스테레오 비디오 출력의 핵심은 선명하고 에피폴라(epipolar) 일관성을 갖춘 스테레오 비디오 출력을 보장하는 새로운 가이드 VAE 디코더이다. 또한, 우리의 방법은 직관적인 스칼라 조절 노브를 통해 추론 시 사용자가 스테레오 효과의 강도(더 정확히는 시차(disparity) 범위)를 제어할 수 있도록 한다. 실제 스테레오 비디오의 세 가지 서로 다른 데이터셋에 대한 실험 결과, 우리의 방법은 전통적인 워핑 기반 및 최근의 워핑 없는(warping-free) 기준 방법들을 모두 능가하며 신뢰할 수 있는 제어 가능한 스테레오 비디오 변환의 새로운 기준을 제시한다. 비디오 샘플은 프로젝트 페이지(https://elastic3d.github.io)에서 확인할 수 있다.
우리는 복잡한 물리적 상호작용이 지배하는 고도로 동적인 환경을 위한 최초의 멀티플레이어 월드 모델을 소개한다. 단일 플레이어 월드 모델이 다른 에이전트를 환경의 일부로 취급하는 것과 달리, 우리의 모델은 여러 에이전트의 행동 스트림을 조건으로 받아, 장면의 변화를 올바른 플레이어에게 귀속시키고 행동들의 임의적인 조합 하에서도 일관성을 유지하도록 학습한다. 우리는 이 문제를 빠르고 긴밀하게 결합된 역학 아래 플레이어들이 경쟁하고 협력하는 Rocket League 게임에서 연구한다. 공개적으로 이용 가능한 봇으로 수집한 10,000시간 분량의 게임플레이 데이터로 학습된 우리의 50억 매개변수 잠재 확산 모델은 단일 Nvidia B200 GPU에서 초당 20프레임으로 4인 매치를 실시간 생성한다. 짧은 클립으로만 학습되었음에도 불구하고, 모델의 롤아웃은 학습 호라이즌을 훨씬 넘어서도 안정적으로 유지된다: 분포적 품질은 우리가 측정하는 최장 호라이즌인 5분까지 꾸준히 유지되며, 실제로 붕괴 없이 몇 시간 동안 지속되는 롤아웃을 관찰했다. 우리는 비디오 코덱, 생성 목적 함수, 멀티플레이어 조건화 방식이라는 핵심 설계 선택들을 체계적으로 조사한다. 또한, 모델 및 데이터 규모에 따른 행동 변화를 특성화하며, 여기에는 창발하는 능력과 지속되는 실패 사례가 포함된다. 나아가 시각적 외관만이 아닌 모델의 물리적 이해를 탐구하는 목표 지향적 평가를 개발한다. 멀티플레이어 월드 모델에 대한 지속적인 연구를 지원하기 위해, 우리는 데이터셋, 전체 학습 및 추론 코드베이스, 그리고 라이브 데모를 공개한다.