DoodleFormer: Creative Sketch Drawing with Transformers
원문 초록
Creative sketching or doodling is an expressive activity, where imaginative and previously unseen depictions of everyday visual objects are drawn. Creative sketch image generation is a challenging vision problem, where the task is to generate diverse, yet realistic creative sketches possessing the unseen composition of the visual-world objects. Here, we propose a novel coarse-to-fine two-stage framework, DoodleFormer, that decomposes the creative sketch generation problem into the creation of coarse sketch composition followed by the incorporation of fine-details in the sketch. We introduce graph-aware transformer encoders that effectively capture global dynamic as well as local static structural relations among different body parts. To ensure diversity of the generated creative sketches, we introduce a probabilistic coarse sketch decoder that explicitly models the variations of each sketch body part to be drawn. Experiments are performed on two creative sketch datasets: Creative Birds and Creative Creatures. Our qualitative, quantitative and human-based evaluations show that DoodleFormer outperforms the state-of-the-art on both datasets, yielding realistic and diverse creative sketches. On Creative Creatures, DoodleFormer achieves an absolute gain of 25 in terms of Fr`echet inception distance (FID) over the state-of-the-art. We also demonstrate the effectiveness of DoodleFormer for related applications of text to creative sketch generation and sketch completion.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 생성 모델의 평가 및 개선을 위한 잠재 분포 관점
A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models
잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.
인지-정서 신경조절 표적의 in silico 설계를 위한 AI 기반 신경 대리 모델
AI-Driven Neural Surrogates for In Silico Design of Cognitive-Affective Neuromodulation Targets
신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.
SewFusion: 재봉 패턴을 위한 위상 및 패널 수준 기하학의 맞춤형 생성
SewFusion: Tailored Generation of Topology and Panel-Level Geometry for Sewing Patterns
이미지와 텍스트로부터 재봉 패턴을 생성하려면 이산적 위상(topology)과 연속적 기하학(geometry)으로 구성된 이종 표현(heterogeneous representation)을 모델링해야 합니다. 기존 방법들은 주로 두 가지 패러다임을 따릅니다. 확산 기반(diffusion-based) 방법은 전체 패턴을 연속적인 표현으로 변환하여 전체적인 기하학 생성을 가능하게 하지만 이산적 위상 모델링을 약화시킵니다. 반면, 자기회귀(autoregressive) 방법은 다음 토큰 예측(next-token prediction)을 통해 이산적 위상을 보존하지만, 연속적 기하학 회귀를 패널 수준의 문맥이 제한된 토큰 수준의 은닉 상태(hidden states)에 결속시킵니다. 이러한 격차를 해소하기 위해, 우리는 이산적 위상과 패널 수준의 연속적 기하학에 대해 맞춤형 생성 메커니즘을 채택하여 전자에는 다음 토큰 예측을, 후자에는 플로우 매칭(flow matching)을 사용하는 통합 자기회귀 프레임워크인 SewFusion을 제안합니다. 패널 수준의 연속적 기하학 생성을 지원하기 위해 가변 길이의 패널 기하학에 대한 고정 크기 잠재 공간(latent space)을 학습하는 Panel Geometry VAE와 잠재 생성을 위한 Panel Geometry Flow를 도입합니다. 나아가 위상 문맥에서의 학습-추론 불일치를 줄이고 위상 예측 오류에 대한 강건성을 향상시키기 위해 Panel-Forcing을 제안합니다. SewFactory 및 GCD-MM에 대한 광범위한 실험은 SewFusion이 다양한 설정에서 기존의 최첨단 방법들을 일관되게 능가하며, 이미지-텍스트 기반 생성 설정에서 패널 정확도(Panel Accuracy) +6.36%, 스티치 정확도(Stitch Accuracy) +11.30%, 정점 L2 오차(Vertex L2 error) -1.90을 달성함을 입증합니다.
UniGen-AR: 자기회귀 모델링을 통한 통합 시각 생성
UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling
현대 컴퓨터 비전(CV) 파이프라인은 여전히 분절되어 있으며, 텍스트-이미지 생성, 편집, 복원, 전통적인 인식(perception)과 같은 작업이 각각 별도의 모델로 처리된다. 우리는 단일 모델이 통합된 멀티모달 인터페이스를 통해 다양한 이미지 형태의 출력을 생성하는 통합 시각 생성(UVG)을 연구한다. 확산(diffusion) 기반 시스템은 뛰어난 품질과 제어 가능성(controllability)으로 UVG를 주도하지만, 반복적 샘플링으로 인해 상당한 추론 지연이 발생하여 실용적 배포를 제한한다. 이러한 한계를 해결하기 위해, 범용 멀티모달 언어 모델(MLLM)과 효율적인 next-scale 시각 자기회귀(VAR) 디코더를 결합한 프레임워크인 UniGen-AR를 제안한다. 이 설계는 MLLM 기반 조건화(conditioning)의 유연성을 유지하면서 VAR 모델의 샘플링 효율성과 잠재 공간 통합(latent unification) 특성을 활용한다. 우리 프레임워크에서 MLLM은 자유 형식의 지시와 제어 신호를 통합 시퀀스로 인코딩하며, 이는 VAR 디코더가 네 가지 계열에 걸친 15개 이상의 작업에 대해 이미지 형태의 출력을 생성하도록 안내한다. 실험적으로 UniGen-AR는 확산 기반 베이스라인 대비 최대 19배 낮은 추론 지연을 달성하면서 출력 품질을 유지하거나 개선한다. 우리의 ablation 연구는 VQ-VAE 토크나이저(tokenizer) 설계, 특히 codebook 크기와 계층 구조가 UVG에서 VAR 확장성(scalability)의 핵심 요인임을 추가로 밝힌다. 이 결과는 시각 자기회귀 모델링이 통합 시각 생성을 위한 설득력 있고 효율적인 백본(backbone)임을 입증한다. 프로젝트 페이지: https://zpbao.github.io/projects/unigenar.
Deep Conditional HDRI: Inverse Tone Mapping via Dual Encoder-Decoder Conditioning Method
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.