PyTorchKR Papers

“Code Generation”

총 10,163편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2504.10905

InterAnimate: Taming Region-aware Diffusion Model for Realistic Human Interaction Animation

Recent video generation research has focused heavily on isolated actions, leaving interactive motions-such as hand-face interactions-largely unexamined. These interactions are essential for emerging biometric authentication systems, which rely on interactive motion-based anti-spoofing approaches. From a security perspective, there is a growing need for large-scale, high-quality interactive videos to train and strengthen authentication models. In this work, we introduce a novel paradigm for animating realistic hand-face interactions. Our approach simultaneously learns spatio-temporal contact dynamics and biomechanically plausible deformation effects, enabling natural interactions where hand movements induce anatomically accurate facial deformations while maintaining collision-free contact. To facilitate this research, we present InterHF, a large-scale hand-face interaction dataset featuring 18 interaction patterns and 90,000 annotated videos. Additionally, we propose InterAnimate, a region-aware diffusion model designed specifically for interaction animation. InterAnimate leverages learnable spatial and temporal latents to effectively capture dynamic interaction priors and integrates a region-aware interaction mechanism that injects these priors into the denoising process. To the best of our knowledge, this work represents the first large-scale effort to systematically study human hand-face interactions. Qualitative and quantitative results show InterAnimate produces highly realistic animations, setting a new benchmark. Code and data will be made public to advance research.

arXiv:2505.23009공식 코드 · Papers with Code

EmergentTTS-Eval: Evaluating TTS Models on Complex Prosodic, Expressiveness, and Linguistic Challenges Using Model-as-a-Judge

Text-to-Speech (TTS) benchmarks often fail to capture how well models handle nuanced and semantically complex text. Building on $\textit{EmergentTTS}$, we introduce $\textit{EmergentTTS-Eval}$, a comprehensive benchmark covering six challenging TTS scenarios: emotions, paralinguistics, foreign words, syntactic complexity, complex pronunciation (e.g. URLs, formulas), and questions. Crucially, our framework automates both test-case generation and evaluation, making the benchmark easily extensible. Starting from a small set of human-written seed prompts, we iteratively extend them using LLMs to target specific structural, phonetic and prosodic challenges, resulting in 1,645 diverse test cases. Moreover, we employ a model-as-a-judge approach, using a Large Audio Language Model (LALM) to assess the speech across multiple dimensions such as expressed emotion, prosodic, intonational, and pronunciation accuracy. We evaluate state-of-the-art open-source and proprietary TTS systems, such as 11Labs, Deepgram, and OpenAI's 4o-mini-TTS, on EmergentTTS-Eval, demonstrating its ability to reveal fine-grained performance differences. Results show that the model-as-a-judge approach offers robust TTS assessment and a high correlation with human preferences. We open source the evaluation $\href{https://github.com/boson-ai/EmergentTTS-Eval-public}{code}$ and the $\href{https://huggingface.co/datasets/bosonai/EmergentTTS-Eval}{dataset}$.

arXiv:2506.21018공식 코드 · Papers with Code

LASFNet: A Lightweight Attention-Guided Self-Modulation Feature Fusion Network for Multimodal Object Detection

Effective deep feature extraction via feature-level fusion is crucial for multimodal object detection. However, previous studies often involve complex training processes that integrate modality-specific features by stacking multiple feature-level fusion units, leading to significant computational overhead. To address this issue, we propose a new fusion detection baseline that uses a single feature-level fusion unit to enable high-performance detection, thereby simplifying the training process. Based on this approach, we propose a lightweight attention-guided self-modulation feature fusion network (LASFNet), which introduces a novel attention-guided self-modulation feature fusion (ASFF) module that adaptively adjusts the responses of fusion features at both global and local levels based on attention information from different modalities, thereby promoting comprehensive and enriched feature generation. Additionally, a lightweight feature attention transformation module (FATM) is designed at the neck of LASFNet to enhance the focus on fused features and minimize information loss. Extensive experiments on three representative datasets demonstrate that, compared to state-of-the-art methods, our approach achieves a favorable efficiency-accuracy trade-off, reducing the number of parameters and computational cost by as much as 90% and 85%, respectively, while improving detection accuracy (mAP) by 1%-3%. The code will be open-sourced at https://github.com/leileilei2000/LASFNet.

arXiv:2507.05970

Automatic Synthesis of High-Quality Triplet Data for Composed Image Retrieval

As a challenging vision-language (VL) task, Composed Image Retrieval (CIR) aims to retrieve target images using multimodal (image+text) queries. Although many existing CIR methods have attained promising performance, their reliance on costly, manually labeled triplets hinders scalability and zero-shot capability. To address this issue, we propose a scalable pipeline for automatic triplet generation, along with a fully synthetic dataset named Composed Image Retrieval on High-quality Synthetic Triplets (CIRHS). Our pipeline leverages a large language model (LLM) to generate diverse prompts, controlling a text-to-image generative model to produce image pairs with identical elements in each pair, which are then filtered and reorganized to form the CIRHS dataset. In addition, we introduce Hybrid Contextual Alignment (CoAlign), a novel CIR framework, which can accomplish global alignment and local reasoning within a broader context, enabling the model to learn more robust and informative representations. By utilizing the synthetic CIRHS dataset, CoAlign achieves outstanding zero-shot performance on three commonly used benchmarks, demonstrating for the first time the feasibility of training CIR models on a fully synthetic dataset. Furthermore, under supervised training, our method outperforms all the state-of-the-art supervised CIR approaches, validating the effectiveness of our proposed retrieval framework. The code and the CIRHS dataset will be released soon.

arXiv:2605.22817v2cs.LG

Vector Policy Optimization: Training for Diversity Improves Test-Time Search

Language models must now generalize out of the box to novel environments and work inside inference-scaling search procedures, such as AlphaEvolve, that select rollouts with a variety of task-specific reward functions. Unfortunately, the standard paradigm of LLM post-training optimizes a pre-specified scalar reward, often leading current LLMs to produce low-entropy response distributions and thus to struggle at displaying the diversity that inference-time search will require. We propose Vector Policy Optimization (VPO), an RL algorithm that explicitly trains policies to anticipate diverse downstream reward functions and to produce diverse solutions. VPO exploits that rewards are often vector-valued in practice, like per-test-case correctness in code generation or, say, multiple different user personas or reward models. VPO combines multi-answer prompting with a set-level reward to train the LLM to produce sets of solutions that specialize to different trade-offs in the vector reward space. Across four tasks, VPO matches or beats the strongest scalar RL baselines on test-time search (e.g. pass@k and best@k), with the gap widening as the search budget grows. For evolutionary search, VPO models unlock problems that GRPO models cannot solve at all. As test-time search becomes standard, diversity may need to become the default post-training objective.

arXiv:2606.12608v1cs.CL

Shopping Reasoning Bench: 멀티턴 대화형 쇼핑 어시스턴트를 위한 전문가 작성 벤치마크

Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants

소매 전문가가 작성한 Shopping Reasoning Bench는 주관적 선호와 예산 제약을 고려해야 하는 멀티턴 대화형 쇼핑 어시스턴트의 추론 능력을 평가하기 위해 525개의 미션과 10,863개의 평가 기준을 제안합니다. GPT, Claude, Gemini 등 9개 모델에 대한 평가 결과 전체 합격률은 57~77% 수준이며 대화가 길어질수록 성능이 저하되어 현재 모델이 전문가 수준의 조언에는 미치지 못함을 확인했습니다.

arXiv:2606.26812v1cs.CV

악천후 조건에서의 다중 모달리티 영상 융합: 마스크 기반 특징 복원 및 상호작용

Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction

악천후로 인한 영상 열화가 특징 표현과 교차 모달리티 상보성을 동시에 요구하는 다중 모달리티 영상 융합(MMIF) 문제를 해결하기 위해, Pseudo Ground Truth와 융합 결과-원본 영상 매핑 기반 마스크 생성, 마스크 기반 교차 모달리티 크로스 어텐션 및 열화 인식 학습 전략을 통합한 방법을 제안한다. 합성·실세계 데이터셋에서 시각적 품질, 정량 지표, 하위 작업 성능 모두에서 기존 최신 방법을 능가한다.

arXiv:2607.16279v1cs.CV

신뢰할 수 있는 위험 인식 얼굴 검색(RA-FR)을 향한 한 걸음

A Step Forward Towards Trustworthy Risk-Aware Facial Retrieval (RA-FR)

제약 없는 감시 환경에서의 얼굴 이미지 검색은 관심 대상을 놓치는 것, 즉 단 하나의 거짓 음성(false negative)도 용납될 수 없는 고위험 과제이다. 엄선된 벤치마크에서는 거의 완벽한 성능을 보이지만, 현재의 인식 시스템은 저해상도, 모션 블러, 비제어 조명(예: SCFace)과 같은 실세계 도메인 이동(domain shift) 하에서 성능이 저하된다. 이 신뢰성 격차를 해결하기 위해, 우리는 고정된 Top-$k$ 검색을 넘어 적응형 집합 생성으로 확장하며, 사용자가 지정한 위험 수준($α$)과 신뢰 수준($1 - δ$) 내에서 정답(ground truth) 포함을 보장하는 프레임워크인 위험 인식 얼굴 검색(RA-FR)을 제안한다. 우리 접근법은 세 가지 핵심 기여를 통합한다: (1) Latent Consistency Models(InterLCM)와 DiffBIR을 결합한 하이브리드 블라인드 얼굴 복원 기법을 통해 우발적 불확실성(aleatoric uncertainty)을 줄이는 것; (2) 자기지도 DINOv1 ViT-B와 GGeM 풀링을 통해 판별력 있고 복원에 강건한 특징을 추출하는 것; (3) Hoeffding 부등식을 활용한 conformal prediction(순응 예측)을 사용하여 쿼리 불확실성에 따라 검색 집합 크기를 동적으로 보정하는 것. IMFDB 벤치마크에서 5% 위험 목표를 일관되게 충족하며, 평균 검색 집합 크기는 약 10장의 이미지이다. 도메인 특화 복원, 강건한 표현 학습, 증명 가능한 의사결정 규칙을 통합함으로써, RA-FR은 감시 환경에서의 얼굴 검색을 신뢰할 수 있고 감사 가능하게 만드는 파이프라인을 제공한다. 코드는 https://github.com/MuhammadEmmadSiddiqui/RA-FR 에서 이용할 수 있다.

arXiv:2607.20833v2cs.CL

REFACT: 간결하고 충실한 사고의 연쇄 추론을 위한 적응형 사실 재진술

REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning

대규모 언어 모델(LLM)은 복잡한 작업을 해결하기 위해 장문 추론을 점점 더 많이 활용하고 있지만, 근거가 불완전하거나 노이즈가 있거나 파라메트릭 지식과 충돌할 때 추론 과정이 주어진 컨텍스트에서 벗어날 수 있습니다. 기존의 그라운딩(grounding) 접근 방식은 생성 후에 인용을 덧붙이거나 추론 중에 LLM이 근거를 검색하도록 유도하지만, 인용된 정보가 중간 추론과 최종 답변을 뒷받침하기에 충분한지 보장하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 LLM이 문맥적 그라운딩이 필요한 시점을 판단하고 신뢰할 수 있는 추론을 위해 적절한 세부 수준으로 원본 사실을 선택적으로 재진술할 수 있도록 지원하는 적응형 사실 재진술 인용 프레임워크인 REFACT를 제안합니다. 추론 중 적응형 인용을 촉진하기 위해, REFACT는 먼저 교사 LLM을 활용하여 다양한 근거 길이를 갖는 다양한 컨텍스트 조건에서 고품질의 인용 인식 추론 궤적을 구축한 다음, 2단계 SFT-to-RL 프레임워크를 통해 학생 LLM을 최적화합니다. LongBench, LV-Eval, ConFiQA에 대한 실험 결과, REFACT는 추론 토큰 수를 대폭 줄이면서 긴 컨텍스트 질의응답 및 반사실적 충실성을 향상시키는 것으로 나타났습니다. 추가 분석에 따르면 REFACT는 더 적은 재진술로 답변과 관련된 사실을 더 많이 보존함으로써 더 높은 근거 밀도를 달성하여, 더 간결하면서도 더 잘 그라운딩된 추론 과정을 생성함을 보여줍니다. 모든 코드와 데이터는 https://github.com/NEUIR/REFACT 를 통해 공개될 예정입니다.

arXiv:2607.22602v1cs.AI

DeepLook: 선행 탐색(Lookahead)을 통한 더 깊은 사고

DeepLook: Deeper Thinking with Lookahead

추론 시점 스케일링(inference-time scaling)은 대규모 언어 모델의 추론 능력을 향상시키는 강력한 패러다임으로 부상했으며, 어려운 추론 과제에서는 종종 매개변수 스케일링만으로 얻는 것보다 더 큰 이득을 제공한다. 그러나 기존 접근법은 추론 궤적 내에서 연산을 할당하는 방식이 여전히 비효율적이다. 추론 실패가 잘못된 답이 명시적으로 드러나기 전에 불확실성이 조기에 나타나는 경우가 많다는 관찰에 동기를 부여받아, 우리는 DeepLook을 제안한다. DeepLook은 학습 없이 모니터링하고 개입하는 디코딩 프레임워크로, 불확실성 병목 지점에 선행 탐색(lookahead) 연산을 집중한다. DeepLook은 토큰 수준의 신뢰도를 구간 수준 신호로 집계하고, 최근 이력 대비 신뢰도가 하락할 때 트리거되며, 고정 수평선 선행 탐색으로 후보 연속을 탐색한다. 분기는 롤아웃 연속에 대한 구간 수준 신뢰도의 평균인 평균 선행 탐색 신뢰도(Average Lookahead Confidence, ALC)로 순위를 매기고, 가지치기한 뒤 투표를 통해 집계한다. DeepSeek-R1-8B, Qwen3-32B, GPT-OSS-20B, GPT-OSS-120B에 걸친 4개의 경쟁형 수학 벤치마크에서 DeepLook은 정확도-토큰 비용 파레토 프론티어를 이동시킨다. 16개 설정 중 11개에서 DeepConf-low 대비 정확도를 개선하면서, 평균적으로 데이터셋 수준 토큰 생성을 87.3% 줄였으며, Qwen3-32B에서 AIME25 +3.1, GPT-OSS-20B에서 BRUMO25 +8.8의 향상을 포함한다. 이러한 결과는 선택적이고 미래를 고려한 개입이 완전한 추론 궤적을 균일하게 스케일링하는 것보다 실질적으로 더 강한 정확도-비용 트레이드오프를 제공함을 보여준다. 코드는 여기에서 이용 가능하다.

arXiv:2608.01149v1cs.AI

PATH-Bench: 평생 학습 에이전트의 경로 의존적 평가

PATH-Bench: Path-Dependent Evaluation of Lifelong Agents

평생 학습(lifelong) 대규모 언어 모델(LLM) 에이전트는 과거의 상호작용을 검색 가능한 메모리나 재사용 가능한 스킬로 저장하는 외부 학습 상태를 통해 점차 적응해 나가고 있으나, 기존 벤치마크는 축적된 경험의 경로가 에이전트의 전이(transfer) 및 유지(retention) 능력에 어떻게 영향을 미치는지를 거의 고려하지 않습니다. 본 연구에서는 평생 학습 에이전트의 경로 의존적(path-dependent) 평가를 위한 벤치마크인 PATH-Bench를 구축합니다. PATH-Bench는 다중 모델 문맥 내 학습(ICL)을 통해 방향성 있는 과업 간 관계를 추정하고, 유용한 이력과 간섭하는 이력이 통제된 프로브(probe) 중심 시퀀스를 구성하며, 프로브 과업을 반복 평가하여 평균 성능, 순방향 전이(forward transfer), 역방향 전이(backward transfer), 그리고 망각(forgetting)을 측정합니다. 본 연구는 긍정적 이력 및 부정적 이력이 지배적인 조건하에서 단일 턴 코드 생성 및 멀티 턴 도구 사용 과업을 대상으로 8개의 대표적인 에이전트를 평가합니다. 벤치마크 결과는 경험의 유용성이 경험의 표현 방식과 과업의 상호작용 구조 모두에 의존하며, 강력한 전이가 유지 능력을 보장하지 않고, 학습 경로 후반의 경험이 앞서 얻은 이득을 재형성할 수 있음을 보여줍니다. 이러한 발견을 바탕으로, 경로에 따라 축적된 경험이 각 신규 과업에 미치는 영향을 조절하여 유용한 항목은 수용하고 잠재적 간섭은 걸러내는 에이전트 하네스인 SEU(Selective Experience Use)를 제안합니다. SEU는 대다수 설정에서 순방향 전이를 향상시키는 동시에 망각을 일관되게 줄입니다. PATH-Bench는 통제된 평가 프레임워크와 함께 보다 선택적이고 견고한 평생 학습 에이전트 설계를 위한 실질적인 지침을 제공합니다.

arXiv:2604.01280v2cs.CV

다시 보기(Look Twice): 지식 기반 시각적 질의응답을 위한 학습 불필요 근거 강조 기법

Look Twice: Training-Free Evidence Highlighting for Knowledge-based Visual Question Answering

지식 기반 시각적 질의응답(KB-VQA)은 멀티모달 대규모 언어 모델(MLLM)이 세분화된 시각적 단서를 식별하고 이를 검색된 텍스트 근거와 결합할 것을 요구합니다. 그러나 정보 검색은 노이즈가 있거나 부분적으로만 관련 있는 콘텐츠를 유입시키는 경우가 많으며, 이미지에는 주의를 분산시키는 시각적 영역이 포함되어 있어 사전학습된 MLLM이 실제로 정답을 뒷받침하는 근거를 간과하게 만듭니다. 이를 해결하기 위해, 우리는 모델 자체의 내부 어텐션(attention)을 명시적인 멀티모달 근거 선택 메커니즘으로 전환하는 학습 불필요(training-free) 추론(inference) 시점 프레임워크인 Look Twice(LoT)를 소개합니다. LoT는 먼저 모델의 내부 어텐션 패턴을 활용하여 질의와 관련된 이미지 영역 및 텍스트 문장을 식별하고, 어텐션 싱크(attention sink) 및 주의를 분산시키는 콘텐츠를 필터링한 후, 정답 생성 전에 선택된 근거를 명시적으로 강조하도록 입력을 재구성합니다. 이 방법은 매개변수 업데이트, 보조 모델 또는 아키텍처 수정을 필요로 하지 않습니다. 4개의 KB-VQA 벤치마크와 2B부터 38B 매개변수에 이르는 10개의 기성(off-the-shelf) MLLM 전반에 걸쳐, LoT는 평가된 모든 백본의 성능을 향상시켰으며 최대 +12.5 정확도 포인트의 평균 향상을 달성했습니다. 또한 기존의 컨텍스트 정제(context-refinement) 전략과 결합할 때 추가적인 이득을 제공하여 이미 정제된 입력에 대해서도 추가 개선을 이끌어냈습니다. 이러한 결과는 LoT가 사전학습된 MLLM이 가용한 멀티모달 근거를 더욱 정확하게 활용할 수 있도록 지원하는 일반적이고 효과적인 메커니즘임을 입증합니다. 소스 코드는 https://aimagelab.github.io/LoT/ 에서 공개되어 있습니다.

arXiv:2609.03321v1cs.CL

턴테이킹과 의미론의 분리: 유한 상태 기계 기반 전이중 대화를 위한 분리형 데이터 접근법

Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue

Neural Finite State Machine(NFSM) 프레임워크는 표준 다음 토큰 예측 목적함수 하에서 턴테이킹 제어와 응답 생성을 하나의 인과적 테이프(causal tape)에 직렬화함으로써 전이중(full-duplex) 대화로 나아가는 실용적인 경로를 제시하며, 이를 통해 낮은 미세조정 비용으로 의미론적 역량을 보존한다. 그러나 이 프레임워크가 합성 텍스트 데이터에 의존한다는 점은 턴테이킹의 자연스러움을 근본적으로 제한하는데, 대규모 언어 모델(LLM)이 실제 사람 간 대화의 세밀한 음향적 시간 역학을 충실히 모사할 수 없기 때문이다. 본 연구에서는 실제 사람-사람(Human-Human, HH) 음성 대화로부터 턴테이킹을 학습하는 동시에, 설정 가능한 사람-에이전트(Human-Agent, HA) 텍스트 대화를 통해 의미적 행동을 형성하는 분리형 데이터 접근법을 제안한다. 이 접근법을 구현하기 위해, 턴테이킹 이벤트를 분류하고 결정론적 매핑 규칙을 적용하여 HH 음성 대화를 FSM 테이프로 직렬화하는 규칙 기반 이벤트 유도형 데이터 변환 방법을 도입하며, 이를 통해 LLM이 생성한 어노테이션 없이도 확장 가능한 지도(supervision)를 가능하게 한다. 또한 상태 전이 토큰의 롱테일 분포를 함께 보정하고, 각 데이터 소스가 가장 잘 지도할 수 있는 역량 쪽으로 학습을 유도하는 Source-Aware Calibrated(SAC) 손실을 제안한다. 실험 결과, 제안한 접근법은 기반 LLM의 의미론적 역량을 회복하면서 턴테이킹 숙련도를 크게 향상시킨다. 코드와 모델은 https://github.com/Liyht/def-fsm 에서 확인할 수 있다.

arXiv:1807.04188

A Hardware-Software Blueprint for Flexible Deep Learning Specialization

Specialized Deep Learning (DL) acceleration stacks, designed for a specific set of frameworks, model architectures, operators, and data types, offer the allure of high performance while sacrificing flexibility. Changes in algorithms, models, operators, or numerical systems threaten the viability of specialized hardware accelerators. We propose VTA, a programmable deep learning architecture template designed to be extensible in the face of evolving workloads. VTA achieves this flexibility via a parametrizable architecture, two-level ISA, and a JIT compiler. The two-level ISA is based on (1) a task-ISA that explicitly orchestrates concurrent compute and memory tasks and (2) a microcode-ISA which implements a wide variety of operators with single-cycle tensor-tensor operations. Next, we propose a runtime system equipped with a JIT compiler for flexible code-generation and heterogeneous execution that enables effective use of the VTA architecture. VTA is integrated and open-sourced into Apache TVM, a state-of-the-art deep learning compilation stack that provides flexibility for diverse models and divergent hardware backends. We propose a flow that performs design space exploration to generate a customized hardware architecture and software operator library that can be leveraged by mainstream learning frameworks. We demonstrate our approach by deploying optimized deep learning models used for object classification and style transfer on edge-class FPGAs.

arXiv:1907.01826공식 코드 · Papers with Code

Cascade Attention Guided Residue Learning GAN for Cross-Modal Translation

Since we were babies, we intuitively develop the ability to correlate the input from different cognitive sensors such as vision, audio, and text. However, in machine learning, this cross-modal learning is a nontrivial task because different modalities have no homogeneous properties. Previous works discover that there should be bridges among different modalities. From neurology and psychology perspective, humans have the capacity to link one modality with another one, e.g., associating a picture of a bird with the only hearing of its singing and vice versa. Is it possible for machine learning algorithms to recover the scene given the audio signal? In this paper, we propose a novel Cascade Attention-Guided Residue GAN (CAR-GAN), aiming at reconstructing the scenes given the corresponding audio signals. Particularly, we present a residue module to mitigate the gap between different modalities progressively. Moreover, a cascade attention guided network with a novel classification loss function is designed to tackle the cross-modal learning task. Our model keeps the consistency in high-level semantic label domain and is able to balance two different modalities. The experimental results demonstrate that our model achieves the state-of-the-art cross-modal audio-visual generation on the challenging Sub-URMP dataset. Code will be available at https://github.com/tuffr5/CAR-GAN.

arXiv:2007.03898공식 코드 · Papers with Code

NVAE: A Deep Hierarchical Variational Autoencoder

Normalizing flows, autoregressive models, variational autoencoders (VAEs), and deep energy-based models are among competing likelihood-based frameworks for deep generative learning. Among them, VAEs have the advantage of fast and tractable sampling and easy-to-access encoding networks. However, they are currently outperformed by other models such as normalizing flows and autoregressive models. While the majority of the research in VAEs is focused on the statistical challenges, we explore the orthogonal direction of carefully designing neural architectures for hierarchical VAEs. We propose Nouveau VAE (NVAE), a deep hierarchical VAE built for image generation using depth-wise separable convolutions and batch normalization. NVAE is equipped with a residual parameterization of Normal distributions and its training is stabilized by spectral regularization. We show that NVAE achieves state-of-the-art results among non-autoregressive likelihood-based models on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ datasets and it provides a strong baseline on FFHQ. For example, on CIFAR-10, NVAE pushes the state-of-the-art from 2.98 to 2.91 bits per dimension, and it produces high-quality images on CelebA HQ. To the best of our knowledge, NVAE is the first successful VAE applied to natural images as large as 256$\times$256 pixels. The source code is available at https://github.com/NVlabs/NVAE .

arXiv:2010.05562공식 코드 · Papers with Code

High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies

We present a fully automatic system that can produce high-fidelity, photo-realistic 3D digital human heads with a consumer RGB-D selfie camera. The system only needs the user to take a short selfie RGB-D video while rotating his/her head, and can produce a high quality head reconstruction in less than 30 seconds. Our main contribution is a new facial geometry modeling and reflectance synthesis procedure that significantly improves the state-of-the-art. Specifically, given the input video a two-stage frame selection procedure is first employed to select a few high-quality frames for reconstruction. Then a differentiable renderer based 3D Morphable Model (3DMM) fitting algorithm is applied to recover facial geometries from multiview RGB-D data, which takes advantages of a powerful 3DMM basis constructed with extensive data generation and perturbation. Our 3DMM has much larger expressive capacities than conventional 3DMM, allowing us to recover more accurate facial geometry using merely linear basis. For reflectance synthesis, we present a hybrid approach that combines parametric fitting and CNNs to synthesize high-resolution albedo/normal maps with realistic hair/pore/wrinkle details. Results show that our system can produce faithful 3D digital human faces with extremely realistic details. The main code and the newly constructed 3DMM basis is publicly available.

arXiv:2010.08175공식 코드 · Papers with Code

Anisotropic Stroke Control for Multiple Artists Style Transfer

Though significant progress has been made in artistic style transfer, semantic information is usually difficult to be preserved in a fine-grained locally consistent manner by most existing methods, especially when multiple artists styles are required to transfer within one single model. To circumvent this issue, we propose a Stroke Control Multi-Artist Style Transfer framework. On the one hand, we develop a multi-condition single-generator structure which first performs multi-artist style transfer. On the one hand, we design an Anisotropic Stroke Module (ASM) which realizes the dynamic adjustment of style-stroke between the non-trivial and the trivial regions. ASM endows the network with the ability of adaptive semantic-consistency among various styles. On the other hand, we present an novel Multi-Scale Projection Discriminator} to realize the texture-level conditional generation. In contrast to the single-scale conditional discriminator, our discriminator is able to capture multi-scale texture clue to effectively distinguish a wide range of artistic styles. Extensive experimental results well demonstrate the feasibility and effectiveness of our approach. Our framework can transform a photograph into different artistic style oil painting via only ONE single model. Furthermore, the results are with distinctive artistic style and retain the anisotropic semantic information. The code is already available on github: https://github.com/neuralchen/ASMAGAN.

arXiv:2112.03631

SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal

Makeup transfer is not only to extract the makeup style of the reference image, but also to render the makeup style to the semantic corresponding position of the target image. However, most existing methods focus on the former and ignore the latter, resulting in a failure to achieve desired results. To solve the above problems, we propose a unified Symmetric Semantic-Aware Transformer (SSAT) network, which incorporates semantic correspondence learning to realize makeup transfer and removal simultaneously. In SSAT, a novel Symmetric Semantic Corresponding Feature Transfer (SSCFT) module and a weakly supervised semantic loss are proposed to model and facilitate the establishment of accurate semantic correspondence. In the generation process, the extracted makeup features are spatially distorted by SSCFT to achieve semantic alignment with the target image, then the distorted makeup features are combined with unmodified makeup irrelevant features to produce the final result. Experiments show that our method obtains more visually accurate makeup transfer results, and user study in comparison with other state-of-the-art makeup transfer methods reflects the superiority of our method. Besides, we verify the robustness of the proposed method in the difference of expression and pose, object occlusion scenes, and extend it to video makeup transfer. Code will be available at https://gitee.com/sunzhaoyang0304/ssat-msp.

arXiv:2201.09686

Balanced Graph Structure Learning for Multivariate Time Series Forecasting

Accurate forecasting of multivariate time series is an extensively studied subject in finance, transportation, and computer science. Fully mining the correlation and causation between the variables in a multivariate time series exhibits noticeable results in improving the performance of a time series model. Recently, some models have explored the dependencies between variables through end-to-end graph structure learning without the need for predefined graphs. However, current models do not incorporate the trade-off between efficiency and flexibility and lack the guidance of domain knowledge in the design of graph structure learning algorithms. This paper alleviates the above issues by proposing Balanced Graph Structure Learning for Forecasting (BGSLF), a novel deep learning model that joins graph structure learning and forecasting. Technically, BGSLF leverages the spatial information into convolutional operations and extracts temporal dynamics using the diffusion convolutional recurrent network. The proposed framework balance the trade-off between efficiency and flexibility by introducing Multi-Graph Generation Network (MGN) and Graph Selection Module. In addition, a method named Smooth Sparse Unit (SSU) is designed to sparse the learned graph structures, which conforms to the sparse spatial correlations in the real world. Extensive experiments on four real-world datasets demonstrate that our model achieves state-of-the-art performances with minor trainable parameters. Code will be made publicly available.