arXiv:2212.01567

AdaCM: Adaptive ColorMLP for Real-Time Universal Photo-realistic Style Transfer

Tianwei Lin, Honglin Lin, Fu Li, Dongliang He, Wenhao Wu, Meiling Wang, Xin Li, Yong liu

제출 2022-12-03

원문 초록

Photo-realistic style transfer aims at migrating the artistic style from an exemplar style image to a content image, producing a result image without spatial distortions or unrealistic artifacts. Impressive results have been achieved by recent deep models. However, deep neural network based methods are too expensive to run in real-time. Meanwhile, bilateral grid based methods are much faster but still contain artifacts like overexposure. In this work, we propose the \textbf{Adaptive ColorMLP (AdaCM)}, an effective and efficient framework for universal photo-realistic style transfer. First, we find the complex non-linear color mapping between input and target domain can be efficiently modeled by a small multi-layer perceptron (ColorMLP) model. Then, in \textbf{AdaCM}, we adopt a CNN encoder to adaptively predict all parameters for the ColorMLP conditioned on each input content and style image pair. Experimental results demonstrate that AdaCM can generate vivid and high-quality stylization results. Meanwhile, our AdaCM is ultrafast and can process a 4K resolution image in 6ms on one V100 GPU.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.25220v1cs.CV공통 태그 GPU, Style Transfer

기하학적 필터링을 활용한 케이지 기반 텍스처 전송

Cage-based Texture Transfer with Geometric Filtering

실시간 텍스처 전송은 디지털 캐릭터 화장부터 절차적 자동차 텍스처링에 이르는 다양한 시나리오에서 원활한 세부 정보 투영을 가능하게 하여 인터랙티브 애플리케이션의 창의적 가능성을 확장한다. 그러나 실제 적용에는 처리 속도와 아티팩트 억제 사이의 본질적인 트레이드오프가 존재한다. 저지연 전송 방법은 아티팩트를 충분히 억제하지 못하는 경우가 많으며, 견고한 대안들은 학습과 메모리 비용이 큰 대규모 모델에 의존한다. 본 논문에서 제안하는 방법은 케이지 기반 기하학적 필터링 기법을 활용하여 아티팩트 억제를 위한 비화장 영역(NCZ, Non-Cosmetic Zone)을 식별함으로써 효율성과 견고성 사이의 간극을 해소한다. 수동으로 주석이 달린 데이터셋에서 수일간의 학습이 필요한 리소스 집약적 모델들과 달리, 본 방법은 아티팩트를 효과적으로 억제하면서 소비자용 하드웨어에서 즉시 배포가 가능하다. 제안된 프레임워크는 약 4,800개의 삼각형 메시에 대해 모바일 기기에서 약 70ms의 매우 효율적인 런타임을 달성하였다.

arXiv:2606.18788v2cs.CV공통 태그 Style Transfer

HandwritingAgent: 확장 가능한 벡터 공간에서의 언어 구동 손글씨 합성

HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space

기계가 자연스러운 손글씨 스타일을 모방하도록 가르치는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 이는 개인 간뿐만 아니라 한 사람의 손글씨 내에서도 모양, 질감, 압력, 필기체가 동적으로 변화하는 획 시퀀스(stroke sequences)를 합성해야 하기 때문입니다. 이 과제에 대한 시도는 주로 온라인 및 오프라인 설정에서 심층 학습(deep learning) 방법을 탐색해 왔습니다. 그러나 이러한 접근 방식은 종종 스타일 특정적 아키텍처 선택, 대규모 데이터셋(dataset)에 대한 과도한 의존, 높은 연산 비용, 그리고 자연어를 통한 작문 스타일에 대한 유연한 제어 부족으로 제한받습니다. 이를 위해 우리는 스타일 특정 학습(style-specific training) 없이 Scalable Vector Graphics (SVG) 형식으로 직접 자연스러운 손글씨 시퀀스를 합성할 수 있는 언어 구동 에이전트(agent)인 HandwritingAgent를 소개합니다. 해당 에이전트는 대규모 추론 모델(reasoning model)을 활용하여 이산 그리드 캔버스 환경(environment)에서 획 시퀀스로서 대상 손글씨 글리프(glyphs)를 기하학적으로 분석하고 자기회귀적으로 생성합니다. 생성은 대화형 또는 비대화형 모드로 제공되는 텍스트와 참조 손글씨 스타일 이미지를 기반으로 조건화됩니다. 모방, 인식, 다국어 손글씨 합성, 복잡한 손글씨 수학 및 과학 표현 생성에 이르는 다양한 손글씨 작업에 대한 실험은 성능의 상당한 개선을 나타냅니다. HandwritingAgent는 최첨단(SOTA) 생성형 손글씨 모델과 대등하거나 이를 능가하면서도 더 효율적이고 제어 가능하며 일반화 가능한 합성 방법을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.