AdaCM: Adaptive ColorMLP for Real-Time Universal Photo-realistic Style Transfer
원문 초록
Photo-realistic style transfer aims at migrating the artistic style from an exemplar style image to a content image, producing a result image without spatial distortions or unrealistic artifacts. Impressive results have been achieved by recent deep models. However, deep neural network based methods are too expensive to run in real-time. Meanwhile, bilateral grid based methods are much faster but still contain artifacts like overexposure. In this work, we propose the \textbf{Adaptive ColorMLP (AdaCM)}, an effective and efficient framework for universal photo-realistic style transfer. First, we find the complex non-linear color mapping between input and target domain can be efficiently modeled by a small multi-layer perceptron (ColorMLP) model. Then, in \textbf{AdaCM}, we adopt a CNN encoder to adaptively predict all parameters for the ColorMLP conditioned on each input content and style image pair. Experimental results demonstrate that AdaCM can generate vivid and high-quality stylization results. Meanwhile, our AdaCM is ultrafast and can process a 4K resolution image in 6ms on one V100 GPU.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학적 필터링을 활용한 케이지 기반 텍스처 전송
Cage-based Texture Transfer with Geometric Filtering
실시간 텍스처 전송은 디지털 캐릭터 화장부터 절차적 자동차 텍스처링에 이르는 다양한 시나리오에서 원활한 세부 정보 투영을 가능하게 하여 인터랙티브 애플리케이션의 창의적 가능성을 확장한다. 그러나 실제 적용에는 처리 속도와 아티팩트 억제 사이의 본질적인 트레이드오프가 존재한다. 저지연 전송 방법은 아티팩트를 충분히 억제하지 못하는 경우가 많으며, 견고한 대안들은 학습과 메모리 비용이 큰 대규모 모델에 의존한다. 본 논문에서 제안하는 방법은 케이지 기반 기하학적 필터링 기법을 활용하여 아티팩트 억제를 위한 비화장 영역(NCZ, Non-Cosmetic Zone)을 식별함으로써 효율성과 견고성 사이의 간극을 해소한다. 수동으로 주석이 달린 데이터셋에서 수일간의 학습이 필요한 리소스 집약적 모델들과 달리, 본 방법은 아티팩트를 효과적으로 억제하면서 소비자용 하드웨어에서 즉시 배포가 가능하다. 제안된 프레임워크는 약 4,800개의 삼각형 메시에 대해 모바일 기기에서 약 70ms의 매우 효율적인 런타임을 달성하였다.
HandwritingAgent: 확장 가능한 벡터 공간에서의 언어 구동 손글씨 합성
HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space
기계가 자연스러운 손글씨 스타일을 모방하도록 가르치는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 이는 개인 간뿐만 아니라 한 사람의 손글씨 내에서도 모양, 질감, 압력, 필기체가 동적으로 변화하는 획 시퀀스(stroke sequences)를 합성해야 하기 때문입니다. 이 과제에 대한 시도는 주로 온라인 및 오프라인 설정에서 심층 학습(deep learning) 방법을 탐색해 왔습니다. 그러나 이러한 접근 방식은 종종 스타일 특정적 아키텍처 선택, 대규모 데이터셋(dataset)에 대한 과도한 의존, 높은 연산 비용, 그리고 자연어를 통한 작문 스타일에 대한 유연한 제어 부족으로 제한받습니다. 이를 위해 우리는 스타일 특정 학습(style-specific training) 없이 Scalable Vector Graphics (SVG) 형식으로 직접 자연스러운 손글씨 시퀀스를 합성할 수 있는 언어 구동 에이전트(agent)인 HandwritingAgent를 소개합니다. 해당 에이전트는 대규모 추론 모델(reasoning model)을 활용하여 이산 그리드 캔버스 환경(environment)에서 획 시퀀스로서 대상 손글씨 글리프(glyphs)를 기하학적으로 분석하고 자기회귀적으로 생성합니다. 생성은 대화형 또는 비대화형 모드로 제공되는 텍스트와 참조 손글씨 스타일 이미지를 기반으로 조건화됩니다. 모방, 인식, 다국어 손글씨 합성, 복잡한 손글씨 수학 및 과학 표현 생성에 이르는 다양한 손글씨 작업에 대한 실험은 성능의 상당한 개선을 나타냅니다. HandwritingAgent는 최첨단(SOTA) 생성형 손글씨 모델과 대등하거나 이를 능가하면서도 더 효율적이고 제어 가능하며 일반화 가능한 합성 방법을 제공합니다.
LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성
Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
SeKV: 장문 컨텍스트 대규모 언어 모델 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시
SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
토론
이 논문과 연결된 포럼 글이 아직 없습니다.