Augmented Cyclic Consistency Regularization for Unpaired Image-to-Image Translation
원문 초록
Unpaired image-to-image (I2I) translation has received considerable attention in pattern recognition and computer vision because of recent advancements in generative adversarial networks (GANs). However, due to the lack of explicit supervision, unpaired I2I models often fail to generate realistic images, especially in challenging datasets with different backgrounds and poses. Hence, stabilization is indispensable for GANs and applications of I2I translation. Herein, we propose Augmented Cyclic Consistency Regularization (ACCR), a novel regularization method for unpaired I2I translation. Our main idea is to enforce consistency regularization originating from semi-supervised learning on the discriminators leveraging real, fake, reconstructed, and augmented samples. We regularize the discriminators to output similar predictions when fed pairs of original and perturbed images. We qualitatively clarify why consistency regularization on fake and reconstructed samples works well. Quantitatively, our method outperforms the consistency regularized GAN (CR-GAN) in real-world translations and demonstrates efficacy against several data augmentation variants and cycle-consistent constraints.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델
Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data
다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.
TMI: 롱테일 인스턴스 분할 향상을 위한 보완적 데이터 합성에서 텍스트-이미지와 이미지-이미지의 결합
TMI: Text-to-Image Meets Image-to-Image for Complementary Data Synthesis to Boost Long-Tailed Instance Segmentation
대규모 어휘 인스턴스 분할(instance segmentation)은 롱테일(long-tailed) 카테고리 분포와 세밀한 클래스 간 모호성에 의해 제약을 받는다. 데이터 합성이 유망한 대안을 제시하지만, 현재의 패러다임은 상호 보완적인 한계를 지닌다. 텍스트-이미지(T2I) 방법은 노이즈가 많은 의사 레이블(pseudo-label)을 그대로 이어받고 희귀 클래스에서 어려움을 겪는 반면, 복사-붙여넣기(copy-paste) 방법은 문맥적 사실성을 저해한다. 이러한 문제를 해결하기 위해, 우리는 T2I 생성과 문맥 인식 이미지-이미지(I2I) 편집을 결합한 하이브리드 파이프라인을 제안한다. T2I 브랜치는 광범위한 카테고리 및 장면 다양성을 제공하며, 교사-학생(teacher-student) 방식은 프롬프트로 지정된 카테고리만을 선택적으로 유지함으로써 레이블 신뢰성을 보장한다. 희귀 클래스에 대한 지도(supervision)를 강화하기 위해, 우리는 새로운 I2I 편집기인 VRAIN(Verified Rare-class Augmentation via INstructed editing)을 도입한다. VRAIN은 고신뢰도 인스턴스를 실제 장면 내의 의미적으로 적절한 위치에 삽입하여, 도메인 격차를 줄이고 목표 지향적 증강을 가능하게 하는 의미적으로 일관되고 시각적으로 자연스러운 편집 결과를 생성한다. LVIS 벤치마크에서, 우리의 방법은 기존 베이스라인을 능가하여 전체 AP를 최대 +4.0포인트, 희귀 클래스 AP를 최대 +9.5포인트 향상시키며, 백본 용량에 따라 효과적으로 확장된다. 프로젝트 페이지는 https://seokhunchoi.github.io/TMI 에서 확인할 수 있다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.