Combining Transformer Generators with Convolutional Discriminators
원문 초록
Transformer models have recently attracted much interest from computer vision researchers and have since been successfully employed for several problems traditionally addressed with convolutional neural networks. At the same time, image synthesis using generative adversarial networks (GANs) has drastically improved over the last few years. The recently proposed TransGAN is the first GAN using only transformer-based architectures and achieves competitive results when compared to convolutional GANs. However, since transformers are data-hungry architectures, TransGAN requires data augmentation, an auxiliary super-resolution task during training, and a masking prior to guide the self-attention mechanism. In this paper, we study the combination of a transformer-based generator and convolutional discriminator and successfully remove the need of the aforementioned required design choices. We evaluate our approach by conducting a benchmark of well-known CNN discriminators, ablate the size of the transformer-based generator, and show that combining both architectural elements into a hybrid model leads to better results. Furthermore, we investigate the frequency spectrum properties of generated images and observe that our model retains the benefits of an attention based generator.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가상현실을 위한 안구 검증
Ocular Verification for Virtual Reality
가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.
BeyondFusion: 보정 불필요 적외선 초해상도 및 적외선-가시광 융합을 위한 자기 정렬 잠재 확산
BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion
모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
그라비어 인쇄 품질 관리 자동화를 위한 합성 데이터 생성 프레임워크
Synthetic data generation framework for quality control automation in gravure printing
인쇄, 특히 로토그라비어 인쇄에서의 품질 관리는 여전히 느리고 비용이 많이 들며 주관적인 수동 검사에 의존하고 있다. 표면 결함 자동 검출은 로토그라비어 인쇄에서 높은 품질 기준을 유지하는 데 필수적이다. 심층 학습 모델은 자동화의 가능성을 제공한다. 그러나 YOLO나 Vision Transformer와 같은 견고한 심층 학습 모델의 학습은 실제 산업 환경의 결함 이미지가 극히 부족하여 크게 저해된다. 이 한계를 극복하기 위해, 본 논문은 로토그라비어 인쇄 품질 관리에 맞춘 새로운 합성 데이터 생성 프레임워크를 제안한다. 제안된 파이프라인은 특정 인쇄 결함(주름, 줄무늬, 미스레지스트레이션(misregistration) 등)의 고품질 이미지를 자동 생성하고, 이에 대응하는 바운딩 박스와 어노테이션을 출력한다. 프레임워크를 검증하기 위해 7533장의 합성 데이터셋을 생성하여 최신 객체 검출 모델 RFDETR을 학습하는 데 사용했다. 실험 결과, 우리의 합성 데이터로 학습한 모델이 실제 산업 테스트 샘플에서 평균 정밀도(mAP, Mean Average Precision) 80.9%를 달성함을 보여준다. 이 프레임워크는 대규모 수동 데이터 수집 없이 인쇄 라인에서 결함 검사를 자동화하는 무(零)비용·신속 배포 솔루션을 제공한다.
Persian Pixel: 페르시아어 대규모 합성 OCR 데이터셋
Persian Pixel: A large-scale synthetic OCR dataset for Persian language
페르시아어에 대한 광학 문자 인식(OCR)은 여러 국가에서 1억 1천만 명 이상이 사용하는 언어임에도 불구하고, 라틴 문자 언어에 비해 아직 크게 덜 성숙한 상태이다. 이러한 격차는 두 가지 근본적인 도전에서 비롯된다: 페르시아-아랍 문자 체계의 고유한 복잡성과 대규모·고품질 주석 데이터셋의 제한적 가용성이다. 페르시아 문자는 필수적인 연속 필기(cursive) 연결, 문맥 의존적 글리프 형태, 광범위한 합자(ligature), 모음 기호(diacritic) 배치, Naskh·Nastaliq와 같은 서체 간의 스타일 변화를 보이며, 이는 모두 문자 인식을 상당히 복잡하게 만든다. 동시에 수동 주석의 높은 비용과 노동 집약적 특성은 지속적인 데이터 병목을 초래하여, 견고한 OCR 시스템 개발을 제한하고 페르시아 문서 디지털화의 진전을 늦추고 있다. 본 논문에서는 이러한 과제를 해결하기 위해 특별히 설계된 포괄적인 합성 OCR 데이터셋인 Persian Pixel을 소개한다. 34만 3천 개 이상의 고품질 이미지-텍스트 쌍으로 구성된 이 데이터셋은, SynthOCR-Gen 렌더링 프레임워크를 사용해 신중하게 구축한 700만 단어 규모의 페르시아어 코퍼스로부터 생성된 문장, 단락, 전체 페이지 문서 레이아웃을 포괄한다. 생성 파이프라인은 문맥적 문자 결합, 위치별 글리프 변형, 모음 기호 배치, 여러 대표적 페르시아어 활자체 등 페르시아 문자의 조판학적 특성을 충실히 모델링한다. 합성-실제(synthetic-to-real) 도메인 격차를 줄이기 위해, 렌더링된 이미지는 잉크 번짐, 종이 노화, 흐림, 조명 변화, 스캐너 결함, 압축 아티팩트, 다양한 노이즈 과정 등 현실적인 문서 취득 아티팩트를 모사하는 25개 이상의 확률적 열화(degradation) 모델로 추가로 풍부화된다. 오랫동안 지속된 주석 페르시아어 OCR 데이터 부족을 극복함으로써, Persian Pixel은 TrOCR, Donut과 같은 트랜스포머 기반 모델을 포함한 최신 OCR 아키텍처의 학습과 미세조정을 위한 확장 가능하고 공개적으로 이용 가능한 자원을 제공한다. 이 데이터셋은 페르시아 문서 분석, 역사적 필사본 디지털화, end-to-end 문서 이해 연구를 위한 견고한 토대를 마련하는 동시에, 프로그래밍 방식의 합성 데이터 생성이 저자원·조판학적으로 복잡한 문자에서 OCR을 발전시키기 위한 수동 주석의 실용적이고 비용 효율적이며 확장 가능한 대안이 될 수 있음을 보여준다.
Improving Model Performance and Removing the Class Imbalance Problem Using Augmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.