Controllable retinal image synthesis using conditional StyleGAN and latent space manipulation for improved diagnosis and grading of diabetic retinopathy
원문 초록
Diabetic retinopathy (DR) is a consequence of diabetes mellitus characterized by vascular damage within the retinal tissue. Timely detection is paramount to mitigate the risk of vision loss. However, training robust grading models is hindered by a shortage of annotated data, particularly for severe cases. This paper proposes a framework for controllably generating high-fidelity and diverse DR fundus images, thereby improving classifier performance in DR grading and detection. We achieve comprehensive control over DR severity and visual features (optic disc, vessel structure, lesion areas) within generated images solely through a conditional StyleGAN, eliminating the need for feature masks or auxiliary networks. Specifically, leveraging the SeFa algorithm to identify meaningful semantics within the latent space, we manipulate the DR images generated conditionally on grades, further enhancing the dataset diversity. Additionally, we propose a novel, effective SeFa-based data augmentation strategy, helping the classifier focus on discriminative regions while ignoring redundant features. Using this approach, a ResNet50 model trained for DR detection achieves 98.09% accuracy, 99.44% specificity, 99.45% precision, and an F1-score of 98.09%. Moreover, incorporating synthetic images generated by conditional StyleGAN into ResNet50 training for DR grading yields 83.33% accuracy, a quadratic kappa score of 87.64%, 95.67% specificity, and 72.24% precision. Extensive experiments conducted on the APTOS 2019 dataset demonstrate the exceptional realism of the generated images and the superior performance of our classifier compared to recent studies.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Ocular Verification for Virtual Reality
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
포지션: 자연어는 형식 언어를 완전히 대체해서는 안 된다
Position: Natural Language Should Not Fully Replace Formal Languages
최근 대규모 언어 모델(LLM)의 발전과 광범위한 채택으로, 자연어가 소프트웨어 설계를 위한 프로그래밍 언어와 같은 형식 언어를 완전히 대체할 수 있다는 주장이 제기되고 있다. 본 포지션 논문에서 우리는 이러한 관점이 자연어의 근본적인 언어적 특성, 특히 개방형 맥락에서 과소 명시(underspecification)에 최적화되어 있다는 점을 간과한다고 주장한다. 우리는 작업 특이성(task specificity)을 중심으로 한 형식적 프레임워크를 제안하며, 이를 사용자의 구체적인 요구 사항이 주어졌을 때—가능한 모든 이미지와 같은—출력 공간에서의 불확실성을 정보 이론적으로 줄이는 것으로 정의한다. 우리는 특이성 교차 정리(specificity crossover theorem)를 증명하여, 형식적 요구 사항을 자연어로 표현하는 비용이 직접적인 형식 명세의 비용을 초과하는 임계값의 존재를 보인다. 이미지 생성, 코드 합성, 오디오 제작과 같은 다양한 모달리티에 걸친 사례 연구를 분석함으로써, 자연어는 낮은 특이성 작업에서 뛰어난 반면 형식 언어는 더 엄격한 요구 사항을 갖는 작업에서 유리함을 보여준다. 우리는 자연어와 형식 언어가 상호 보완적인 도구이며, 사용자가 특이성 스펙트럼을 넘나들 수 있게 하는 하이브리드 시스템의 개발을 주장한다.
그라비어 인쇄 품질 관리 자동화를 위한 합성 데이터 생성 프레임워크
Synthetic data generation framework for quality control automation in gravure printing
인쇄, 특히 로토그라비어 인쇄에서의 품질 관리는 여전히 느리고 비용이 많이 들며 주관적인 수동 검사에 의존하고 있다. 표면 결함 자동 검출은 로토그라비어 인쇄에서 높은 품질 기준을 유지하는 데 필수적이다. 심층 학습 모델은 자동화의 가능성을 제공한다. 그러나 YOLO나 Vision Transformer와 같은 견고한 심층 학습 모델의 학습은 실제 산업 환경의 결함 이미지가 극히 부족하여 크게 저해된다. 이 한계를 극복하기 위해, 본 논문은 로토그라비어 인쇄 품질 관리에 맞춘 새로운 합성 데이터 생성 프레임워크를 제안한다. 제안된 파이프라인은 특정 인쇄 결함(주름, 줄무늬, 미스레지스트레이션(misregistration) 등)의 고품질 이미지를 자동 생성하고, 이에 대응하는 바운딩 박스와 어노테이션을 출력한다. 프레임워크를 검증하기 위해 7533장의 합성 데이터셋을 생성하여 최신 객체 검출 모델 RFDETR을 학습하는 데 사용했다. 실험 결과, 우리의 합성 데이터로 학습한 모델이 실제 산업 테스트 샘플에서 평균 정밀도(mAP, Mean Average Precision) 80.9%를 달성함을 보여준다. 이 프레임워크는 대규모 수동 데이터 수집 없이 인쇄 라인에서 결함 검사를 자동화하는 무(零)비용·신속 배포 솔루션을 제공한다.
Persian Pixel: 페르시아어 대규모 합성 OCR 데이터셋
Persian Pixel: A large-scale synthetic OCR dataset for Persian language
페르시아어에 대한 광학 문자 인식(OCR)은 여러 국가에서 1억 1천만 명 이상이 사용하는 언어임에도 불구하고, 라틴 문자 언어에 비해 아직 크게 덜 성숙한 상태이다. 이러한 격차는 두 가지 근본적인 도전에서 비롯된다: 페르시아-아랍 문자 체계의 고유한 복잡성과 대규모·고품질 주석 데이터셋의 제한적 가용성이다. 페르시아 문자는 필수적인 연속 필기(cursive) 연결, 문맥 의존적 글리프 형태, 광범위한 합자(ligature), 모음 기호(diacritic) 배치, Naskh·Nastaliq와 같은 서체 간의 스타일 변화를 보이며, 이는 모두 문자 인식을 상당히 복잡하게 만든다. 동시에 수동 주석의 높은 비용과 노동 집약적 특성은 지속적인 데이터 병목을 초래하여, 견고한 OCR 시스템 개발을 제한하고 페르시아 문서 디지털화의 진전을 늦추고 있다. 본 논문에서는 이러한 과제를 해결하기 위해 특별히 설계된 포괄적인 합성 OCR 데이터셋인 Persian Pixel을 소개한다. 34만 3천 개 이상의 고품질 이미지-텍스트 쌍으로 구성된 이 데이터셋은, SynthOCR-Gen 렌더링 프레임워크를 사용해 신중하게 구축한 700만 단어 규모의 페르시아어 코퍼스로부터 생성된 문장, 단락, 전체 페이지 문서 레이아웃을 포괄한다. 생성 파이프라인은 문맥적 문자 결합, 위치별 글리프 변형, 모음 기호 배치, 여러 대표적 페르시아어 활자체 등 페르시아 문자의 조판학적 특성을 충실히 모델링한다. 합성-실제(synthetic-to-real) 도메인 격차를 줄이기 위해, 렌더링된 이미지는 잉크 번짐, 종이 노화, 흐림, 조명 변화, 스캐너 결함, 압축 아티팩트, 다양한 노이즈 과정 등 현실적인 문서 취득 아티팩트를 모사하는 25개 이상의 확률적 열화(degradation) 모델로 추가로 풍부화된다. 오랫동안 지속된 주석 페르시아어 OCR 데이터 부족을 극복함으로써, Persian Pixel은 TrOCR, Donut과 같은 트랜스포머 기반 모델을 포함한 최신 OCR 아키텍처의 학습과 미세조정을 위한 확장 가능하고 공개적으로 이용 가능한 자원을 제공한다. 이 데이터셋은 페르시아 문서 분석, 역사적 필사본 디지털화, end-to-end 문서 이해 연구를 위한 견고한 토대를 마련하는 동시에, 프로그래밍 방식의 합성 데이터 생성이 저자원·조판학적으로 복잡한 문자에서 OCR을 발전시키기 위한 수동 주석의 실용적이고 비용 효율적이며 확장 가능한 대안이 될 수 있음을 보여준다.
MIDiff: 다변량-이미징 디퓨전을 통한 모바일 사용 생성의 희소성과 불균형 해결
MIDiff: Tackling Sparsity and Imbalance in Mobile Usage Generation via Multivariate-Imaging Diffusion
모바일 사용 추적 데이터는 사용자 행동 예측 및 앱 추천과 같은 작업에 중요하지만, 프라이버시 제약과 비용이 큰 대규모 데이터 수집으로 인해 활용이 제한된다. 생성 모델은 일반적인 시계열에서는 잘 작동하지만, 모바일 사용 데이터에 적용하기는 여전히 어렵다. 그 이유는 (i) 제한된 사용자 활동으로 인한 심각한 희소성, (ii) 이질적인 변수 유형으로 인한 공동 모델링의 복잡성, (iii) 앱 간 기능적 차이로 인한 뚜렷한 사용 불균형 때문이다. 이러한 과제를 해결하기 위해 Cross-Gramian Angular Sum Field(C-GASF)로 정의된 이미징 공간에서 동작하는 디퓨전 기반 프레임워크인 Multivariate-Imaging Diffusion(MIDiff)을 제안한다. C-GASF는 희소한 다변량 시퀀스를 상관 이미지로 변환하고, MIDiff는 U-Net에서 Triple 어텐션(attention)을 사용하여 시간적 일관성과 변수 간 의존성을 보존한다. 실험 결과 MIDiff는 충실도 지표 전반에서 최첨단 성능을 달성한다. 특히 Discriminative Accuracy(DA)는 0.1526을 기록했으며, 가장 강력한 기준선(baseline)인 ZITS-VAE의 0.3476과 비교된다. 이는 현실적이고 다양한 모바일 사용 추적 데이터 생성에 MIDiff가 효과적임을 보여준다. 코드는 https://github.com/YilaiLiu-HKU/MIDiff 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.