arXiv:2502.08364

A Survey on Pre-Trained Diffusion Model Distillations

Xuhui Fan, Zhangkai Wu, Hongyu Wu

제출 2025-02-12

원문 초록

Diffusion Models~(DMs) have emerged as the dominant approach in Generative Artificial Intelligence (GenAI), owing to their remarkable performance in tasks such as text-to-image synthesis. However, practical DMs, such as stable diffusion, are typically trained on massive datasets and thus usually require large storage. At the same time, many steps may be required, i.e., recursively evaluating the trained neural network, to generate a high-quality image, which results in significant computational costs during sample generation. As a result, distillation methods on pre-trained DM have become widely adopted practices to develop smaller, more efficient models capable of rapid, few-step generation in low-resource environment. When these distillation methods are developed from different perspectives, there is an urgent need for a systematic survey, particularly from a methodological perspective. In this survey, we review distillation methods through three aspects: output loss distillation, trajectory distillation and adversarial distillation. We also discuss current challenges and outline future research directions in the conclusion.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24595v1cs.CV공통 태그 Image Generation, Survey

신경 세포자동기(NCA)의 응용: 최신 동향, 과제 및 기회

Applications of Neural Cellular Automata: State of the Art, Challenges and Opportunities

신경 세포자동기(NCA)는 극히 작은 모델 크기에서도 정확하고 견고한 추론을 가능하게 하는 새로운 유형의 신경망 아키텍처이다. 최근 NCA는 이미지 분석, 합성 이미지 생성, 시뮬레이션 등 다양한 작업에서 합성곱 및 어텐션 기반 아키텍처에 대한 흥미로운 저자원 대안으로 발전해 왔다. 급속한 발전과 연구 관심의 증가는 이 신흥 기술에 대한 포괄적인 검토를 필요로 한다. 본 리뷰는 NCA의 기초, 의료 영상에 대한 응용, 그리고 최신 동향에 대한 통찰을 개괄적으로 제공한다. 우리는 최초로 제안된 NCA 아키텍처에 대한 최근 수정 사항을 효율성과 정확도 측면에서 분석한다. 또한 의료 영상 분석, 세분화(segmentation), 분류, 정합(registration), 깊이 추정, 이미지 합성에 초점을 맞추어 실제 시나리오에서의 실용적 응용을 검토한다. 마지막으로 NCA의 여러 장점과 연구 공백을 식별하고, 제한된 환경이거나 견고성 또는 효율적인 데이터 처리에 특별한 요구가 있는 영역에서의 의료 응용을 위한 NCA의 미래 기회를 분석하며 결론을 내린다.

arXiv:2607.21777v1cs.HC공통 태그 Image Generation, Survey

AI 통합 과학 탐구: 과학 교육을 위한 실천 중심 비전

AI-Integrated Scientific Inquiry: A Practice-Centered Vision for Science Education

인공지능(AI)은 과학 탐구의 일부가 되었다. 과학자들은 AI를 사용해 현상을 관찰·측정하고, 데이터에서 패턴을 식별하며, 모델을 구축한다. AI가 과학 탐구에 들어오면서 과학 교육과의 연관성도 커진다. 학생들은 AI가 과학적 실천을 어떻게 바꾸고 있는지 배워야 하며, 이상적으로는 AI 통합 과학 탐구에 직접 참여하면서 배워야 한다. 이러한 교수를 어떻게 설계할지—독립 주제로 가르치기보다는 진정한 과학적 실천에 기반하여—는 여전히 열린 질문이다. 우리의 비전(본 논문에서 설명함)에서 AI는 학생들이 차세대 과학 기준(Next Generation Science Standards)이 설명하는 과학적 실천 안에서 사용하는 일련의 과학적 도구로 취급된다. 각 도구는 진정한 과학적 도구이되 교육적으로 범위가 설정된다. 즉, 핵심 과학적 기능은 보존하면서 조작은 단순화된다. 이 접근법에는 두 가지 목표가 있다. 학생들을 진정한 과학 탐구에 참여시키는 것, 그리고 과학에서 AI가 어떻게 사용되는지와 어디서 오해를 불러일킬 수 있는지에 대한 이해를 형성하는 것(학문 분야 기반 AI 리터러시, DAIL)이다. 본 논문에서는 탐구의 조사 핵심—관찰, 분석, 모델링—에 초점을 맞추고, 각각에 대해 하나의 대표적인 AI 도구를 설명한다. 관찰에는 컴퓨터 비전(computer vision), 분석에는 클러스터링(clustering), 모델링에는 생성 모델링(generative modeling)이다. 우리는 과학 교육의 모든 AI 도구는 AI 도구 자체에 대한 비판적 평가를 촉진하는 별도의 성찰 지점(reflection point)을 갖춰야 한다고 주장한다. 마지막으로, 단일 실천이 아니라 전체 탐구 과정에 걸쳐 작동하는 에이전트 AI(agentic AI)를 어떻게 표현할 수 있는지 설명하며, 학생들은 에이전트 AI에 의존하기 전에 과학 탐구와 AI 도구에 대한 기초적 이해를 먼저 형성해야 한다고 주장한다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.