Survey on Visual Signal Coding and Processing with Generative Models: Technologies, Standards and Optimization
원문 초록
This paper provides a survey of the latest developments in visual signal coding and processing with generative models. Specifically, our focus is on presenting the advancement of generative models and their influence on research in the domain of visual signal coding and processing. This survey study begins with a brief introduction of well-established generative models, including the Variational Autoencoder (VAE) models, Generative Adversarial Network (GAN) models, Autoregressive (AR) models, Normalizing Flows and Diffusion models. The subsequent section of the paper explores the advancements in visual signal coding based on generative models, as well as the ongoing international standardization activities. In the realm of visual signal processing, our focus lies on the application and development of various generative models in the research of visual signal restoration. We also present the latest developments in generative visual signal synthesis and editing, along with visual signal quality assessment using generative models and quality assessment for generative models. The practical implementation of these studies is closely linked to the investigation of fast optimization. This paper additionally presents the latest advancements in fast optimization on visual signal coding and processing with generative models. We hope to advance this field by providing researchers and practitioners a comprehensive literature review on the topic of visual signal coding and processing with generative models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망
Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives
배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.
AI 생성 비디오 탐지: 비전-언어 이중 관점 서베이
Detecting AI-Generated Video: A Vision-Language Dual-View Survey
AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.
위조에서 파운데이션 모델까지: 신분증 공격 및 탐지에 대한 체계적 서베이
From Forgeries to Foundation Models: A Systematic Survey of Identity Document Attack and Detection
신분증 위조는 근본적인 능력 전환을 겪었다. 생성형 AI 도구는 이제 최소한의 기술 전문성으로 고품질 문서 합성 및 필드 수준 조작을 가능하게 하는 반면, 탐지 방법은 이러한 위협을 반영하지 못하는 벤치마크에 의해 제약된 상태다. 이로 인한 공격 표면은 물리적 제시 공격, 디지털 주입 공격, 완전 생성적 합성에 걸쳐 있으며, 통합된 위협 모델 및 평가 프레임워크를 필요로 하는 고유한 포렌식 실패 모드를 도입한다. 본 서베이는 단일 신원 확인 위협 모델 내에서 제시 공격(Presentation Attacks), 디지털 주입 공격(Digital Injection Attacks), 그리고 생성형 AI 기반 합성을 최초로 통합적으로 다룬다. 규칙 기반 휴리스틱에서 포렌식 로컬라이제이션, 주입 인식 파이프라인, 파운데이션 모델(foundation models), 퓨샷(few-shot) 프레임워크에 이르기까지 탐지 방법론의 발전을 추적한다. 2019년부터 2025년까지의 공개 데이터셋에 대한 체계적 감사는 벤치마크 조건과 실제 운영 배포 간의 지속적인 현실 격차(Reality Gap)를 드러낸다. 또한 신분증 조작을 위한 대규모 멀티모달 모델을 분석하여, 비라틴 문자 인페인팅에서 반복적으로 나타나는 타이포그래피 실패 모드인 스크립트 의존적 생성 불안정성(Script-Dependent Generative Instability, SDGI)을 식별한다. 마지막으로, 미공개 합성 신분증에 대한 제로샷(zero-shot) 벤치마킹 결과, 가장 강력한 공개 모델조차 보안 지향적 운영 조건에서 APCER 값이 25% 이상을 기록함으로써 크로스 도메인 일반화의 상당한 한계를 드러낸다. 본 연구는 포렌식 근거에 기반하고, 프라이버시를 보존하며, 법적 책임을 갖춘 신원 확인 시스템을 향한 미래 방향을 제시하며 마무리한다.
Generative AI and Federated Learning for Intrusion Detection Systems: A Survey
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
토론
이 논문과 연결된 포럼 글이 아직 없습니다.