생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.
딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.
VQGAN으로 사전학습된 이산 특징 코드북(HR prior)을 활용해, 저해상도 이미지의 특징을 왜곡 없는 고해상도 대응 특징에 매칭하는 FeMaSR 프레임워크를 제안한다. 불안정한 GAN 학습이나 명시적 참조 이미지 없이도, 의미론적 정규화와 잔차 단축 연결을 통해 기존 방법 대비 더 사실적인 초고해상도 이미지를 생성함을 실험으로 검증했다.
PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification
심층 학습(deep learning) 기법을 이용한 농업 병해 분할의 자동화는 다양한 응용 사례를 낳았다. 그러나 이러한 응용들은 새로운 환경에 적용될 때 과적합(overfitting) 문제에 자주 직면하여 분할 성능이 저하되는 어려움을 겪는다. 감자 농업에서는 병해가 수확량에 큰 영향을 미치므로, 신속하고 정확한 병해 식별이 농업 경제에 매우 중요하다. 회전, 반전, 이동과 같은 전통적인 데이터 증강(data augmentation) 방법은 한계가 있으며 강력한 일반화 결과를 제공하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 본 연구에서는 PotatoGANs이라 명명한 새로운 접근 방식을 제안한다. 이 새로운 데이터 증강 방법에서는 두 가지 유형의 생성적 적대 신경망(GAN)을 활용하여 건강한 감자 이미지로부터 합성 감자 병해 이미지를 생성한다. 이 접근 방식은 데이터셋(dataset)을 확장할 뿐만 아니라 다양성을 추가함으로써 모델(model) 일반화 향상에 기여한다. Inception score를 측정 지표로 사용한 실험 결과, PotatoGANs이 생성한 이미지의 우수한 품질과 사실성이 입증되었으며, 실제 병해 이미지와 밀접하게 유사한 이미지를 생성하는 능력이 강조되었다. CycleGAN 모델은 Pix2Pix GAN 모델보다 이미지 품질 면에서 우수한 성능을 보였는데, black scurf와 common scab에 대해 각각 1.2001과 1.0900의 더 높은 Inception score(IS)를 달성한 것이 그 근거이다. 이러한 합성 데이터는 대규모 신경망의 학습(training)을 크게 향상시킬 수 있다. 또한 데이터 수집 비용을 줄이는 동시에 데이터 다양성과 일반화 능력을 향상시킨다. 본 연구는 감자 병해 분류(classification)를 위해 세 가지 그래디언트(gradient) 기반 설명 가능한 AI 알고리즘(GradCAM, GradCAM++, ScoreCAM)을 세 가지 서로 다른 CNN 아키텍처(DenseNet169, ResNet152 V2, InceptionResNet V2)와 결합함으로써 해석 가능성을 향상시킨다.