M2GAN: A Multi-Stage Self-Attention Network for Image Rain Removal on Autonomous Vehicles
원문 초록
Image deraining is a new challenging problem in applications of autonomous vehicles. In a bad weather condition of heavy rainfall, raindrops, mainly hitting the vehicle's windshield, can significantly reduce observation ability even though the windshield wipers might be able to remove part of it. Moreover, rain flows spreading over the windshield can yield the physical effect of refraction, which seriously impede the sightline or undermine the machine learning system equipped in the vehicle. In this paper, we propose a new multi-stage multi-task recurrent generative adversarial network (M2GAN) to deal with challenging problems of raindrops hitting the car's windshield. This method is also applicable for removing raindrops appearing on a glass window or lens. M2GAN is a multi-stage multi-task generative adversarial network that can utilize prior high-level information, such as semantic segmentation, to boost deraining performance. To demonstrate M2GAN, we introduce the first real-world dataset for rain removal on autonomous vehicles. The experimental results show that our proposed method is superior to other state-of-the-art approaches of deraining raindrops in respect of quantitative metrics and visual quality. M2GAN is considered the first method to deal with challenging problems of real-world rains under unconstrained environments such as autonomous vehicles.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
강화학습 및 게임 이론을 활용한 자원 제약 차량 사물 인터넷 환경용 적응형 다중 판별자 WGAN 프레임워크
Adaptive Multi-Discriminator WGAN Framework for Resource-Constrained Internet of Vehicles Using Reinforcement Learning and Game Theory
머신러닝 워크로드를 네트워크 서비스로 관리하는 것은 기존의 모델 학습(training)과는 다른 자원 오케스트레이션 문제를 발생시킵니다. 즉, 어떤 노드(node)를 작업에 할당해야 하는지, 통신 및 연산 예산을 노드 간에 어떻게 분배해야 하는지, 그리고 이동성에 따라 연결성과 노드 가용성이 변화할 때 서비스 품질을 어떻게 유지해야 하는지의 문제입니다. 차량 사물 인터넷(IoV) 환경에 생성적 적대 신경망(GAN)을 배포하는 것은 이러한 문제의 대표적인 고난도 사례입니다. 자원 제약, 동적인 네트워크 토폴로지, 그리고 상충하는 최적화 목표로 인해 기존 GAN 아키텍처는 높은 정확도, 효율적인 자원 사용, 낮은 지연 시간, 낮은 통신 오버헤드를 동시에 달성할 수 없습니다. 본 논문에서는 이러한 문제를 종합적으로 해결하기 위해 강화학습(reinforcement learning)과 게임 이론 기반 조율을 통합한 적응형 다중 판별자 바서슈타인 GAN(MD-WGAN) 프레임워크를 제안합니다. 제안하는 프레임워크에서는 노변 기지국(RSU)이 판별자 하위 집합을 선택하고 이동 차량 노드 전반의 분산 학습을 관리하는 심층 Q 네트워크(DQN) 에이전트와 결합된 생성자를 호스팅하며, 게임 이론 기반 조율 단계를 통해 생성자와 판별자 간의 학습 에포크를 할당합니다. 통합 최적화 목적 함수는 차량 환경의 제약 조건 하에서 적대적 학습 품질을 자원 효율성, 통신 오버헤드, 지연 시간과 연계하여, 네트워크 조건이 변함에 따라 프레임워크가 학습 동작을 지속적으로 적응시킬 수 있도록 합니다. 실제 NGSIM 궤적 데이터를 활용한 평가 결과, 본 프레임워크는 최고 수준의 최신 GAN 베이스라인과 대등한 예측 정확도를 달성하여 평가된 모든 방법 중 가장 낮은 RMSE(1.029) 및 MAE(0.894)를 기록하는 동시에, 경쟁력 있는 통신 오버헤드와 지연 시간을 유지하면서 평균 CPU 사용률을 약 28%, 평균 메모리 사용량을 약 6% 대폭 절감하여 자원 효율성을 뚜렷하게 향상시킴을 입증했습니다.
학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합
Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation
개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.
어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습
Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking
비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.
ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크
ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion
지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.
ESRVS: 단일 주석 이미지를 이용한 극한 반지도 망막 혈관 분할
ESRVS: Extreme Semi-Supervised Retinal Vessel Segmentation with a Single Annotated Image
의료 영상 분석에서 최소한의 인간 감독으로 학습하는 것은 오랜 목표이며, 밀집된 전문가 주석은 비용이 큽니다. 본 연구는 주석이 달린 이미지 하나와 레이블 없는 이미지 풀을 사용하는 극한 반지도(semi-supervised) 설정에서 망막 혈관 분할을 다룹니다. 우리는 수동 주석을 위해 대표적인 기준 이미지를 선택하고, 대상 도메인에 적응된 DINOv3 특징을 사용하여 혈관 단서를 전이하는 ESRVS를 제안합니다. ESRVS는 다중 세분화 혈관 프로토타입을 구성하고, 프로토타입 유사도 맵과 물리학에서 영감을 받은 사전(prior)을 결합하여 초기 의사 레이블(pseudo-label)을 생성하며, 가중 의사 레이블 학습과 적대적(adversarial) 정제를 통해 전이된 감독을 정제합니다. 8개의 공개 데이터셋에서 ESRVS는 비교된 반지도 방법들이 10~20%의 레이블 데이터를 사용함에도 불구하고, 6개 데이터셋에서 최고의 Dice와 clDice를, 8개 데이터셋 모두에서 최고의 HD95를 달성합니다. Mask2Former와 함께 ESRVS는 평균적으로 완전 감독 Dice의 93.7%와 완전 감독 clDice의 95.1%를 유지합니다. 이러한 결과는 고도로 레이블 효율적인 망막 혈관 분할을 위한 파운데이션 모델(foundation model) 레이블 전파의 잠재력을 보여줍니다. 코드는 https://github.com/IAANNH/ESRVS 에서 이용할 수 있습니다.
Single-Image Specular Highlight Removal via Real-World Dataset Construction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.