Improving Anomaly Segmentation with Multi-Granularity Cross-Domain Alignment
원문 초록
Anomaly segmentation plays a pivotal role in identifying atypical objects in images, crucial for hazard detection in autonomous driving systems. While existing methods demonstrate noteworthy results on synthetic data, they often fail to consider the disparity between synthetic and real-world data domains. Addressing this gap, we introduce the Multi-Granularity Cross-Domain Alignment (MGCDA) framework, tailored to harmonize features across domains at both the scene and individual sample levels. Our contributions are twofold: i) We present the Multi-source Domain Adversarial Training module. This integrates a multi-source adversarial loss coupled with dynamic label smoothing, facilitating the learning of domain-agnostic representations across multiple processing stages. ii) We propose an innovative Cross-domain Anomaly-aware Contrastive Learning methodology.} This method adeptly selects challenging anchor points and images using an anomaly-centric strategy, ensuring precise alignment at the sample level. Extensive evaluations of the Fishyscapes and RoadAnomaly datasets demonstrate MGCDA's superior performance and adaptability. Additionally, its ability to perform parameter-free inference and function with various network architectures highlights its distinctiveness in advancing the frontier of anomaly segmentation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
LIDAR-AD: 자율주행을 위한 행동 잔차 체인 기반 디코더 없는 잠재 상호작용 Dreamer
LIDAR-AD: A Decoder-Free Latent-Interaction Dreamer with Action-Residual Chains for Autonomous Driving
자율주행은 동적 교통 환경에서 장기 지평 폐루프(closed-loop) 의사결정을 요구한다. 잠재 세계 모델(latent world model)은 컴팩트한 잠재 공간에서 상상(imagination) 기반 의사결정을 가능하게 함으로써 이 문제에 대한 효과적인 프레임워크를 제공한다. 그러나 다중 소스 관측에는 제어와 무관한 중복이 포함되어 있는 반면, 신뢰할 수 있는 주행 의사결정은 위험 관련 관계, 미래 역학, 그리고 연속적인 행동 조정에 의존한다. 이러한 불일치는 관측 재구성(observation reconstruction)과 절대 행동 모델링이 의사결정 관련 잠재 역학을 학습하는 데 있어 차선책이 되도록 만든다. 우리는 자율주행을 위한 행동 잔차 체인(Action-Residual Chains)을 갖춘 디코더 없는 잠재 상호작용 Dreamer(Latent-Interaction Dreamer)인 LIDAR-AD를 제안한다. LIDAR-AD는 관측 재구성을 중복이 감소된 잠재 정렬(latent alignment)로 대체하여, 다중 소스 주행 입력에서 위험 관련 관계의 컴팩트한 표현을 유도한다. 또한 차량 제어를 잔차 행동(residual action) 업데이트로 모델링하고, 잔차 행동 시퀀스 대조 학습(contrastive learning)을 사용하여 다단계 잔차 기반 롤아웃(rollout)을 미래 잠재 상태와 정렬한다. 결정론적 분석은 잠재-tanh 잔차 매개변수화(latent-tanh residual parameterization)가 내부 행동 도달 가능성(interior action reachability)을 보존하면서, 매끄러운 장기 지평 제어를 컴팩트한 국소 업데이트로 표현함을 보여준다. 이러한 설계들은 함께 위험 인식(risk-aware) 상태 추상화, 연속 제어 모델링, 장기 지평 역학 예측을 개선한다. 다양한 시뮬레이션 주행 시나리오에 걸친 광범위한 실험은 LIDAR-AD가 세계 모델 기준선들을 일관되게 능가하며, 학습 기반 방법 중 최고 보상과 최고 성공률을 달성함을 보여준다. nuPlan에서 파생된 로그 재구성 시나리오에 대한 평가는 실제 교통 레이아웃에서 LIDAR-AD의 전이 가능성(transferability)을 추가로 보여준다.
LARAD: 공간-논리 추론 기반 레이아웃 인식 도로 이상 탐지
LARAD: Layout-Aware Road Anomaly Detection via Spatial-Logic Reasoning
정확한 오픈 월드 장애물 탐지는 자율 주행에 매우 중요하다. 현재의 이상 분할(anomaly segmentation) 방법은 근본적인 사각지대를 가지고 있다. 분포 밖(out-of-distribution, OoD) 객체를 식별하기 위해 텍스처 신기성에 과도하게 의존하는 반면, 맥락적 공간 논리는 무시한다. 또한, 이로 인한 오탐(false positive)을 완화하려면 대규모 비전 모델을 연쇄적으로 배치해야 하는 경우가 많아, 수용하기 어려운 추론 지연이 발생한다. 이 문제를 해결하기 위해, 우리는 레이아웃 인식 도로 이상 탐지(LARAD)를 제안하며, 패러다임을 외형 매칭에서 공간-논리 추론으로 전환한다. 먼저, 텍스처는 일관적이지만 공간적으로는 유효하지 않은 학습 샘플을 생성하여 모델이 맥락적 위반을 학습하도록 하는 공간-논리 위반 합성(SLVS) 파이프라인을 도입한다. 둘째로, 표준 클로즈드셋(closed-set) 분할 네트워크에 경량의 OoD 유도 어텐션 분기를 추가한다. 광범위한 실험을 통해 LARAD가 논리적 이상에 대한 견고성을 크게 향상시키고, 단일 모델 아키텍처의 높은 효율성을 유지하면서 새로운 최신(state-of-the-art) 성능을 달성함을 보여준다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.