arXiv:2305.08302

t-RAIN: Robust generalization under weather-aliasing label shift attacks

Aboli Marathe, Sanjana Prabhu

제출 2023-05-15

원문 초록

In the classical supervised learning settings, classifiers are fit with the assumption of balanced label distributions and produce remarkable results on the same. In the real world, however, these assumptions often bend and in turn adversely impact model performance. Identifying bad learners in skewed target distributions is even more challenging. Thus achieving model robustness under these "label shift" settings is an important task in autonomous perception. In this paper, we analyze the impact of label shift on the task of multi-weather classification for autonomous vehicles. We use this information as a prior to better assess pedestrian detection in adverse weather. We model the classification performance as an indicator of robustness under 4 label shift scenarios and study the behavior of multiple classes of models. We propose t-RAIN a similarity mapping technique for synthetic data augmentation using large scale generative models and evaluate the performance on DAWN dataset. This mapping boosts model test accuracy by 2.1, 4.4, 1.9, 2.7 % in no-shift, fog, snow, dust shifts respectively. We present state-of-the-art pedestrian detection results on real and synthetic weather domains with best performing 82.69 AP (snow) and 62.31 AP (fog) respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08402v1cs.CV공통 태그 Data Augmentation, Autonomous Vehicles, Pedestrian Detection

얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인

Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS

자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.

arXiv:2607.06484v1cs.CR공통 태그 Data Augmentation, Autonomous Vehicles

커넥티드 자율주행 차량을 위한 증강된 3D 포인트 클라우드 공공 데이터셋에 대한 포이즈닝 공격의 운영적 영향 평가

Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles

공공 데이터셋에 대한 포이즈닝 공격은 다음과 같은 주요 우려를 야기한다: (i) 오염된 데이터를 학습에 사용할 때 인식된 객체의 오분류, (ii) 학습된 모델에 특정 조건이 적용될 때 이후 트리거될 수 있는 백도어 임베딩. 데이터 증강 모델에 대한 포이즈닝의 영향은 불명확하다. 데이터 증강이 포이즈닝 공격 성공의 가능도를 낮추기는 하지만, 몇 가지 유효한 의문점이 남는다. 데이터 증강이 포이즈닝 공격의 영향을 변화시키는가? 오염된 샘플의 수 또는 주입된 백도어를 증가시킬 수 있는가? 본 논문에서는 이러한 의문들 중 일부를 탐구한다. 오염된 3D 포인트 클라우드 데이터셋을 증강할 때의 효과를 평가하고, 생성적 적대 신경망(GAN) 기법을 데이터 증강 처리의 구체적 사례로 활용하여 포이즈닝이 증강 기법의 정화(sanitizing) 특성을 회피할 수 있음을 검증한다. 또한 포이즈닝이 증강된 데이터셋 전반에 걸쳐 전파되어 범용 분류기의 최종 의사 결정을 교란시킨다는 점도 검증한다. 모든 실험 자료(도구, 데이터셋, 분류기 포함)는 재현성을 높이고 이 주제에 대한 추가 연구를 촉진하기 위해 공개적으로 제공된다.

arXiv:2607.12818v3cs.CV공통 태그 Autonomous Vehicles

데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사

Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.

arXiv:2607.23132v2cs.CV공통 태그 Autonomous Vehicles

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

arXiv:2607.00642v3cs.AI공통 태그 Data Augmentation

인터랙티브 게임플레이를 위한 코칭 가능한 에이전트

Coachable Agents for Interactive Gameplay

강화학습은 게임 플레이(Silver et al., 2016; 2017; Wurman et al., 2022)에서 로보틱스(Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026), 파운데이션 모델(Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025)에 이르기까지 첨단 AI 및 로봇 시스템을 만드는 데 유용한 도구임이 입증되었다. 이러한 AI 시스템은 시행착오를 통해 과제를 해결하는 단일한 근사 최적 행동을 학습하는 것이 일반적이다. 그러나 학습이 끝난 후에 과제를 해결하는 방식을 어느 정도 제어하고자 하는 사용 사례가 많다. 우리는 핵심 과제에 대한 이러한 수정을 스타일이라 부른다. 우리는 범용 가치 함수 근사기(UVFA)를 신중하게 선택한 학습 시나리오, 학습 알고리즘, 데이터 증강과 결합하여 복잡한 도메인에서 스타일을 보이는 에이전트를 코칭하기 위한 프레임워크를 만든다. 이 프레임워크의 적용을 AAA 비디오 게임인 Horizon Forbidden West와 Gran Turismo, 그리고 오픈소스 휴머노이드 테스트 도메인에서 시연한다. 자동차 레이싱, 양식화된 게임 전투, 휴머노이드 보행이라는 도메인의 상이한 성격에도 불구하고, 각 에이전트는 해당 도메인의 주요 과제를 충족하면서도 스타일 요청에 대한 강한 일관성을 보인다. 중요하게도 본 논문에서 설명한 기법은 최종 사용자가 실행 시점에 최종 행동을 선택할 수 있게 하여, 최종 수행 성능에 대한 유연한 제어를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.