arXiv:2408.12680

Can LLMs Understand Social Norms in Autonomous Driving Games?

Boxuan Wang, Haonan Duan, Yanhao Feng, Xu Chen, Yongjie Fu, Zhaobin Mo, Xuan Di

제출 2024-08-22

원문 초록

Social norm is defined as a shared standard of acceptable behavior in a society. The emergence of social norms fosters coordination among agents without any hard-coded rules, which is crucial for the large-scale deployment of AVs in an intelligent transportation system. This paper explores the application of LLMs in understanding and modeling social norms in autonomous driving games. We introduce LLMs into autonomous driving games as intelligent agents who make decisions according to text prompts. These agents are referred to as LLM-based agents. Our framework involves LLM-based agents playing Markov games in a multi-agent system (MAS), allowing us to investigate the emergence of social norms among individual agents. We aim to identify social norms by designing prompts and utilizing LLMs on textual information related to the environment setup and the observations of LLM-based agents. Using the OpenAI Chat API powered by GPT-4.0, we conduct experiments to simulate interactions and evaluate the performance of LLM-based agents in two driving scenarios: unsignalized intersection and highway platoon. The results show that LLM-based agents can handle dynamically changing environments in Markov games, and social norms evolve among LLM-based agents in both scenarios. In the intersection game, LLM-based agents tend to adopt a conservative driving policy when facing a potential car crash. The advantage of LLM-based agents in games lies in their strong operability and analyzability, which facilitate experimental design.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.21115v1cs.CV공통 태그 Autonomous Driving

MS-rPPG: 운전자 모니터링 시스템에서 원격 광용적맥파를 위한 다중 스펙트럼 상태 공간 모델

MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems

원격 광용적맥파(rPPG)는 생리 신호, 특히 심장 활동을 측정하는 카메라 기반 기법이다. 원격으로 측정된 신호로부터 심박수를 추정할 수 있으며, 이는 건강 모니터링에 매우 중요하다. 본 연구에서는 원격 심박수 추정에 기반한 운전자 건강 모니터링 시스템을 조사한다. 그러나 운전 환경은 제어되지 않은 환경으로, 영상이 다양한 조명 조건과 빈번한 머리 움직임의 영향을 받는다. MS-rPPG를 도입한다. 이는 RGB와 근적외선(NIR) 얼굴 영상을 결합하여 어려운 운전 조건 하에서 rPPG 추정을 완화하는 다중 스펙트럼 프레임워크이다. 두 스펙트럼 영상의 상보적 특징을 결합하기 위해, 주파수 영역 분석에 기반한 교차 스펙트럼 선형 변조(CSLM) 전략을 제안한다. 또한 다중 스펙트럼 특징 간 교차 채널 상호작용을 공동으로 포착하면서 장거리 시간적 의존성을 효과적으로 모델링하도록 설계된 새로운 상태 공간 모델인 MS-Mamba를 도입한다. 50명의 참가자가 차량을 운전하는 동안 기록한 MS-Drive라는 실세계 데이터셋을 수집했다. 제안 방법은 MR-NIRP Car 데이터셋과 MS-Drive 데이터셋에서 평가되었다. 실험 결과, MS-rPPG가 이전 방법들보다 더 나은 견고성과 심박수 추정 정확도를 보였으며, 운전자 건강 모니터링에 대한 잠재력을 강조한다. 코드는 github.com/ziiho08/MS-rPPG에서 이용할 수 있다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2607.22698v2cs.CV공통 태그 Autonomous Driving

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.

arXiv:2606.23662v2stat.ML공통 태그 Experimental Design

Action-BED: 단일 intractable 목적을 갖는 태스크 기반 베이지안 실험 설계(BED)

Action-BED: Task-Driven Bayesian Experimental Design with Singly Intractable Objectives

베이지안 실험 설계(BED)는 전통적으로 사전(prior)에서 사후(posterior)로의 기대 불확실성 감소를 최대화하는 것에 기반해 왔다. 이 접근법의 주요 한계는 이중 intractable 목적함수로 이어져 최적화가 어렵다는 점이며, 관심 있는 특정 다운스트림 태스크에 맞게 맞춤화하는 것도 역시 어렵다. 1원칙 의사결정 이론에 따라, 우리는 BED를 다운스트림 행동(downstream actions)에 대한 기대 미래 손실(expected future loss, EFL)로 대안적으로 표현할 수 있음을 보인다. 이는 단순하고 자연스럽게 태스크 기반 프레임워크를 제공한다. 핵심적으로, 우리는 이러한 모든 EFL이 단일 intractable 목적함수로 재배치될 수 있으며, 확률적 그래디언트(stochastic gradients)를 사용해 설계 정책(design policy)과 다운스트림 행동 정책(downstream action policy) 모두에 대해 공동 최적화될 수 있음을 보인다. 우리는 이 접근법을 ACTION-BED라고 부른다. 이 공식화는 명시적인 사후(posterior) 또는 주변 가능도(marginal likelihood) 추정의 필요성을 추가로 우회하며, 자연스럽게 암시적(implicit) 방식으로, 모델 파라미터와 데이터에 대한 결합 모델(joint model)에서 샘플링하고 다운스트림 손실 함수를 평가하는 능력만 필요로 한다. 따라서 이는 기존 방법보다 더 효과적이고, 효율적이며, 간단하게 설계 정책을 학습할 수 있게 하면서, 서로 다른 다운스트림 태스크와 손실에 대한 쉬운 맞춤화를 제공한다.

arXiv:2607.24409v2cs.CV공통 태그 Autonomous Driving

고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력

Accuracy potential of visual localization exploiting high-end street-level imagery

측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.