arXiv:2611.24051v1 cs.AI

어텐션은 관련성이 아니다: 자율주행에서 어텐션의 인과성에 대한 반론

Attention Is Not Relevance: Challenging the Causality of Attention in Autonomous Driving

Luca Lusvarghi, Javier Gozalvez

제출 2026-11-19

한국어 초록

어텐션은 주변 객체의 관련성을 추정하고 자율주행 차량의 주행 결정을 해석하는 데 가장 널리 채택된 방법 중 하나가 되었다. 그러나 개별 입력 요소가 AI 모델의 출력에 미치는 인과적 영향을 어텐션이 포착할 수 있는지에 대해서는 특히 자연어 처리(NLP) 분야를 중심으로 문헌에서 오랫동안 논의되어 왔다. 본 연구는 이 논의를 자율주행 분야로 가져와, 입력 객체가 자율주행 차량의 주행에 미치는 영향, 즉 관련성을 어텐션이 얼마나 정확하게 추정하는지 분석한다. 이를 위해 반사실 분석으로 얻은 객체 관련성의 인과적 기준과 서로 다른 어텐션 기반 관련성 추정 방법들을 비교한다. 분석은 객체 수준 계획을 위한 최신 트랜스포머 기반 모델인 PlanT 2.0 기반 자율주행 차량을 사용하여 80,000개가 넘는 합성 주행 장면에서 수행한다. 결과는 어텐션이 객체 관련성에 대해 인과적 지표가 아니라 상관적 지표를 제공함을 보여 준다. 어텐션 기반 관련성 추정 방법은 모든 관련 객체를 일관되게 식별하지 못하며, 차량의 주행에 거의 또는 전혀 영향을 주지 않는 객체를 관련 객체로 잘못 분류하는 경향이 있다. 특히 어텐션은 단순한 단일 차로 직선 도로 시나리오에서는 관련 객체를 효과적으로 식별할 수 있으나, 다차로 도로와 교차로 같은 더 복잡한 환경에서는 정확도가 저하된다. 이러한 결과는 객체 관련성의 대리 지표로서 어텐션이 지니는 한계를 보여 주며, 개별 객체가 차량 주행에 미치는 인과적 영향을 정확히 포착하고 이를 상관적 연관성과 구분할 수 있는 새로운 방법이 필요함을 시사한다.

원문 초록

Attention has become one of the most widely adopted solutions for estimating the relevance of surrounding objects and interpreting an autonomous vehicle's driving decisions. However, its ability to capture the causal impact of individual input elements on an AI model's output has long been discussed in the literature, particularly in the Natural Language Processing (NLP) domain. This work brings this discussion into the autonomous driving domain by analyzing the accuracy of attention in estimating the impact of an input object on an autonomous vehicle's driving, i.e., its relevance. To this end, we compare different attention-based relevance estimation methods against a causal reference of object relevance obtained through counterfactual analysis. We perform our analysis on more than 80,000 synthetic driving scenes using an autonomous vehicle based on PlanT 2.0, a state-of-the-art Transformer-based model for object-level planning. Results show that attention provides a correlational rather than causal indication of object relevance. Attention-based relevance estimation methods do not consistently identify all relevant objects and tend to incorrectly classify as relevant objects with little or no impact on the vehicle's driving. In particular, results show that attention can effectively identify relevant objects in simple single-lane, straight-road scenarios, but its accuracy degrades in more complex settings, such as multi-lane roads and intersections. These findings highlight the limitations of attention as a proxy for object relevance, calling for novel methods able to accurately capture the causal impact of individual objects on the vehicle's driving and distinguish it from correlational associations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24051v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.