Is my Driver Observation Model Overconfident? Input-guided Calibration Networks for Reliable and Interpretable Confidence Estimates
원문 초록
Driver observation models are rarely deployed under perfect conditions. In practice, illumination, camera placement and type differ from the ones present during training and unforeseen behaviours may occur at any time. While observing the human behind the steering wheel leads to more intuitive human-vehicle-interaction and safer driving, it requires recognition algorithms which do not only predict the correct driver state, but also determine their prediction quality through realistic and interpretable confidence measures. Reliable uncertainty estimates are crucial for building trust and are a serious obstacle for deploying activity recognition networks in real driving systems. In this work, we for the first time examine how well the confidence values of modern driver observation models indeed match the probability of the correct outcome and show that raw neural network-based approaches tend to significantly overestimate their prediction quality. To correct this misalignment between the confidence values and the actual uncertainty, we consider two strategies. First, we enhance two activity recognition models often used for driver observation with temperature scaling-an off-the-shelf method for confidence calibration in image classification. Then, we introduce Calibrated Action Recognition with Input Guidance (CARING)-a novel approach leveraging an additional neural network to learn scaling the confidences depending on the video representation. Extensive experiments on the Drive&Act dataset demonstrate that both strategies drastically improve the quality of model confidences, while our CARING model out-performs both, the original architectures and their temperature scaling enhancement, leading to best uncertainty estimates.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DoRF++: 강건한 Wi-Fi 센싱을 위한 도플러 래디언스 필드 기반 구면 표현 학습
DoRF++: Spherical Representation Learning over Doppler Radiance Fields for Robust Wi-Fi Sensing
IEEE 802.11bf가 고급 WLAN 센싱 표준화를 추진하는 가운데, 비침해적·무기기·프라이버시 보존형 활동 및 제스처 인식을 위한 Wi-Fi 채널 상태 정보(CSI) 활용에 대한 관심이 빠르게 커지고 있다. 최근 연구는 CSI에서 추출한 도플러 속도 투영이 사람 움직임 속도를 직접 반영하여, 더 강건한 인간 활동 인식(HAR)과 사용자 및 보지 못한 조건에 걸친 일반화를 가능하게 함을 보여 주었다. 그럼에도 실세계 가변성 하에서의 신뢰할 만한 일반화는 Wi-Fi 센싱 도입을 가로막는 핵심 난제로 남아 있다. 이를 해결하기 위해 본 연구는 도플러 래디언스 필드(DoRF)를 기반으로 하며, 컴퓨터 비전(CV)의 신경 래디언스 필드(NeRF) 개념을 Wi-Fi 센싱에 맞게 적용한다. DoRF는 추출된 도플러 속도 투영을 사람 움직임에 대한 희소 가상 카메라 뷰로 취급한다. 이러한 뷰로부터 정규화된 잠재 3차원 모션 디스크립터를 복원하고, 학습된 유효 도플러 방향을 따른 이 디스크립터의 투영이 CSI 관측을 설명한다. 복원된 모션은 단위 구(unit sphere) 위 등각 방향 그리드로 재투영되어 기저 활동의 구면 표현을 만든다. DoRF가 구면 위에 정의된 신호를 생성하므로, 본 논문은 행동 분류를 위해 구면 필드에 quadrature-aware 구면 Transformer를 직접 적용하는 구면 표현 학습 모델 DoRF++를 제안한다. 자체 수집 손 제스처 데이터셋 실험에서 DoRF++는 단일 다중 안테나 수신 액세스 포인트(AP)만 가용한 경우, 특히 어려운 제스처에 대해 교차 사용자 일반화 정확도에서 최신 Wi-Fi 기반 HAR 방법을 눈에 띄게 능가한다.
이벤트 스트림의 시간 양자화에서 견고성-해상도 트레이드오프
On The Robustness-Resolution Tradeoff In Temporal Quantization Of Event Streams
이벤트 파이프라인은 종종 학습 전에 비동기 타임스탬프를 이산화한다. 이 단계는 무해해 보이지만, 안정성은 시간 해상도에 직접적으로 의존한다. 우리는 표현 수준에서 이러한 의존성을 연구한다. 먼저 경직된 시간 빈ning(hard temporal binning)이 불연속임을 보인다. 경계 근처에서 임의로 작은 타임스탬프 이동만으로도 단위 이벤트 질량이 빈(bin) 사이로 이동할 수 있다. 이어서 비음(nonnegative), 질량 보존(mass-preserving), 해상도 충실(resolution-faithful) 연속 인코더의 한 클래스를 정의하고, 이 클래스에 속하는 모든 인코더의 전역 L1 민감도(sensitivity)가 최소 2/Δ(Δ는 빈 너비)임을 증명한다. 선형 2-bin 보간이 이 한계에 도달한다. 국소 지지(local support)와 1차 모멘트 보존(first-moment preservation) 또한 이를 유일하게 만든다. SHD, N-MNIST, DVS128 Gesture에서의 실험이 분석을 뒷받침한다. 균일한 타임스탬프 예산 전반에서 선형 보간은 평균 표현 drift를 47–72% 낮추면서 clean 정확도는 거의 변하지 않게 유지한다. DVS Gesture에서는 테스트된 모든 예산과 세 개의 시드에 걸쳐 예측 전환(prediction flip)이 0이다. SHD에서는 측정된 drift가 R² = 0.992와 함께 1/Δ를 따른다.
인간 중심 멀티모달 관측에 기반한 선제적 로봇을 위한 인지적 행동 추론
Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations
인간 중심 환경에서 동작하는 로봇은 일반적으로 명시적 지시를 수행하도록 설계되며, 대부분의 로봇 학습 데이터셋 역시 관측을 작업 지시나 저수준 행동과 짝지어 구성한다. 최근 연구들이 선제적(proactive) 체화 보조(embodied assistance)를 탐구하기 시작했지만, 기존 자원들은 서로 다른 설정과 행동 수준을 대상으로 하여 실세계의 인간 중심 멀티모달 의사결정은 여전히 충분히 탐구되지 않은 상태이다. 우리는 이 문제를 \textit{선제적 로봇 행동 추론}(\textit{ProRobo})으로 정식화하는데, 이는 로봇이 명시적인 행동 지시 없이 인간 및 환경의 멀티모달 단서에 기반하여 어떤 행동을 취할지 결정해야 하는 상위 인지적 의사결정 문제이다. ProRobo를 지원하기 위해, 우리는 다섯 가지 일반적인 장면 속 12가지 일상생활 시나리오에 걸쳐 시각적 관측, 오디오 신호, 텍스트 입력으로 구성된 1만 개(10K) 샘플을 포함하는 실세계 멀티모달 데이터셋 \textit{ProAction}을 소개한다. 인지적으로 근거 있는 상위 수준 행동 지도(supervision)를 구성하기 위해, 우리는 평가(appraisal) 기반 후보 생성과 정서적 마음 이론(Affective Theory-of-Mind) 기반 인간 정제를 결합한 2단계 인간 참여(human-in-the-loop) 파이프라인을 개발하였으며, 인간의 상태, 긴급성, 실행 가능성, 잠재적 위험에 대한 맥락적 판단을 행동 주석에 명시적으로 반영한다. 이러한 지도를 바탕으로, 우리는 대표적인 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)들을 벤치마크하고, 멀티모달 관측에서 인지적으로 근거 있는 상위 수준 행동으로의 매핑을 암묵적으로 학습하는 참조 모델인 \textit{MMC2Act}를 소개한다. 모달리티 설정, 피험자 비중첩(subject-disjoint) 일반화, 데이터셋 간 전이, 그리고 인간 평가에 걸친 실험 결과, 범용 MLLM은 멀티모달 단서로부터 상위 수준 행동을 선제적으로 추론하는 데 어려움을 겪는 반면, \textit{ProAction}으로 학습할 경우 성능이 크게 향상됨을 보여준다.
Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습
Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding
원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.
정신분열증 인지 재활을 위한 상호작용형 비전-언어 플랫폼
An Interactive Vision Language Platform for Cognitive Remediation in Schizophrenia
인지 재활 과제는 종종 환자가 객체 조작과 순차적 추론을 포함하는 구조화된 행동을 수행하도록 요구한다. 정신분열증으로 진단받은 환자에게 이러한 과제는 심각한 인지 결손을 다루는 데 중요하다. 그러나 이러한 신체적 행동의 정확성을 평가하는 것은 일반적으로 임상의의 수동 관찰에 의존하며, 이는 주관성을 초래하고 치료적 개입의 확장성을 제한한다. 본 논문에서는 정신분열증 재활을 위한 인지 재활 과제에서 행동 검증을 위해 Vision-Language Model(VLM)에 기반한 자동화 프레임워크를 제안한다. 제안된 시스템은 도로, 회전 교차로, 공원, 장난감 차량 등을 포함한 구조화된 미니어처 장면으로 구성된 카메라 모니터링 탁상 환경에 의존한다. 환자는 장난감 차량을 조작하여 수행할 목표 지향적 공간 행동을 설명하는 음성 지시를 받는다. 이러한 상호작용형 신체 활동은 지속적 어텐션(sustained attention), 운동 협응, 공간 탐색, 인지 유연성과 같은 표적 인지 기능을 자극하도록 특별히 설계되었다. 연속적인 임상 감독 없이 수행된 행동의 정확성을 검증하기 위해, 시스템은 환자의 손과 장난감 움직임을 추적하는 영상 피드를 분석한다. 파인튜닝된 비전-언어 모델은 기록된 영상 시퀀스를 해석하고 관찰된 활동에 대한 의미론적 설명을 생성하여, 초기 텍스트 지시에 대한 수행된 행동의 고수준 검증을 가능하게 한다. 제안된 접근법을 평가하기 위해 4634개의 탁상 인지 재활 영상 시나리오로 구성된 전용 데이터셋을 수집했다. 실험 결과, 우리의 특화된 프레임워크가 저수준 물리적 텔레메트리와 고수준 임상 피드백을 효과적으로 연결하며, 고급 인지 재활을 위한 확장 가능하고 객관적인 해결책을 제시함을 보여준다.
깊이보다 구조: 다중 개체 추론을 위한 단일 블록 시공간 트랜스포머
Structure over Depth: A Single-Block Spatio-Temporal Transformer for Multi-Entity Reasoning
다중 개체 시계열 데이터를 모델링하려면 개체, 시간, 그리고 이들 간 상호작용에 걸친 의존성을 포착해야 한다. 트랜스포머 기반 접근법은 좋은 성능을 보이지만, 이러한 이질적인 의존성을 암묵적으로 학습하기 위해 깊은 레이어 스택에 의존하는 경우가 많아 계산 비용이 증가한다. 우리는 구조적 관점에서 이 문제를 재검토하고, 다중 개체 시공간 역학을 세 가지 상호작용 유형으로 분해한다: 개체 간 공간적 상호작용, 시간에 걸친 시간적 상호작용, 두 영역을 결합하는 교차 상호작용. 우리는 단일 단계 내에서 세 가지를 모두 명시적으로 모델링하는 구조화된 시공간 트랜스포머 블록을 제안한다. 이 블록은 병렬 공간 및 시간 셀프-어텐션(self-attention)을 사용하고, 이어서 양방향 교차 어텐션(cross-attention)을 수행하며, 학습 가능한 게이트 융합(gated fusion)을 통해 출력을 결합한다. 이러한 상보적 관점을 직접 인코딩함으로써, 모델은 깊은 적층의 필요성을 줄인다. 우리는 비디오 기반 그룹 활동 인식, 스켈레톤 기반 인간 상호작용 분석, 웨어러블 센서 기반 활동 인식에서 이 접근법을 평가한다. 단순함에도 불구하고, 단일 구조화 트랜스포머 블록은 1.76M 파라미터만으로 더 깊은 아키텍처와 동등하거나 그를 능가한다. 결과는 기존 모델의 깊이가 부분적으로 암묵적이고 얽힌 상호작용 모델링을 보상하는 반면, 명시적 분해가 더 효율적이고 투명한 대안을 제공함을 시사한다. 더 넓게 보면, 이 연구는 구조 우선 설계 원칙을 뒷받침한다: 표현력 있는 다중 개체 시공간 추론은 깊이에 의존하기보다 상호작용 구조를 드러냄으로써 창발할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.