Using Multimodal Large Language Models for Automated Detection of Traffic Safety Critical Events
원문 초록
Traditional approaches to safety event analysis in autonomous systems have relied on complex machine learning models and extensive datasets for high accuracy and reliability. However, the advent of Multimodal Large Language Models (MLLMs) offers a novel approach by integrating textual, visual, and audio modalities, thereby providing automated analyses of driving videos. Our framework leverages the reasoning power of MLLMs, directing their output through context-specific prompts to ensure accurate, reliable, and actionable insights for hazard detection. By incorporating models like Gemini-Pro-Vision 1.5 and Llava, our methodology aims to automate the safety critical events and mitigate common issues such as hallucinations in MLLM outputs. Preliminary results demonstrate the framework's potential in zero-shot learning and accurate scenario analysis, though further validation on larger datasets is necessary. Furthermore, more investigations are required to explore the performance enhancements of the proposed framework through few-shot learning and fine-tuned models. This research underscores the significance of MLLMs in advancing the analysis of the naturalistic driving videos by improving safety-critical event detecting and understanding the interaction with complex environments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
검색-증강 해석 가능 학습: 헬스케어 분야의 태스크별 제로샷 모델을 향하여
Retrieval-Augmented Interpretable Learning: Towards Task-Specific Zero-Shot Models in Healthcare
본 논문에서는 자연어 태스크 설명과 이전에 학습된 태스크별 예측기 메모리로부터 계수 공간 구조를 합성하여 태스크별 해석 가능 모델을 제로샷(zero-shot)으로 생성하는 확률론적 메타러닝 프레임워크인 검색-증강 해석 가능 학습(Retrieval-Augmented Interpretable Learning, RAIL)을 소개합니다. RAIL은 관련된 소스 태스크를 검색하고, 계수 공간을 통해 구조를 전이하며, 원래의 진단 특징(feature) 공간에서 새로운 예측기를 생성함으로써 특징 수준의 설명과 함께 제로샷 및 퓨샷(few-shot) 임상 시술 예측을 가능하게 합니다. 이러한 확률론적 정식화는 검색, 모델 계수, 예측 전반에 걸친 불확실성을 제공하여 불확실성을 인식하는 배포를 지원합니다. 즉, 불확실한 예측이나 불안정한 설명은 자동 결정으로 처리되는 대신 추가적인 임상 검토를 거치도록 플래그를 지정할 수 있습니다. 이는 예측 태스크가 심각하게 롱테일(long-tailed) 특성을 띠고, 새로운 임상 목표가 빈번하게 발생하며, 모델이 검토 가능하고 불확실성을 인지하며 인간의 감독과 호환되어야 하는 헬스케어 환경에 RAIL을 특히 적합하게 만듭니다. 롱테일 임상 시술 예측 태스크 전반에 걸쳐 RAIL은 데이터가 부족한 환경에서의 모델 생성을 개선하고, 임상 정보를 반영한 태스크 표현의 이점을 활용하며, 모델 동작을 더욱 투명하게 만드는 검색, 불확실성, 계수 수준의 진단을 제공합니다. 이러한 결과는 해석 가능성과 신뢰성을 유지하면서 새로운 태스크에 적응할 수 있는 확장 가능한 임상 예측 시스템을 향한 방향을 제시합니다.
GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬
GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection
본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.
AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크
AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC
멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.
시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?
Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
MyoFlow: 세션 및 피험자 간 HD-sEMG 제스처 인식을 위한 앵커 결합 정류 흐름(rectified flow)
MyoFlow: Anchor-Tied Rectified Flow for HD-sEMG Gesture Recognition Across Sessions and Subjects
고밀도 표면 근전도(HD-sEMG) 제스처 인식은 의수 제어, 보조 로봇, 재활을 지원하지만, 전극 재착용과 생리적 변동성이 분포 이동(distribution shift)을 일으켜 세션 및 피험자 간 정확도를 저하시킨다. 생성형 HD-sEMG 모델은 주로 증강을 위해 신호를 합성하며, 확산(diffusion) 모델이 표현 학습(representation learning)을 향상시키더라도 예측은 여전히 별도의 분류기에 의존한다. 학습된 역학을 결정 규칙에 연결하기 위해, 세션 및 피험자 간 HD-sEMG 인식을 위한 최초의 판별적 flow-matching 프레임워크인 MyoFlow를 제안한다. 분류(classification)를 앵커 결합 수송(anchor-tied transport)으로 재구성한다. 도메인 조건 정류 흐름(rectified flow)이 인코딩된 윈도우를 수송 목표이자 최근접 앵커 결정 기하를 정의하는 제스처 앵커 쪽으로 이동시켜, 독립적인 헤드(head) 없이 제로샷(zero-shot) 인식을 가능하게 한다. Hyser 데이터셋(dataset)에서 MyoFlow는 가장 강력한 확산 기반 기준선(baseline) 대비 평균 교차 세션 및 교차 피험자 정확도를 각각 4.24% 및 6.37% 향상시키며, CEMHSEY 데이터셋에서 여러 날에 걸친 평균 제로샷 정확도 91.71%와 평균 퓨샷(few-shot) 정확도 97.39%를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.