PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.29759v3cs.CV

TSHA: 신뢰할 수 있는 안전 위험 평가 시나리오에서의 비전-언어 모델 벤치마크

TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios

최근 비전-언어 모델(VLM)의 발전으로 실내 안전 위험 평가에 대한 적용이 가속화되었다. 그러나 기존 벤치마크는 세 가지 근본적인 한계를 지닌다: (1) 시뮬레이션 소프트웨어로 구축된 합성 데이터셋에 대한 과도한 의존으로, 실제 환경과 상당한 도메인 갭(domain gap)을 만든다; (2) 위험 및 장면 유형에 인위적 제약이 있는 과도하게 단순화된 안전 과제로, 모델의 일반화를 제한한다; (3) 복잡한 가정 안전 시나리오에서 모델 역량을 철저히 평가할 엄격한 평가(evaluation) 프로토콜의 부재. 이러한 과제를 해결하기 위해, 우리는 66,668개의 검증된 질의-응답(QA) 쌍으로 구성된 포괄적 벤치마크인 TSHA(Trustworthy Safety Hazards Assessment)를 제안한다. 여기에는 기존 실내 데이터셋, 인터넷 프레임/이미지, AIGC 이미지, 새로 촬영한 이미지, Hunyuan 파노라마 이미지에서 추출한 64,961개의 신중하게 큐레이션된 학습 QA 쌍이 포함된다. 이 벤치마크에는 또한 1,707개의 QA 쌍으로 구성된 매우 어려운 테스트 세트가 포함되며, 학습 분포에서 신중하게 선별된 부분집합뿐만 아니라 복수의 안전 위험을 포함한 새로 추가된 Sora 생성 비디오 및 Hunyuan 파노라마 이미지도 포함되어, 복잡한 안전 시나리오에서 모델의 견고성(robustness)을 평가하는 데 사용된다. 22개의 인기 VLM에 대한 광범위한 실험은 현재 VLM이 안전 위험 평가를 위한 견고한 역량이 부족함을 보여준다. 중요하게도, TSHA 학습 세트로 학습(training)된 모델은 TSHA 테스트 세트에서 최대 +18.3점의 유의미한 성능 향상을 달성하며, 다른 벤치마크에서도 향상된 일반화성을 보여 TSHA 벤치마크의 상당한 기여와 중요성을 강조한다.

arXiv:2607.01365v1cs.LG

Multi-modal Rail Crossing Safety Analysis

철도 건널목 이미지와 FRA Form 57 사고 기록을 결합한 멀티모달 파이프라인을 제안하여, 비전-언어 모델(VLM)이 건널목의 위험도를 평가할 수 있는지 탐구한다. 파인튜닝된 경량 VLM 파이프라인으로 고위험/저위험 건널목 분류에서 매크로 F1 0.757, FRA 기반 안전 점수 예측에서 RMSE 0.078을 달성하였다.