사고 모드(thinking-mode) 비전-언어 모델(VLM)에서 기존의 답변 토큰 엔트로피 기반 불확실성 추정이 사고 체인의 사전 확약(pre-commitment)으로 인해 붕괴되는 현상을 세 모델 계열(Qwen3-VL, GLM-4.1V, InternVL3)에서 실증적으로 규명하며, 단일 추론 패스에서 추가 비용 없이 추출 가능한 사고 체인 엔트로피가 답변 엔트로피보다 일관되게 우수한 환각(hallucination) 탐지 신호임을 보인다. 나아가 불명확한 샘플을 기권(abstention)하는 실용적 게이트를 제안하여 POPE에서 정확도를 71.0%에서 93.8%로 향상시켰다.
3B 이하 소형 비전-언어 모델(sVLM)의 컴포넌트별 양자화 민감도를 체계적으로 분석하기 위해 Jetson Orin NX·AGX에서 비전 인코더, 프로젝터, LLM 백본을 분리한 6가지 양자화 구성을 실험한 결과, 양자화 민감도는 모델 규모보다 MoE vs. dense 구조적 패러다임에 의해 결정되며 SigLIP 기반 인코더의 INT8 지연 급증은 하드웨어-커널 상호작용에 기인하고 LLM INT4는 VRAM을 절감하지만 역양자화 오버헤드로 토큰 생성 속도가 저하됨을 밝혔다.
현대의 비전-언어 모델(VLM)과 VLA 시스템은 시각 인코더로 SigLIP2와 같은 기성 ViT를 흔히 채택하지만, 지연 시간, 시간적 모델링, VLM 통합 등 다양한 다운스트림 요구사항은 종종 최첨단 수준의 커스텀 ViT를 요구한다. 이러한 인코더 학습은 대규모 이미지-텍스트 데이터를 필요로 하는 데다, 표준 소프트맥스 어텐션이 고해상도 또는 동적 해상도 사전학습을 지나치게 비용이 많이 들게 만들어 저해상도 사전학습 후 사후 적응(post-hoc adaptation)을 강제하는 경우가 많기 때문에, 커뮤니티 대부분의 역량 밖에 놓여 있다. TuringViT는 세 가지 핵심 설계로 이러한 문제를 해결한다: 효율적인 시퀀스 모델링을 위한 Turing Linear Attention(TLA), 감독 정보가 풍부한 이미지-비디오 학습 데이터를 구축하는 VISTA-Curation, 그리고 처음부터 유연한 입력을 지원하며 다운스트림 VLM으로 원활하게 전이되는 네이티브 동적 해상도 사전학습이다. 그 결과 TuringViT는 데이터의 10%만으로 선도적인 오픈소스 ViT 기준 모델을 능가하고, 더 강력한 다운스트림 VLM 성능을 달성하며, 고해상도 입력에서 지연 시간 스케일링 측면에서 실질적으로 더 나은 성능을 보인다. 스케일링 법칙 분석에서는 TuringViT가 큐레이션된 데이터 규모에 따라 포화에 이르지 않고 예측 가능하게 지속적으로 향상됨을 보여 준다. 빠른 적응성, 하드웨어 친화적 설계, 효율적인 배포 덕분에 TuringViT는 XPeng의 AI 시스템 전반에 걸친 통합 시각 기반 모델로 자리 잡았다. 더 나아가 TuringViT는 커뮤니티가 최첨단 수준의 ViT를 학습, 커스터마이징, 배포하는 비용을 획기적으로 낮추는 재현 가능한 파이프라인을 제공하며, 이러한 비전 트랜스포머를 모두에게 접근 가능하게 만드는 방향으로 나아간다.
As Visual Language Models (VLMs) become increasingly embedded in everyday applications, ensuring they can recognise and appropriately handle privacy-sensitive content is thus essential to protect users. To this end, we conduct a comprehensive evaluation of twelve state-of-the-art VLMs and identify limitations in their understanding of visual privacy. However, existing privacy-related datasets often suffer from label inconsistencies, limiting their reliability. To address this, we introduce two compact, high-quality benchmarks, PrivBench and PrivBench-H, that focus on commonly recognised visual privacy categories aligned with the General Data Protection Regulation (GDPR). Additionally, we present PrivTune, an instruction-tuning dataset specifically curated to improve privacy sensitivity. We obtain multiple Privacy VLMs by fine-tuning off-the-shelf VLMs on only a few hundred samples from PrivTune, which leads to substantial gains on all benchmarks, surpassing even GPT-4, while maintaining strong performance on other tasks. Our findings show that privacy-awareness in VLMs can be substantially improved with minimal data and careful dataset design, setting the stage for safer, more privacy-aligned AI systems.