PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.08467v2cs.CV

Zero-Shot Distracted Driver Detection via Vision Language Models with Double Decoupling

비전-언어 모델(VLM) 기반 제로샷(zero-shot) 운전 중 주의 분산 감지에서 운전자의 외형(의복, 나이, 성별 등) 변수가 행동 단서와 혼재되는 문제를 해결하기 위해, 운전자별 평균 임베딩을 차감하는 외형 디커플링(DAD)과 Stiefel 매니폴드 투영을 통한 텍스트 임베딩 직교화(TEO)를 결합한 이중 디커플링 프레임워크를 제안한다. SAM-DD 및 StateFarm 벤치마크 실험에서 DriveCLIP 대비 일관된 성능 향상을 달성하였다.

arXiv:2606.21197v1cs.CV

희소 오토인코더를 통한 비전-언어 모델의 다중모달 개념 추출 및 분석

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

비전-언어 모델(VLM)은 이미지 캡셔닝(image captioning)과 시각적 질의응답(VQA)과 같이 이미지와 텍스트를 공동으로 이해해야 하는 과제에서 인상적인 성능을 보여 왔지만, 내부 처리 과정에 대한 이해는 여전히 제한적이다. 최근 희소 오토인코더(SAE)는 VLM에 인코딩된 개념의 해석을 지원하는 유망한 도구로 부상했다. 그러나 대부분의 SAE 기반 접근법은 다중모달 개념을 무시하고 텍스트 또는 시각 개념만을 각각 따로 다룬다. 이러한 한계는 두 모달리티를 통합하는 개념이 잘못 분류될 수 있기 때문에 VLM에 대한 포괄적 이해를 방해한다. 또한 이전의 시각적 접근법은 종종 모호하거나 불완전한 저품질 시각 개념 설명을 생성하여, 모델 추론을 이해하는 데 있어 유용성을 제한한다. 우리는 VLM에서 시각, 텍스트, 다중모달 개념을 추출하고 분석하기 위한 SAE 기반 프레임워크를 제안한다. 각 뉴런에 대해 사람이 해석 가능한 후보 개념을 제안하고, 코사인 유사도 점수를 사용하여 해당 개념과 데이터셋 샘플 간의 정합을 계산한다. VQA 데이터셋(LLaVA-NeXT)에서의 실험은 우리 프레임워크가 기존 SAE 기반 방법 대비 시각 개념 품질을 최대 45%까지 향상시키면서, 높은 텍스트 개념 품질을 유지하고 다중모달 개념의 체계적 식별을 가능하게 함을 보여준다. 본 연구는 VLM의 개념 공간에 대한 새로운 통찰을 제공하며, 시각, 텍스트, 다중모달 개념을 구별하는 구조화된 접근법을 제시한다. 코드는 https://github.com/PHDLanza/Multidata_SAE 에서 이용할 수 있다.

arXiv:2502.00241v2cs.LG

Mordal: 비전-언어 모델(VLM)을 위한 자동화된 사전학습 모델 선택

Mordal: Automated Pretrained Model Selection for Vision Language Models

대규모 언어 모델(LLM)에 다중 모달리티를 통합하는 것은 비텍스트 데이터에 대한 이해를 강화하여 다중 모달 작업을 수행할 수 있게 하는 강력한 방법입니다. 비전-언어 모델(VLM)은 의료, 로봇 공학, 접근성을 포함한 다양한 실용적인 사용 사례로 인해 다중 모달 모델 중 가장 빠르게 성장하는 카테고리를 형성합니다. 안타깝게도, 문헌상의 서로 다른 VLM들이 다양한 벤치마크에서 인상적인 시각적 능력을 보여주지만, 이들은 인간 전문가에 의해 수작업으로 제작되며, 작업 특화 다중 모달 모델을 생성하는 자동화된 프레임워크는 존재하지 않습니다. 우리는 수동 개입 없이 사용자 정의 작업에 대해 최적의 VLM을 효율적으로 찾아내는 자동화된 다중 모달 모델 탐색 프레임워크인 Mordal을 소개합니다. Mordal은 탐색 과정에서 고려해야 할 후보의 수를 줄이고 남은 각 후보를 평가하는 데 필요한 시간을 최소화함으로써 이를 달성합니다. 평가 결과, Mordal은 그리드 서치(grid search)보다 $8.9\times$--$11.6\times$ 더 적은 GPU 시간을 사용하여 주어진 문제에 대한 최적의 VLM을 찾을 수 있음을 보여줍니다. 또한 Mordal은 다양한 작업에서 최첨단 모델 선택 방법보다 평균 약 69\% 더 높은 가중 켄달의 타우(weighted Kendall's $\tau$)를 달성함을 발견했습니다.