PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.06578v3cs.CV

이미지 분류기로서의 멀티모달 대규모 언어 모델(MLLM)

Multimodal Large Language Models as Image Classifiers

멀티모달 대규모 언어 모델(MLLM)의 분류 성능은 평가 프로토콜과 정답(ground truth) 품질에 크게 의존한다. MLLM을 지도학습 모델 및 비전-언어 모델(VLM)과 비교한 연구들은 서로 상충하는 결론을 보고하는데, 우리는 이러한 상충이 성능을 과장하거나 과소평가하는 프로토콜에서 비롯됨을 보인다. 가장 흔히 사용되는 평가 프로토콜 전반에서, 우리는 핵심 문제들을 식별하고 수정한다: 제공된 클래스 목록 범위를 벗어나 폐기되는 모델 출력, 약한 객관식 오답지(distractor)로 인한 과장된 결과, 그리고 부실한 출력 매핑으로 인해서만 성능이 저하되는 개방형(open-world) 설정이 그것이다. 추가로 우리는 흔히 간과되는 설계 선택들 - 배치 크기, 이미지 순서, 텍스트 인코더 선택 - 의 영향을 정량화하여, 이들이 정확도에 상당한 영향을 미친다는 것을 보인다. ImageNet-1k의 625개 클래스에 대한 우리의 다중 레이블 재주석(multilabel reannotation)인 ReGT로 평가한 결과, MLLM은 수정된 레이블로부터 가장 큰 이득(최대 +10.8%)을 얻으며, 지도학습 모델과의 인지된 격차를 크게 좁히는 것으로 나타났다. 따라서 보고된 MLLM의 분류 성능 저하의 상당 부분은 모델 자체의 결함이 아니라 잡음이 많은 정답(ground truth)과 결함 있는 평가 프로토콜에서 비롯된 인공물(artifact)이다. 지도학습 신호에 덜 의존하는 모델일수록 주석(annotation) 품질에 더 민감한 것으로 나타났다. 마지막으로, 우리는 MLLM이 사람 주석자(annotator)를 보조할 수 있음을 보인다: 통제된 사례 연구에서, 주석자들은 어려운 사례의 약 50%에서 MLLM의 예측을 확인하거나 통합하였으며, 이는 대규모 데이터셋 구축(curation)에 대한 가능성을 보여준다. 본 연구는 Aiming for Perfect ImageNet-1k 프로젝트의 일부이며, 자세한 내용은 https://klarajanouskova.github.io/ImageNet/ 에서 확인할 수 있다.

arXiv:2501.07972v2cs.MM

기성 멀티모달 대규모 언어 모델을 활용한 제로샷 비디오 모먼트 검색

Zero-shot Video Moment Retrieval via Off-the-shelf Multimodal Large Language Models

비디오 모먼트 검색(Video Moment Retrieval, VMR)의 목표는 주어진 언어적 질의와 의미론적으로 일치하는 비디오 내의 시간적 구간(temporal span)을 예측하는 것이다. 멀티모달 대규모 언어 모델(MLLM) 기반의 기존 VMR 방식들은 고비용의 고품질 데이터셋과 시간 소모적인 미세조정(fine-tuning)에 지나치게 의존한다. 최근 일부 연구에서는 미세조정을 피하기 위해 제로샷(zero-shot) 설정을 도입했으나, 질의에 내재된 언어 바이어스(language bias)를 간과하여 잘못된 위치 특정(localization)을 초래한다. 이러한 문제를 해결하기 위해, 본 논문에서는 동결된(frozen) MLLM을 활용하는 튜닝 불필요(tuning-free) 제로샷 VMR 파이프라인인 Moment-GPT를 제안한다. 구체적으로, 언어 바이어스를 완화하기 위해 먼저 LLaMA-3를 사용하여 질의를 교정 및 재표현한다. 이어서 MiniGPT-v2와 결합된 구간 생성기(span generator)를 설계하여 후보 구간들을 적응적으로 생성한다. 마지막으로 MLLM의 비디오 이해 능력을 활용하기 위해 VideoChatGPT 및 구간 채점기(span scorer)를 적용하여 가장 적절한 구간을 선택한다. 제안하는 방법은 QVHighlights, ActivityNet-Captions, Charades-STA를 포함한 여러 공개 데이터셋에서 최신 MLLM 기반 모델 및 제로샷 모델들의 성능을 대폭 능가한다.

arXiv:2606.14782v4cs.CV

Last But Not Least: 멀티모달 KV 캐시 압축을 위한 경계 어텐션 보정

Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression

멀티모달 대규모 언어 모델(MLLM)은 강력한 비전-언어 추론 능력을 달성하지만, 긴 시각적 컨텍스트에서 대규모 KV 캐시와 높은 디코딩 지연 시간을 유발합니다. 기존의 압축 방법들은 안정적인 토큰 중요도 추정을 위해 관측 윈도우 어텐션에 의존하지만, 이러한 집계 방식은 희소하고 결정적인 근거를 희석시키고 공격적인 압축 환경에서 답변과 관련된 토큰을 버릴 수 있습니다. 본 논문에서는 이러한 근거를 복원하기 위한 보완적 신호로 마지막 쿼리 어텐션을 식별하였으나, 이의 무관한 신호들이 추가적인 노이즈를 유발할 수 있음을 확인했습니다. 이에 따라 관측 윈도우 어텐션을 마지막 쿼리 근거로 보정하는 동시에, 층 내 일관성과 층 간 지속성을 통해 노이즈를 억제하는 플러그 앤 플레이 방식인 BACON을 제안합니다. 다양한 벤치마크, 모델, 예산 및 압축 방법 전반에 걸쳐 BACON은 가장 공격적인 예산 조건에서 멀티모달 KV 캐시 압축 성능을 평균 7.5% 향상시켰으며 최대 30.9%의 개선 효과를 보였습니다.

arXiv:2601.21666v3cs.AI

SONIC-O1: 오디오-비디오 이해에 대한 멀티모달 대규모 언어 모델 평가를 위한 실제 환경 벤치마크

SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding

멀티모달 대규모 언어 모델(MLLM)은 최근 AI 연구의 주요 초점이다. 그러나 대부분의 기존 연구는 정적 이미지 이해에 집중되어 있으며, 순차적인 오디오-비디오 데이터를 처리하는 능력은 아직 충분히 연구되지 않았다. 이러한 격차는 실제 환경 설정에서 MLLM 성능을 체계적으로 평가하기 위한 고품질 벤치마크의 필요성을 강조한다. 우리는 13개 실제 대화 도메인에 걸쳐 4,958개의 주석 및 인구통계학적 메타데이터를 포함하는 60시간(231개 클립) 분량의 포괄적이고 전적으로 인간 검증을 거친 벤치마크인 SONIC-O1을 소개한다. SONIC-O1은 개방형 요약, 객관식 질문(MCQ) 답변, 그리고 근거(추론)를 동반한 시간적 위치 추정(temporal localization)이라는 세 가지 능력을 평가한다. 폐쇄형 및 오픈소스 모델 전반에 걸쳐 분석한 결과, MCQ 정확도는 모델 계열 간 가장 작은 격차를 보였으나, 시간적 위치 추정에서는 최고 성능의 폐쇄형 모델이 최고 성능의 오픈소스 모델을 22.6% 앞서는 것으로 나타났다. 또한 인구통계학적 그룹 간 시간적 위치 추정에서 최대 21.4%의 정확도 격차를 관찰했으며, 이는 모델 동작에서 격차가 지속되고 있음을 나타낸다. SONIC-O1은 시간적으로 그라운딩(grounding)되고 인구통계학적으로 강건한 멀티모달 이해를 위한 공개 평가 스위트를 제공한다. SONIC-O1은 연구 목적으로 공개되어 있다: 프로젝트 페이지 (https://vectorinstitute.github.io/sonic-o1/), 데이터셋 (https://huggingface.co/datasets/vector-institute/sonic-o1), GitHub (https://github.com/vectorinstitute/sonic-o1), 리더보드 (https://huggingface.co/spaces/vector-institute/sonic-o1-leaderboard).

arXiv:2610.02117v1cs.CV

Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류

Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD