제8회 LSVOS 챌린지 보고서: 모바일 통합 멀티모달 이해
Report of the 8th LSVOS Challenge: Mobile Unified Multimodal Understanding
한국어 초록
본 보고서는 ECCV 2026과 함께 개최된 제8회 대규모 비디오 객체 분할(LSVOS) 챌린지의 모바일 통합 멀티모달 이해(MUMU) 트랙을 요약한다. MUMU는 0.5B 파라미터와 최대 추론 메모리 8GB의 예산 내에서, 품질, 장면, 이벤트 어휘에 대한 다중 개념 이미지 태깅, 개방 어휘 객체 탐지, 간결한 이미지 캡셔닝을 함께 수행하는 단일 통합 모델을 요구한다. 제출물은 효율 계수로 스케일된 가중 과제 점수로 순위를 매긴다. 본 보고서는 과제, 규칙, 평가 프로토콜을 설명하고, 최종 결과를 보고하며, 상위 세 팀의 방법을 검토한다. 선두 세 해법은 모두 소형 Florence-2-base 모델을 기반으로 하지만 서로 다른 방식으로 확장한다. 교차 과제 추론 정제를 갖춘 경량 태깅 헤드, 커버리지를 고려한 다중 소스 데이터로 학습하고 과제 의존적 디코딩을 사용하는 공유 저랭크 어댑터, 캡션을 태그로 매핑하고 탐지 테스트 시점 증강을 적용하는 학습 불필요 파이프라인이 그것이다. 결과는 감독, 디코딩, 교차 과제 단서가 각 과제에 맞게 설계될 때 소형 프롬프트 기반 비전-언어 모델이 세 가지 출력을 모두 담당할 수 있음을 보여주며, 새로운 범주에 대한 개방 어휘 탐지는 여전히 주요 병목으로 남아 있다.
원문 초록
This report summarizes the Mobile Unified Multimodal Understanding (MUMU) track of the 8th Large-scale Video Object Segmentation (LSVOS) Challenge, held in conjunction with ECCV 2026. MUMU asks for a single unified model that jointly performs multi-concept image tagging over quality, scene, and event vocabularies, open-vocabulary object detection, and concise image captioning, within a budget of 0.5B parameters and 8 GB of peak inference memory. Submissions are ranked by a weighted task score scaled by an efficiency factor. We describe the tasks, rules, and evaluation protocol, report the final results, and review the methods of the top three teams. All three leading solutions build on the compact Florence-2-base model, but extend it in different ways: lightweight tagging heads with cross-task inference refinement, a shared low-rank adapter trained on coverage-aware multi-source data with task-dependent decoding, and a training-free pipeline that maps captions to tags and applies detection test-time augmentation. The results show that a compact prompt-based vision-language model can serve all three outputs when supervision, decoding, and cross-task cues are designed for each task, while open-vocabulary detection on novel categories remains the main bottleneck.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
13 pages, 3 figures, 3 tables. Report of the MUMU track of the 8th LSVOS Challenge, held in conjunction with ECCV 2026. Project page: https://lsvos.github.io/mumu