한국어 초록
멀티모달 대규모 언어 모델(MLLMs)은 눈에 띄는 발전을 이루었지만, 여전히 세부적 이해 작업에서는 어려움을 겪고 있습니다. 본 연구에서는 절차적으로 생성된 태스크(Procedurally Generated Tasks, PGT)를 제안합니다. 이는 세부적인 시각 이해를 유도하는 동시에, 지각 실패의 원인을 식별하는 저비용 진단 도구로도 기능하는 간단한 데이터 기반 프레임워크입니다. 이미지 위에 명확한 기하학적 프리미티브를 덧씌움으로써, PGT는 시각적 그라운딩 역량과 의미적 사전지식을 분리하는 추가적인 밀집 지도 신호를 생성합니다. 관계, 정량, 3D/깊이 이해 벤치마크에 대한 광범위한 실험 결과, PGT는 다양한 아키텍처 전반에서 놀라운 성능 향상을 보였습니다. PGT 데이터로 보강한 LLaVA-v1.5-Instruct로 MLLM을 인스트럭션 튜닝한 결과, What'sUp 벤치마크에서 최대 +20%, CV-Bench-2D에서 최대 +13.3%의 향상을 보이면서도 일반적인 지각 능력은 유지했습니다. 또한 PGT 데이터로 최첨단 MLLM을 파인튜닝하면 What'sUp에서 최대 +5.5%, CV-Bench-2D에서 최대 +8.3%의 향상이 나타났습니다. 이러한 결과는 PGT가 세부적 지각의 병목을 효과적으로 해결하며, 많은 공간 추론 결함이 본질적인 아키텍처나 해상도 한계가 아니라 불충분한 지도 신호에서 비롯된다는 점을 보여줍니다.
요약
멀티모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)은 이미지와 언어를 함께 다루는 능력에서 큰 진전을 보였지만, 물체의 상대적 위치를 파악하거나 수량과 깊이를 정확히 추론하는 등 세밀한 시각 이해에서는 여전히 불안정한 모습을 보인다. 이러한 한계를 해결하기 위해 제안된 절차적으로 생성한 과제(Procedurally Generated Tasks, PGT)는 자연 이미지 위에 모호하지 않은 기하학적 primitive를 덮어씌워, 언어적 사전지식이나 통계적 편향이 개입하기 어려운 명확한 학습 신호를 제공하는 데이터 중심 프레임워크다. 핵심적인 방법론적 강점은 복잡한 인력 주석이나 대규모 추가 라벨링 없이도 이미지 내부의 공간 관계를 직접 감독할 수 있는 밀도 높은 supervision을 만든다는 점에 있으며, 이를 통해 모델이 의미적 연관성에 기대지 않고 실제 시각 기하와 위치 관계를 학습하도록 유도한다. 다시 말해 PGT는 visual grounding의 성능을 끌어올리는 동시에, 어떤 종류의 perception failure가 모델 구조의 한계에서 비롯되고 어떤 부분이 단순히 학습 신호 부족에서 비롯되는지를 저비용으로 진단할 수 있게 해준다. 이러한 접근은 고해상도 인코더나 다중 스케일 비전 트랜스포머와 같은 모델 중심 개선이 계산 비용과 복잡도를 키우는 반면, 주석 기반 데이터 확장은 비용과 절차 부담이 크다는 기존의 딜레마를 우회한다는 점에서 의미가 크다. 특히 PGT는 색이 있는 bounding box, labeled point, counting marker와 같은 직관적인 기하학적 요소를 활용하여, 모델이 “보통 그렇다”는 언어적 priors 대신 실제 이미지 배치와 거리 관계를 추론해야만 정답에 도달하도록 설계되었다. 이 프레임워크의 효과는 관계 추론, 정량 추론, 3차원(depth) 이해에 걸친 다양한 벤치마크에서 일관되게 확인된다. LLaVA-v1.5-Instruct에 PGT 데이터를 결합해 instruction tuning을 수행하면 What'sUp에서 최대 20%포인트, CV-Bench-2D에서 13.3%포인트의 향상을 보이면서도 일반적인 지각 능력은 유지되며, 이는 PGT가 단순한 합성 증강이 아니라 실제 fine-grained perception을 보강하는 학습 신호임을 보여준다. 더 나아가 최신 MLLMs를 PGT로 추가 파인튜닝했을 때도 What'sUp에서 최대 5.5%포인트, CV-Bench-2D에서 8.3%포인트까지 성능이 상승하여, 이 방법이 특정 아키텍처에 국한되지 않는 보편적 개선 전략임이 입증된다. 흥미로운 점은 2차원 상대 거리 추정에서 얻은 이득이 3차원 깊이 추정으로도 전이된다는 사실로, 이는 2차원과 3차원 공간 이해 사이에 공유된 추론 회로가 존재할 가능성을 시사한다. 또한 PGT는 균일한 회색 배경 위에 생성한 과제만으로도 강한 효과를 보여 주어, 실제 장면의 복잡한 시각 단서보다도 공간 관계를 분리해 학습시키는 신호 자체가 핵심임을 드러낸다. 종합하면 PGT는 MLLMs의 세밀한 시각 이해를 제약해 온 병목이 아키텍처적 한계라기보다 부족한 supervision signal에 있다는 점을 설득력 있게 보여 주며, 향후 visual grounding과 공간 추론을 강화하는 저비용·고효율 학습 전략의 중요한 기준점을 제시한다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.