arXiv:2604.20329 cs.CV

Image Generators are Generalist Vision Learners

제출 2026-04-22

한국어 초록

최근 연구들은 이미지 및 비디오 생성기가 제로샷 시각 이해 능력을 보여주며, 이는 대규모 언어 모델(LLM)이 생성 사전학습으로부터 언어 이해 및 추론의 창발 능력을 개발하는 방식과 유사합니다. 시각 콘텐츠를 생성하는 능력이 그것을 이해하는 능력을 함축한다는 추측은 오랫동안 있어 왔지만, 생성 비전 모델이 강력한 이해 능력을 개발했다는 제한된 증거만 존재했습니다. 본 연구에서는 이미지 생성 학습이 LLM 사전학습과 유사한 역할을 하며, 모델이 다양한 비전 작업에서 최첨단(SOTA) 성능을 달성하도록 하는 강력하고 일반적인 시각 표현을 학습하게 함을 보여줍니다. 우리는 나노 바나나 프로(NBP)를 원래 학습 데이터와 소량의 비전 작업 데이터의 혼합에 대해 인스트럭션 튜닝하여 구축한 일반화 모델인 비전 바나나(Vision Banana)를 소개합니다. 비전 작업의 출력 공간을 RGB 이미지로 매개변수화함으로써, 우리는 인식을 이미지 생성으로 원활하게 재구성합니다. 우리의 일반화 모델인 비전 바나나는 2D 및 3D 이해를 포함하는 다양한 비전 작업에서 최첨단 결과를 달성하며, 세그먼테이션 작업에서의 세그먼트 애니싱 모델 3(Segment Anything Model 3), 메트릭 깊이 추정에서의 뎁스 애니싱 시리즈(Depth Anything series)를 포함한 제로샷 도메인 특화 모델을 능가하거나 동등합니다. 우리는 이러한 결과들이 기본 모델의 이미지 생성 능력을 희생하지 않으면서 경량 인스트럭션 튜닝으로 달성될 수 있음을 보여줍니다. 우수한 결과들은 이미지 생성 사전학습이 일반화된 비전 학습자임을 시사합니다. 또한 텍스트 생성이 언어 이해 및 추론에서 하는 역할과 유사하게, 이미지 생성이 비전 작업을 위한 통합되고 보편적인 인터페이스로 작용함을 보여줍니다. 우리는 생성 및 이해 모두를 위한 파운데이션 비전 모델 구축에서 생성 비전 사전학습이 중심적인 역할을 하는 컴퓨터 비전의 주요 패러다임 전환을 목격하고 있을 수 있습니다.

요약

최근 이미지 생성 모델들이 놀라운 시각 생성 능력을 갖추고 있다는 것은 널리 알려진 사실이지만, 이들이 시각 이해 측면에서도 강력한 내부 표현을 개발했는지는 명확하지 않았습니다. 본 논문은 이미지 생성 모델이 단순한 생성 도구를 넘어 일반화된 비전 학습자임을 체계적으로 입증하는 연구입니다. 자연어 처리에서 대규모 언어 모델의 생성형 사전학습이 창발적인 언어 이해 능력을 만들어낸 것처럼, 이미지 생성 모델의 사전학습도 강력한 시각 표현을 내재적으로 학습하고 있다는 핵심 가설에서 출발합니다. 연구팀은 이러한 가설을 검증하기 위해 인스트럭션 튜닝 기반의 접근 방식을 제안합니다. 기본 모델인 Nano Banana Pro에 경량의 인스트럭션 튜닝을 수행하여 Vision Banana라는 통합 비전 모델을 구축했는데, 핵심적인 방법론은 다양한 비전 작업의 출력 공간을 RGB 이미지로 재파라미터화하는 것입니다. 분할 마스크, 깊이 맵, 표면 법선 예측 등 서로 다른 시각 이해 작업들을 모두 시각화 가능한 RGB 이미지로 표현함으로써, 본질적으로 시각 인식 문제를 이미지 생성 문제로 재프레이밍합니다. 예를 들어 특정 물체 분할을 요청할 때는 해당 카테고리의 색상값으로 대상 영역을 생성하도록 지시하는 방식입니다. 이러한 접근 방식은 세 가지 중요한 이점을 제공합니다. 첫째, 단일 통합 모델이 원래의 생성 능력을 유지하면서도 여러 시각 이해 작업을 동시에 처리할 수 있습니다. 둘째, 컴퓨터 비전 출력을 RGB 형식으로 변환하는 방법만을 학습하면 되므로 상대적으로 소량의 추가 데이터만 필요합니다. 셋째, 원래 모델의 기존 능력을 파괴하지 않으면서도 새로운 시각 이해 능력을 효과적으로 활성화할 수 있습니다. 실험 결과는 Vision Banana의 우수성을 명확히 보여줍니다. 2D 이해 작업에서 참조 분할(Referring segmentation)과 의미론적 분할(Semantic segmentation)에서 Segment Anything Model 3를 능가하며, 3D 이해 작업인 메트릭 깊이 추정과 표면 법선 추정에서도 각각 Depth Anything 3와 Lotus-2 같은 전문 모델들을 뛰어넘습니다. 특히 주목할 점은 이러한 우수한 이해 성능을 달성하면서도 생성 벤치마크에서 기본 모델과 경쟁력 있는 수준의 성능을 유지한다는 것입니다. 경량 인스트럭션 튜닝이 원래의 생성 능력을 거의 손상시키지 않으면서도 시각 이해의 숨겨진 능력을 효과적으로 끌어낼 수 있음을 증명합니다. 본 연구의 의의는 컴퓨터 비전 분야의 근본적인 관점 변화를 시사합니다. 판별적 학습과 대조 학습이 주를 이루어온 시각 표현 학습 분야에서 생성형 사전학습이 더욱 강력한 표현을 학습할 수 있음을 보여주며, 이미지 생성이 텍스트 생성이 자연어 처리에서 하는 역할과 같이 컴퓨터 비전에서 다양한 작업의 통합 인터페이스로 기능할 수 있음을 입증합니다. 이는 생성과 이해를 모두 아우르는 파운데이션 비전 모델 구축의 중심에 생성형 비전 사전학습을 두는 새로운 패러다임으로의 전환을 의미하며, 대규모 언어 모델이 자연어 처리를 혁신한 것처럼 생성형 비전 모델이 컴퓨터 비전 분야를 혁신할 수 있는 가능성을 열어줍니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.