Instruction Distillation: 텍스트 지시를 시각적 예시로
Instruction Distillation: Text Instructions as Visual Examples
한국어 초록
멀티모달 대규모 언어 모델(MLLM)을 이용한 시각적 문맥 내 학습(ICL)은 세밀한 시각 분류에 효과적이지만, 검색된 각 이미지 예시는 수백 개의 컨텍스트 토큰을 소비하여 추론 규모에서 큰 $K$ 설정을 사실상 불가능하게 만든다. 우리는 Instruction Distillation을 제안한다. MLLM이 각 개별 학습 이미지마다 일반적인 외형 단서, 시각적으로 유사한 클래스와 구별하는 특징, 흔한 혼동 지점을 담은 구조화된 식별 지시를 생성하는 오프라인 절차이다. 클래스당 단일 설명을 만드는 기존 연구와 달리, 우리의 지시는 학습 이미지마다 생성되어 클래스당 설명이 없애 버리는 클래스 내 시각적 다양성을 보존한다. 추론 시점에는 단일 CLIP 검색 인덱스를 공유하는 다섯 가지 구성을 연구한다: 제로샷, 이미지 ICL, 지시만 사용하는 ICL, 검색된 이웃을 이미지와 지시 사이에 나눈 두 가지 하이브리드 변형. 7개의 세밀한 벤치마크와 2개의 MLLM 백본에 걸쳐, 지시 기반 파이프라인은 $K=1$에서 이미지 ICL과 동등하거나 이를 넘어서며, $K=5$에서 쿼리당 토큰을 $2.9\times$ 줄이고 추론 지연을 $3.3\times$ 줄인다. 하이브리드 구성은 시각적·텍스트 ICL 신호가 상보적임을 추가로 보여 준다. 이미지는 학습하고 관찰할 시각적 패턴을 제공하고, 지시는 명시적 규칙과 논리를 제공한다. 둘 다 제공되면 컨텍스트 품질이 향상되어 성능에서 뚜렷히 드러난다.
원문 초록
Visual in-context learning (ICL) with multimodal large language models (MLLMs) is effective for fine-grained visual classification, but each retrieved image example consumes several hundred context tokens, making large-$K$ settings prohibitively expensive at inference scale. We propose Instruction Distillation: an offline procedure in which the MLLM itself generates, for each individual training image, a structured identification instruction encoding general appearance cues, features that differentiate the class from visually similar ones, and a common confusion point. Unlike prior work that produces a single description per class, our instructions are generated per training image, preserving the intra-class visual diversity that per-class descriptions collapse. At inference time, we study five configurations sharing a single CLIP retrieval index: zero-shot, image ICL, instruction-only ICL, and two hybrid variants in which retrieved neighbors are split between images and instructions. Across seven fine-grained benchmarks and two MLLM backbones, instruction based pipelines match, or exceeds image ICL at $K{=}1$ and reduces per-query tokens by $2.9\times$ and inference latency by $3.3\times$ at $K{=}5$. Hybrid configurations further show that visual and textual ICL signals are complementary, images give visual patterns to learn and see, while instructions give explicit rules and logic. When both of these are provided, the quality of context improves, which is noticeable in the performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28696v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.