사전학습 표현에서 얻은 직관 벡터가 확산 기반 추론을 조향한다
Intuition Vectors from Pretrained Representations Steer Diffusion-Based Reasoning
한국어 초록
추상적 시각 추론은 소수의 예시 사이의 관계를 파악하고 이를 새로운 입력에 적용하는 능력을 요구한다. 최근의 발전은 대규모 언어 및 비전-언어 모델이나 특화된 도메인 전용 아키텍처가 이끌어 왔다. 언어 기반 추론이나 과제별 표현 학습에 의존하지 않고도 사전학습된 시각 표현의 관계적 기하만으로 추상 추론을 뒷받침할 수 있는지는 아직 불분명하다. 우리는 고정된 자기지도 비전 인코더를 사용하여 이 가능성을 조사한다. 잠재 벡터 연산을 통해, 두 자기지도 인코더의 표현 기하가 Bongard 문제에서 추상 개념 판별을 뒷받침하고 ARC 과제에서 입출력 쌍 사이의 체계적 관계를 인코딩함을 확인했다. 이미지 임베딩 사이의 단순한 벡터 차이, 즉 우리가 직관 벡터라고 부르는 것은 같은 과제의 여러 사례에 걸쳐 일반화되는 변환을 포착한다. 이 벡터는 794개의 추상 추론 과제를 최대 87.2\%의 정확도로 구분하고, 과제와 무관한 시각적 변환 전반에서 관계 구조를 보존하며, 보지 못한 입력에 대한 출력 검색을 유도한다. 이를 바탕으로, 우리는 이러한 관계 구조가 사전학습된 시각 잠재 공간에서 동작하는 확산 트랜스포머를 조건화함으로써 생성적 추론을 조향할 수 있다는 가설을 검증했다. 보류된 ARC 과제에서 직관 벡터 조건화는 전체 시연에 대한 조건화보다 우수한 성능을 보이면서 테스트 시점 연산량은 거의 여섯 배 적게 요구하며, 제로샷 추론도 지원한다. 종합하면, 우리의 결과는 사전학습된 시각 표현이 추상 추론을 위한 전이 가능한 기반을 제공하며, 시연에서 추론한 관계 구조가 생성적 추론을 조향하는 모듈식 접근을 가능하게 함을 시사한다.
원문 초록
Abstract visual reasoning requires identifying relationships between few examples and applying them to novel inputs. Recent advances have been driven by large language and vision-language models or specialized domain-specific architectures. It remains unclear whether abstract reasoning can be supported directly by the relational geometry of pretrained visual representations, without relying on language-based inference or task-specific representation learning. We investigate this possibility using frozen self-supervised vision encoders. With latent vector arithmetic, we confirmed that the representational geometry of two self-supervised encoders support abstract concept discrimination on Bongard problems and encode systematic relationships between input-output pairs in ARC tasks. Simple vector differences between image embeddings, which we call intuition vectors, capture transformations that generalize across instances of the same task. These vectors distinguish among 794 abstract reasoning tasks with up to 87.2\% accuracy, preserve relational structure across task-invariant visual transformations, and guide output retrieval for unseen inputs. Given this, we tested the hypothesis that this relational structure can steer generative reasoning by conditioning a diffusion transformer operating in pretrained visual latent space. On held-out ARC tasks, intuition-vector conditioning outperforms conditioning on complete demonstrations while requiring nearly six times less test-time compute, and supports zero-shot inference. Taken together, our findings suggest that pretrained visual representations provide a transferable substrate for abstract reasoning, enabling a modular approach in which the relational structure inferred from demonstrations steer generative reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.32619v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.