PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22327v1cs.MM

지식 컴파일을 통한 시각적 그래프 추론

Visual Graph Reasoning via Knowledge Compilation

시각적 그래프 추론(visual graph reasoning)은 그래프 위상(topology)과 상태가 기호 형태가 아닌 시각적으로 전달되는 그래프 이미지로부터 그래프 이론적 질문에 직접 답하는 것을 요구합니다. 비전-언어 모델(VLM)의 최근 발전에도 불구하고, 기존의 시각적 그래프 추론 방식들은 여전히 단순한 시각적 그래프 문제에서도 실패합니다. 이는 시각적 입력으로부터 그래프 위상과 상태를 보존하는 명시적 그래프 표현의 중간 복원보다 최종 답변에 대한 지도(supervision)를 우선시한다는 기존 접근 방식들의 근본적인 한계를 드러냅니다. 이러한 한계를 해결하기 위해, 우리는 지식 컴파일(knowledge compilation)을 통한 시각적 그래프 추론을 위한 컴파일 중심 패러다임인 VGCompiler를 제안합니다. VGCompiler는 두 개의 컴파일러를 중심으로 추론을 구성합니다. 즉, 시각적 입력으로부터 구조를 보존하는 중간 그래프 표현을 복원하는 표현 컴파일러(representation compiler)와, 복원된 그래프 상태 하에서 쿼리 의도를 실행 가능한 그래프 연산으로 컴파일하는 연산 컴파일러(operation compiler)입니다. 구체적으로, 우리는 Qwen3-VL-8B를 기반으로 VGCompiler를 구축하고, 실행 가능성, 컴파일된 그래프 유효성, 표현 품질 및 연산 품질에 대한 계층화된 보상(reward)으로 유도되는 강화학습(reinforcement learning)으로 이를 학습(training)합니다. VGCompiler는 고정된(frozen) 옵저버를 사용하여 그래프 및 질문 조건을 가벼운 시그니처로 요약함으로써, 유사한 체제 전반에 걸쳐 아카이브 검색과 코드 재사용을 가능하게 합니다. 세 가지 벤치마크(benchmark)인 GVLQA, VisionGraph, VGCURE에 대한 실험 결과, 8B 백본을 기반으로 구축된 Qwen-VGCompiler는 높은 효율성을 유지하면서 가장 강력한 폐쇄형 VLM 기준선(baseline)을 28.9%, 가장 강력한 코드 기반 기준선을 23.7% 앞서는 것으로 나타났습니다. 나아가 지하철 경로 안내, 물류 배송, 네트워크 장애 평가 등 세 가지 실제 도메인에서 VGCompiler를 평가(evaluation)하였으며, 이질적인 시각적 그래프와 도메인에 기반한 작업 전반에 걸쳐 잘 일반화됨을 확인했습니다.