PlanSightRAG: 토목 표준 설계도 질의응답 및 준수 검사 자동화를 위한 비전 우선 다중모달 RAG
PlanSightRAG: A Visual-First Multimodal RAG for Automating Question Answering and Compliance Checking for Civil Standard Plans
한국어 초록
토목 인프라 준수 검사는 오랫동안 엔지니어가 레거시 2D 설계도를 수작업으로 읽는 방식에 의존해 왔으나, OCR 기반 자동화는 이러한 설계도를 해석하는 데 필수적인 기하학과 레이아웃을 없애 버린다. 우리는 PlanSightRAG라는 비전 우선 다중모달 검색-증강 생성(RAG) 프레임워크를 제안한다. 이 프레임워크는 설계도 영상 위에서 직접 색인하고 추론하며, ColNomic-3B 다중 벡터 검색, 에이전틱 Planner-Retriever-Auditor-Synthesizer, 그리고 증거 추적 경로로서의 MaxSim 히트맵을 통합한다. 다섯 주 교통부(DOT) 표준 설계도(1,898페이지)로부터 4,056쌍 벤치마크를 구축했다. PlanSightRAG는 제로샷 검색에서 재현율@5 91.47%를 달성했으며, 홀드아웃 Michigan DOT 코퍼스에서는 91.40%를 달성했다. 합성·매개변수 생성 준수 도면에서 Qwen2.5-VL-72B 파이프라인은 사전에 확정된 규칙 임계값이 주어졌을 때에만 판정 정확도 100%에 도달하며, 이는 비-VLM OCR 기준선이 이미 76.4%에 도달하는 통제된 상한이다. 마지막으로, 사람이 제공한 규칙 없이 규격 코퍼스에서 수치 한계를 직접 추출함으로써 자율적 시각 규칙 그라운딩을 시연한다.
원문 초록
Civil infrastructure compliance checking has long relied on engineers manually reading legacy 2D plans; however, OCR-based automation strips away the geometry and layout essential for interpreting these plans. We present a Visual-First Multimodal Retrieval-Augmented Generation (RAG) framework called PlanSightRAG. It indexes and reasons directly over plan imagery, integrates a ColNomic-3B multi-vector retrieval, an agentic Planner-Retriever-Auditor-Synthesizer, and MaxSim heatmaps as an evidence trail. We introduce a 4,056-pair benchmark from five state Departments of Transportation (DOT) standard plans (1,898 pages). PlanSightRAG achieves 91.47% Recall@5 on zero-shot retrieval, while on a held-out Michigan DOT corpus, it achieves 91.40%. On synthetic, parametrically-generated compliance drawings, our Qwen2.5-VL-72B pipeline reaches 100% verdict accuracy only when supplied a pre-resolved rule threshold, a controlled ceiling that a non-VLM OCR baseline already reaches at 76.4%. Finally, we demonstrate autonomous visual rule-grounding by extracting numeric limits directly from a specification corpus without any human-supplied rules.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.26091v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.