PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01999v1cs.CV

추론 실패 분석을 통한 조합 가능한 비디오 공간 지능

From Reasoning Failures to Composable Video Spatial Intelligence

공간 추론 벤치마크는 다양한 태스크 전반에서 비전-언어 모델(VLM)을 평가하지만, 태스크 수준의 점수만으로는 어떤 기저 역량이 성공 또는 실패를 유발하는지 밝혀내지 못합니다. 각 태스크는 공간적 근거(spatial evidence)를 복원하고 기하학적 구조를 표현하며 이를 바탕으로 추론하는 과정을 필요로 합니다. 본 연구에서는 공유된 스키마와 좌표 규약 하에서 예측된 공간 컨텍스트와 실제 정답(ground-truth) 공간 컨텍스트를 비교하여 이러한 역량들을 분리 분석합니다. 이 비교를 통해 네 가지 반복적인 오류 원인이 드러났습니다. 바로 부정확한 인식, 공간 컨텍스트의 정보 누락, 잘못된 측정 기준 선택, 그리고 기준 좌표계(reference frame) 오류 또는 위치 및 방향 추적 실패입니다. 이러한 진단을 바탕으로, 신뢰할 수 있는 비디오 공간 추론을 지원하기 위해 가용한 근거 위에서 작동하는 타입화된 기하 연산자 및 공간 스킬들로 구성된 학습 불필요(training-free) 라이브러리 CROSS를 개발했습니다. 이 라이브러리는 코딩 능력이 없는 VLM에게는 검증된 컨텍스트를 제공하거나 SpatialClaw 에이전트에게는 호출 가능한 스킬을 제공합니다. 5개의 벤치마크에서 CROSS를 평가한 결과, ReVSI에서 평균 점수를 55.9%에서 60.2%로 끌어올렸으며, DSI-Bench에서는 SpatialClaw 결과를 62.8%에서 66.3%로 향상시켰습니다. 이러한 개선 결과는 공간 규약을 명시적으로 처리함으로써 추가적인 학습(training) 없이도 체계적인 추론 실패를 교정할 수 있음을 보여줍니다.

arXiv:2607.03261v2cs.CV

OmniLayout: PCB 레이아웃에서 제약 인식 기하 추론을 위한 회로도 연동 멀티모달 벤치마크

OmniLayout: A Schematic-Coupled Multimodal Benchmark for Constraint-Aware Geometric Reasoning in PCB Layout

OmniLayout은 실제 전자 설계 자동화(EDA) 워크플로우에서 엄격한 기하적·배선·연결성 제약 하의 PCB 레이아웃 배치 추론을 대규모 언어 모델(LLM)로 평가하는 최초의 벤치마크로, 1,681개의 산업급 회로도 연동 PCB 레이아웃과 4가지 태스크(기하 추론, 배선 가능성, 전기적 기능성, 도구 증강 에이전트 추론)를 포함한다. 실험 결과, Claude-Sonnet-4.6, GPT-5.5 등 최신 LMM들이 부품 비중첩 제약 위반, 낮은 배선 최적화 성능, 전기적 기능성 보존의 불일치 등 PCB 배치에서 근본적인 한계를 드러냈다.

arXiv:2606.27926v1cs.AI

검증 가능한 기하 문제 풀이: 솔버 주도 자동 형식화 및 정리 제안

Verifiable Geometry Problem Solving: Solver-Driven Autoformalization and Theorem Proposing

기하 문제 풀이는 신경-기호 패러다임을 점점 더 채택하여 신경적 직관과 기호적 엄밀성을 결합한다. 그러나 현재 프레임워크는 두 핵심 단계에서 심각한 병목을 겪는다: 다모달 번역을 하류 솔버 호환성과 분리된 정적 과제로 다루는 자동 형식화(autoformalization), 그리고 고정된 규칙 라이브러리로 인해 솔버가 빈번히 연역적 막힘에 빠지는 정리 예측. 이를 해결하기 위해, 우리는 형식화와 연역 전반에서 기호 솔버를 실행 오라클로 취급하는 솔버 주도 프레임워크 SD-GPS를 제안한다. 첫째, 솔버 주도 자동 형식화는 QwenVL3-2B 기반 단일 모듈에서 지도 형식 언어 적응과 풀이 가능성 안내 강화학습을 통합하여, 실행 가능성을 핵심 학습 신호로 만든다. 둘째, 검증된 정리 제안은 현재 증명 상태에서 국소 보조 보조정리를 제안하는 막힘 인식 에이전트를 도입하고, 모든 제안을 기호적 검증으로 필터링하여 건전성을 보장한다. Geometry3K 및 PGPS9K에 대한 실험 평가는 SD-GPS가 표준 완성, 객관식, 교차 모달 참조 체제에서 기존 MLLM, 신경망, 신경-기호 방법을 일관되게 능가함을 보여주며, 다모달 인지와 기호적 실행 사이의 루프를 닫는 것이 기하 추론을 크게 향상시킨다는 것을 입증하고, 신경 에이전트가 형식 시스템에 그라운딩되어 검증 가능한 문제 풀이 능력을 달성할 수 있는 방법에 대한 깊은 통찰을 제공한다.

arXiv:2605.16385v3cs.CV

Hilbert-Geo: 신경-기호 추론을 통한 입체 기하학 문제 해결

Hilbert-Geo: Solving Solid Geometric Problems by Neural-Symbolic Reasoning

기하학 문제 해결은 대표적인 멀티모달 추론 문제로서 최근 많은 관심을 받고 큰 발전을 이루었으나, 대부분의 연구는 평면 기하학에 집중되어 있으며 3D 공간 도형과 복잡한 추론으로 인해 입체 기하학에서는 주로 실패합니다. 이러한 격차를 해소하기 위해, 우리는 포괄적인 술어 라이브러리와 전용 정리 은행을 포함하는 입체 기하학을 위한 최초의 통합 형식 언어 프레임워크인 Hilbert-Geo를 소개합니다. 이 프레임워크를 기반으로, 우리는 파싱 후 추론의 두 단계를 포함하는 Parse2Reason 방법을 제안합니다. 파싱 단계에서, 우리는 기하학적 조건을 구성하도록 특별히 설계된 술어로 구성된 형식화된 언어인 조건부 기술 언어(CDL)를 활용하여 문제 설명(자연어 텍스트)과 입체 도형(시각적 이미지)을 모두 표현합니다. 추론 단계에서, 우리는 형식적인 CDL과 정리 은행을 활용하여 관계형 추론과 대수적 계산을 수행하고, 엄밀하게 올바르고 검증 가능하며 사람이 읽을 수 있는 추론 과정을 생성합니다. 특히, 제안하는 Hilbert-Geo는 평면 기하학에도 적용 가능합니다. 기하학적 추론을 발전시키기 위해, 우리는 기하학적 형식 언어 주석, 해법 및 답이 제공된 두 개의 전문가 주석 데이터셋인 SolidFGeo2k와 PlaneFGeo3k를 구성했습니다. 광범위한 실험 결과, 제안된 방법은 SolidFGeo2k에서 77.3%, MathVerse-Solid(MathVerse의 입체 기하학 전용 소규모 부분집합)에서 84.1%라는 최첨단(SOTA) 성능을 달성하여, Gemini-2.5-pro(SolidFGeo2k에서 54.2%) 및 GPT-5(MathVerse-Solid에서 62.9%)와 같은 선도적인 멀티모달 대규모 언어 모델(MLLMs)을 크게 능가하는 것으로 나타났습니다. 또한, 우리의 방법은 PlaneFGeo3k에서 80.2%의 SOTA 정확도를 달성하여 기하학적 추론에서 Hilbert-Geo의 일반성을 입증했습니다. 우리의 코드와 데이터셋은 https://github.com/PremiLab-Math/Hilbert-Geo에서 공개됩니다.