PyTorchKR Papers

최신 논문

총 502편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11770v1cs.AI

SVoT: 강화학습을 통한 공간 추론을 위한 상태 인식 사고의 시각화

SVoT: State-aware Visualization-of-Thought for Spatial Reasoning via Reinforcement Learning

멀티모달 대규모 언어 모델(MLLM)의 공간 추론 한계를 해결하기 위해 검증 가능한 중간 상태와 시각화를 생성하는 강화학습 프레임워크인 State-aware Visualization-of-Thought(SVoT)를 제안한다. 이 방법은 새로운 도메인에서의 평가를 통해 분포 외 테스트 세트에서 최대 65%의 정확도 향상을 달성했다.

arXiv:2603.07704v2cs.CV

PARSE: 부분 인식 관계형 공간 모델링

PARSE: Part-Aware Relational Spatial Modeling

객체 간 관계는 공간 지능의 근간을 이루지만, 기존 표현 방식인 언어적 전치사나 객체 수준 장면 그래프는 어떤 영역이 실제로 서로를 지지하거나, 포함하거나, 접촉하는지를 구체적으로 명시하기에는 너무 조잡하여, 모호하고 물리적으로 일관성 없는 레이아웃을 초래한다. 이러한 모호성을 해소하기 위해서는 부분 수준의 정형화가 필요하며, 이에 우리는 PARSE를 소개한다. PARSE는 객체 부분들이 상호작용하여 실현 가능하고 공간적으로 근거 있는 장면 구성을 결정하는 방식을 명시적으로 모델링하는 프레임워크이다. PARSE는 특정 객체 부분들 간의 기하학적 관계를 인코딩하는 부분 중심 조립 그래프(PAG, Part-centric Assembly Graph)와, 이 관계를 기하학적 제약으로 변환하여 충돌 없는 물리적으로 유효한 장면을 조립하는 부분 인식 공간 구성 솔버(Part-Aware Spatial Configuration Solver)를 핵심으로 한다. PARSE를 활용하여 우리는 PARSE-10K를 구축하였다. 이는 실제 이미지 레이아웃 사전 정보와 정제된 부분 주석 형상 데이터베이스로부터 구성된 10,000개의 3D 실내 장면으로 이루어진 데이터셋으로, 각 장면은 밀집 접촉 구조와 부분 수준 접촉 그래프를 포함한다. 이처럼 구조화된 공간 기반 지도(supervision) 하에 PARSE-10K로 Qwen3-VL을 미세조정하면 더욱 향상된 객체 수준 레이아웃 추론과 더 정확한 부분 수준 관계 이해를 달성한다. 나아가, PAG를 3D 생성 모델의 구조적 사전 정보로 활용하면 물리적 사실성과 구조적 복잡성이 크게 향상된 장면이 생성된다. 이러한 결과들은 PARSE가 기하학 기반 공간 추론을 크게 발전시키고 물리적으로 일관된 3D 장면의 생성을 지원함을 보여준다.