PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22325v1cs.CV

기하학적 2D 장면 그래프 생성

Geometric 2D Scene Graph Generation

소비재 생산 공정에서 조립 지침은 계획뿐 아니라 생산 공정 실행에도 필수적이다. 로봇공학에서도 마찬가지로, 조립 로봇이 부품들이 어떻게 맞물리고 조립될 수 있는지 이해하는 것이 중요하다. 이러한 작업을 지원하기 위해, 우리는 부품 간 조립 관계를 표현하고 특성화하기 위한 장면 그래프(scene graph) 구성 방법을 제안한다. 우리 접근법은 의미(semantic) 데이터에 의존하지 않으며 매우 작은 데이터셋을 처리할 수 있다. 이를 실현하기 위해 Faster R-CNN 모델의 출력을 사용하여 기하학적 표현을 생성하고, 이를 트랜스포머 아키텍처로 처리하여 인접 행렬(adjacency matrix)을 생성한다. 이 행렬은 어텐션 그래프 합성곱 네트워크(attentional graph convolutional network, aGCN) 아키텍처 기반 메시지 패싱(message passing)을 사용하는 쌍대(Siamese) 네트워크의 입력으로 사용되어 부품 간 연결을 특성화한다. 우리는 운송 수단으로 조립할 수 있는 장난감 모델 부품으로 구성된 연구용 데이터셋에서 방법을 검증한다.

arXiv:2607.13245v1cs.CV

적시 씬 그래프 성장: 장기 로봇 작업에서 지각 포화 극복

Just-In-Time Scene Graph Growth: Combating Perceptual Saturation in Long-Horizon Robotics

3D 씬 그래프(3DSG)는 체화(embodied) 에이전트에게 필수적인 구조화 표현을 제공하지만, 기존 Ahead-of-Time 방식, 즉 전체를 구축한 뒤 필터링하는 파이프라인은 엣지 플랫폼의 실시간·저지연 요구와 상충하며, 심각한 관측 중복을 통해 지각 포화(perceptual saturation) 효과를 유발한다. 이를 해결하기 위해 JITOMA(Just-In-Time On-demand Memory Activation)를 제안한다. 이는 작업 추론, 지각(perception), 메모리를 적시 성장 과정으로 통합하는 폐루프(closed-loop) 프레임워크이다. 환경 전체를 빠짐없이 매핑하는 대신, JITOMA는 프론트엔드에서 top-down 작업 히트맵을 활용해 연속 관측을 필터링하고, 최소한의 스트림만 라우팅하여 저비용·휴면(dormant) 앵커로 구성된 전역 기반을 유지한다. 인지적 쿼리가 발생하면, 백엔드 대규모 언어 모델(LLM)이 로봇 의도를 파싱해 작업 관련 앵커를 동적으로 활성화하고, dense 노드 캡셔닝 및 기능 추론과 같은 자원 집약적 연산을 활성화된 국소 서브그래프 내부에서만 트리거한다. 이러한 동적 능력을 평가하고 지각 포화 트레이드오프를 연구하기 위해, 장기 멀티태스킹과 복잡한 다단계 추론을 위한 종합 벤치마크 스위트인 JITOMA-Bench를 도입한다. 광범위한 실험 결과, JITOMA는 활성 그래프 크기와 캡셔닝 지연을 크게 줄이면서, 장기 작업 전환 하에서도 안정적인 처리 시간을 유지함을 보여준다.

arXiv:2607.09455v1cs.CV

Hydra++: 객체 수준 형상 추정을 통한 실시간 계층적 3D 장면 그래프 구축

Hydra++: Real-Time Hierarchical 3D Scene Graph Construction With Object-Level Shape Estimation

3D 장면 그래프는 객체와 장소 같은 공간적 개체 및 그 관계를 인코딩하여 환경의 계층적 추상화를 제공한다. 그러나 기존 장면 그래프 시스템은 부분 포인트 클라우드나 클래스 수준의 CAD 템플릿에 의존하여 객체 형상을 개략적으로 모델링하므로 인스턴스별 형상 세부 정보가 제한된다. 본 논문은 학습 기반 객체 형상 추정기를 계층적 3D 장면 그래프 파이프라인에 통합하는 방법을 시스템 수준에서 탐구한 Hydra++를 제시한다. Hydra++는 카테고리에 구애받지 않는 형상 추정과 재투영-마스크 일관성 검사를 통합하여 부분 관측이나 부정확한 분할로 인한 퇴화 예측을 제거한다. 기본 CRISP 기반 구성에서 Hydra++는 온라인 장면 그래프 구축을 수행하며, SAM3D와 같이 속도가 느린 추정기는 일반화-지연 트레이드오프를 보여주기 위한 모듈식 대안으로 평가된다. 또한 실외 환경에서의 희소하고 노이즈가 많은 깊이 측정 문제를 해결하기 위해 Hydra++는 대규모 운용을 위한 하이브리드 LiDAR-카메라 구성을 지원하여 장면 수준 재구성 품질을 향상시킨다. 시뮬레이션과 실제 실외 캠퍼스 환경에서의 실험을 통해 Hydra++가 객체 및 장면 수준의 재구성 품질을 개선함을 입증한다. 프로젝트 페이지는 https://hydra-plusplus.github.io/ 에서 확인할 수 있다.

arXiv:2607.05716v2cs.CV

씬 그래프 씽킹: 멀티모달 대규모 언어 모델을 위한 구조적 시각 추론 강화

Scene Graph Thinking: Reinforcing Structured Visual Reasoning for Multimodal Large Language Models

씬 그래프 씽킹(SaGe)은 평면적 이미지-텍스트 쌍을 계층적 씬 그래프로 변환하는 자동화 데이터 엔진을 통해 120K개의 구조적 학습 데이터를 구축하고, 지도 파인튜닝과 노드-프록시(node-as-proxy) 그래프 보상 기반 강화 파인튜닝의 2단계 사후학습으로 멀티모달 대규모 언어 모델(MLLM)에 세밀하고 관계 인식적인 시각 추론 능력을 내재화하는 패러다임이다. 8개의 멀티모달 벤치마크에서 세밀한 인식 및 추론 태스크에 걸쳐 일관된 성능 향상을 달성하며, 개별 객체 중심의 기존 접근법이 간과하던 구조적 장면 관계를 명시적으로 모델링하는 데 강력한 효과를 입증한다.

arXiv:2405.03650v4cs.CV

Generated Contents Enrichment

희소한 장면 설명에서 씬 그래프(scene graph)를 명시적으로 구성·풍부화한 뒤 이미지를 생성하는 GCE(Generated Contents Enrichment) 태스크를 제안하며, 그래프 합성곱 네트워크(GCN)를 활용한 적대적 프레임워크로 객체와 관계를 추가 예측한다. Visual Genome 데이터셋에서 씬 그래프 풍부화 지표, 이미지 품질 비교, 사용자 연구를 통해 의미적으로 더 풍부하고 구조적으로 일관된 이미지를 생성함을 검증했다.

arXiv:2606.29932v1cs.AI

SAGA: Scene-Aware, Goal-Evolving Agents for Long-Horizon CivRealm Strategy Planning

Long-horizon strategic planning in complex strategy games demands concurrent reasoning across multiple decision domains under imperfect information and sparse reward. Existing LLM-based agents suffer from three systematic failures: scene blindness from raw tile coordinates, context overflow and domain coupling from monolithic state dumps, and shallow cross-game learning that treats each episode in isolation. We present SAGA, an LLM multi-agent framework with three mechanisms each directly targeting one class of failure: (i) a Map-Semantic Scene Graph that encodes typed spatial relations among game entities into per-unit natural-language context, resolving spatial blindness without global token inflation; (ii) a Tool-Augmented Planner that pulls fine-grained domain state on demand and dispatches per-domain directives to dedicated specialist controllers, eliminating context overflow, domain coupling, and mechanical constraint violations; and (iii) a Dual-Horizon Feedback Loop that combines periodic within-game goal generation with structured cross-game causal post-mortem, enabling principled strategic evolution without manual reward engineering. Evaluated on FreeCiv, SAGA attains the highest mean civilization score -- the environment's sole sparse objective reward -- with lower variance than the two strongest baselines, and is the only method that significantly surpasses every baseline on infrastructure construction, the resource axis most readily sacrificed under multi-objective conflict. It outscores the two strongest baselines in most head-to-head games while cutting output tokens (the dominant decoding cost) by 27%. Equipped with the cross-game evolution module, SAGA reaches the highest end-of-chain score across five successive episodes. Ablation studies confirm that each architectural component contributes independently to this advantage.

arXiv:2606.28060v1cs.CV

ReScene: 다시점 캡처로부터의 구조화된 실내 장면 재구성

ReScene: Structured Indoor Scene Reconstruction from Multi-View Captures

다시점 캡처로부터 시뮬레이션 가능한 3D 장면을 구축하는 것은, 하위 작업이 객체 수준의 구조, 명시적인 객체 간 관계, 물리적 타당성을 요구하기 때문에 구현 인공지능(Embodied Artificial Intelligence)의 핵심 병목이다. 기존 접근법들은 전용 캡처 하드웨어에 의존하거나, 객체 재구성에서 단일 시점 바이어스에 취약하거나, 기하학적으로는 타당하지만 물리적으로는 일관성 없는 배치를 생성한다. 우리는 문제가 단일 객체 재구성이 아니라 교차-시점 관계 융합과 물리적으로 타당한 장면 조립에 있음을 확인한다. 이 도전에 대응하기 위해, 파이프라인 전반에 다시점 기하학을 통합적인 사전 지식(prior)으로 관통시키는 프레임워크인 ReScene을 제안한다. 우리 방법은 두 가지 주요 구성 요소로 이루어진다. HierView는 의미적 일관성과 3D 커버리지 완전성에 기반하여 재구성 시점을 우선순위화하며, 이미지 점유(image occupancy)와 객체 커버리지를 혼동하는 최대 마스크 휴리스틱을 대체한다. Relation-Aware Assembly는 비전-언어(vision-language) 모델의 다중 프레임 관계 예측을 기하학적 및 room-shell 사전 지식과 함께 신뢰도 가중 scene graph로 융합하여 물리적으로 일관된 장면 조립을 가능하게 한다. ReScene은 ScanNet 장면 집합에서 기하학, 렌더링, 지각 품질 전반에 걸쳐 새로운 최첨단(state of the art) 성능을 달성하며, 가장 강력한 기준선 대비 Chamfer Distance에서 17%, LPIPS에서 26% 감소를 이루고, 기존 다시점 방법보다 최대 10배 빠르게 실행된다. 재구성된 장면을 기반으로, 우리는 구현(embodied) 시각적 질의응답(VQA) 데이터셋도 생성하며, 이 데이터셋에서 파인튜닝된 Qwen-VL은 여러 공간 추론 작업에서 강력한 폐쇄형(closed-source) 모델의 성능에 근접한다.

arXiv:2603.20239v2cs.RO

Rheos: 계층적 3D 씬 그래프에서 연속 운동 역학 모델링

Rheos: Modelling Continuous Motion Dynamics in Hierarchical 3D Scene Graphs

3D 씬 그래프(3DSG)는 환경의 기하학적·의미적 구조를 인코딩하는 계층적 다중 해상도 추상화를 제공하지만, 역학에 대한 처리는 개별 에이전트 추적 수준에 머물러 있다. 역학 지도(MoD)는 집합적 운동 패턴을 모델링하여 이를 보완하지만, 의미적 그라운딩이 부족하고 확장성이 떨어지는 균일 격자 이산화에 의존한다. 본 논문은 연속 방향 운동 모델을 계층적 3DSG의 추가 역학 층에 명시적으로 내장하여 그래프의 내비게이션 특성을 향상시키는 프레임워크인 Rheos를 제안한다. 각 역학 노드는 다중 모달 방향 흐름을 명시적 불확실성을 갖는 원칙적 확률 분포로 포착하는 semi-wrapped 가우시안 혼합 모델을 유지하며, 선행 연구에서 사용된 이산 히스토그램을 대체한다. 온라인 동작을 위해 Rheos는 제한 메모리 관측 버퍼를 위한 reservoir sampling, 셀별 병렬 모델 업데이트, 혼합 성분의 최적 개수를 선택하는 원칙적 베이지안 정보 기준(BIC) 탐색을 사용하여, 업데이트당 초기화 비용을 샘플 수에 대해 이차에서 선형으로 줄인다. 시뮬레이션된 보행자 환경에서 네 가지 공간 해상도에 걸쳐 평가한 결과, Rheos는 연속 지표뿐 아니라 불리한 이산 지표에서도 이산 기준선을 일관되게 능가한다. 구현을 오픈 소스로 공개한다.

arXiv:2511.11266v4cs.CV

GraphPilot: 언어 기반 자율주행을 위한 그라운딩된 장면 그래프 조건화

GraphPilot: Grounded Scene Graph Conditioning for Language-Based Autonomous Driving

비전-언어 모델은 최근 자율주행의 유망한 플래너로 부상했으며, 성공은 멀티모달 입력으로부터의 공간 구조와 동적 상호작용에 대한 토폴로지 인식 추론에 달려 있다. 그러나 기존 모델은 일반적으로 이러한 관계적 의존성을 명시적으로 인코딩하는 지도 없이 학습되어, 원시 센서 데이터로부터 에이전트 및 기타 교통 개체가 서로 어떻게 영향을 미치는지 추론하는 능력이 제한된다. 본 연구에서는 교통 장면 그래프 형태의 구조화된 관계적 컨텍스트로 언어 기반 주행 모델을 조건화하는 새로운 모델 불가지 방법으로 이 격차를 해소한다. 우리는 다양한 추상화 수준과 형식으로 장면 그래프를 직렬화하고, 구조화된 프롬프트 템플릿을 통해 모델에 통합하여, 관계적 지도가 언제, 어떻게 가장 유익하고 계산적으로 효율적인지에 대한 체계적 분석을 가능하게 한다. LangAuto 및 Bench2Drive 벤치마크에 대한 광범위한 평가 결과, 장면 그래프 조건화는 크고 지속적인 성능 향상을 가져온다. 우리는 제안한 접근법이 경쟁적인 LMDrive, BEVDriver, SimLingo 베이스라인 대비 Driving Score에서 상당한 성능 향상을 보임을 확인했다. 이 결과는 다양한 아키텍처가 테스트 시점에 장면 그래프 입력을 필요로 하지 않더라도, 장면 그래프 조건화 학습을 통해 관계적 사전지식을 효과적으로 내재화하고 그라운딩할 수 있음을 시사한다. 코드, 파인튜닝된 모델, 그리고 우리의 장면 그래프 데이터셋은 https://github.com/iis-esslingen/GraphPilot 에서 공개적으로 이용 가능하다.

arXiv:2606.24068v1cs.CV

ObsGraph: 구체화된 추론 및 탐험을 위한 계층적 관찰 표현

ObsGraph: Hierarchical Observation Representation for Embodied Reasoning and Exploration

구체화된 추론과 탐험(exploration)은 복잡하고 낯선 환경에서 동작하는 로봇에게 점점 더 중요한 능력으로 여겨지고 있다. 이러한 환경에서 태스크를 수행하려면 에이전트(agent)가 탐험을 통해 태스크에 필요한 정보를 식별하고 획득해야 한다. 본 논문에서는 장면 표현, 검색, 탐험을 통합하는 관찰 중심의 계층적 씬 그래프인 ObsGraph를 제안한다. ObsGraph는 시각적 증거를 보존하고 이를 방(room)-뷰(view)-객체(object) 레이어로 구성한다. 방은 거친 의미론적 앵커를 제공하고, 뷰는 객체의 문맥적 공동 가시성을 보존하며, 객체는 세밀한 세부 정보를 저장한다. 이 표현 위에서 제한된 예산 내에 거친-세밀(coarse-to-fine) 계층적 검색을 수행하고, 검색 결과를 활용하여 탐험 후보 공간을 구조화한다. 구체적으로 방 수준 탐험, 뷰 세밀화, 또는 프런티어 탐험을 활성화함으로써 표현, 검색, 적응형 다중 스케일 탐험을 긴밀하게 결합한다. 구체화된 추론 및 탐험 벤치마크에 대한 실험 결과, 향상된 성공률과 효율성이 입증되었으며, 구조화된 씬 표현과 식별된 증거 공백에 의해 유도된 보다 목표 지향적인 정보 수집의 이점이 부각된다.

arXiv:2606.11838v1cs.CV

시공간 장면 그래프 그라운딩 기반 계획-검증 비디오 보상 추론

Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

텍스트-투-비디오(T2V) 생성을 위한 보상 모델은 사후 학습을 안내하지만, 종종 세밀한 의미적 정렬에서 실패한다. 우리는 이를 기존 추론 기반 보상 모델의 두 가지 구조적 약점으로 추적한다: 프롬프트에 기술된 모든 조건을 체계적으로 검증하지 않으며, 각 판단을 뒷받침하는 시각적 근거가 자유 형식 추론 내에 암묵적으로 남아 있다는 것이다. 우리는 시공간 장면 그래프에 기반한 계획-검증 추론을 통해 이러한 한계를 해결하는 비디오 보상 모델인 SG-PVR을 제안한다. 검증 계획은 프롬프트를 원자적 주장으로 분해하여 모든 요구사항이 확인되도록 한다. 개체, 속성, 시간적으로 정렬된 관계를 인코딩하는 시공간 장면 그래프는 비디오에서 추출되어 추론 전 과정에 걸쳐 지속적인 구조화된 시각 참조로 유지된다. 각 주장은 비디오와 장면 그래프 모두에 대해 검증되어, 판단을 명시적 시각 증거에 고정한다. SG-PVR은 세밀한 시간적 의미론을 포함한 의미적 정렬에서 강한 성능을 달성한다. 테스트 시점 재순위화기(test-time reranker)로서 T2V 생성의 구성적 정렬을 더욱 향상시킨다.

arXiv:2606.06721v1cs.RO

SCOUT: 불확실성 기반 순회를 통한 시맨틱 장면 커버리지

SCOUT: Semantic scene COverage via Uncertainty-guided Traversal

장기간 운용되는 로봇은 단순히 공간을 방문하는 데 그치지 않고, 점진적으로 공간을 이해해야 한다. 그러나 대부분의 3D 장면 그래프 파이프라인은 고정된 데이터셋에 대한 후처리 단계로 인식을 다루며, 장면 표현을 애초에 무엇을 관찰할지 결정하는 의사 결정과 분리시킨다. 우리는 SCOUT를 제안한다. SCOUT는 능동적 순회와 확률적 장면 그래프 구성을 결합하여 이 루프를 닫는 온라인 시맨틱 탐험 프레임워크이다. 사전 2D 점유 지도와 포즈가 부여된 RGB-D 관측이 주어지면, SCOUT는 불확실성을 인식하는 3D 장면 그래프를 점진적으로 구축한다. 각 노드는 융합된 기하 정보와 오픈-보캐뷸러리 객체 레이블에 대한 사후 믿음(posterior belief)을 유지하며, 엣지는 on, inside, belong, next to와 같은 구조적 관계를 인코딩한다. 이 믿음들은 불확실성 기반 순회 플래너에 피드백되며, 플래너는 기대되는 시맨틱 확실성 획득, 기하학적 커버리지 획득, 이동 비용의 균형을 맞추어 시점을 선택한다. 이를 통해 로봇은 추가적인 증거가 중요할 때 모호한 객체를 재방문하고, 장면이 불완전할 때 미탐험 자유 공간으로 확장한다. 결과 시스템은 시맨틱 장면 완전성을 시맨틱 매핑의 수동적 부산물이 아닌 운용 목표로 다루며, 최소한의 인간 개입으로 변화하는 실내 환경을 순찰하고, 갱신하고, 추론할 수 있는 자율 에이전트를 향해 나아간다.