PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1805.06334

Auxiliary Tasks in Multi-task Learning

Multi-task convolutional neural networks (CNNs) have shown impressive results for certain combinations of tasks, such as single-image depth estimation (SIDE) and semantic segmentation. This is achieved by pushing the network towards learning a robust representation that generalizes well to different atomic tasks. We extend this concept by adding auxiliary tasks, which are of minor relevance for the application, to the set of learned tasks. As a kind of additional regularization, they are expected to boost the performance of the ultimately desired main tasks. To study the proposed approach, we picked vision-based road scene understanding (RSU) as an exemplary application. Since multi-task learning requires specialized datasets, particularly when using extensive sets of tasks, we provide a multi-modal dataset for multi-task RSU, called synMT. More than 2.5 $\cdot$ 10^5 synthetic images, annotated with 21 different labels, were acquired from the video game Grand Theft Auto V (GTA V). Our proposed deep multi-task CNN architecture was trained on various combination of tasks using synMT. The experiments confirmed that auxiliary tasks can indeed boost network performance, both in terms of final results and training time.

arXiv:1805.07029

Scene Understanding Networks for Autonomous Driving based on Around View Monitoring System

Modern driver assistance systems rely on a wide range of sensors (RADAR, LIDAR, ultrasound and cameras) for scene understanding and prediction. These sensors are typically used for detecting traffic participants and scene elements required for navigation. In this paper we argue that relying on camera based systems, specifically Around View Monitoring (AVM) system has great potential to achieve these goals in both parking and driving modes with decreased costs. The contributions of this paper are as follows: we present a new end-to-end solution for delimiting the safe drivable area for each frame by means of identifying the closest obstacle in each direction from the driving vehicle, we use this approach to calculate the distance to the nearest obstacles and we incorporate it into a unified end-to-end architecture capable of joint object detection, curb detection and safe drivable area detection. Furthermore, we describe the family of networks for both a high accuracy solution and a low complexity solution. We also introduce further augmentation of the base architecture with 3D object detection.

arXiv:1804.05526공식 코드 · Papers with Code

LoST? Appearance-Invariant Place Recognition for Opposite Viewpoints using Visual Semantics

Human visual scene understanding is so remarkable that we are able to recognize a revisited place when entering it from the opposite direction it was first visited, even in the presence of extreme variations in appearance. This capability is especially apparent during driving: a human driver can recognize where they are when travelling in the reverse direction along a route for the first time, without having to turn back and look. The difficulty of this problem exceeds any addressed in past appearance- and viewpoint-invariant visual place recognition (VPR) research, in part because large parts of the scene are not commonly observable from opposite directions. Consequently, as shown in this paper, the precision-recall performance of current state-of-the-art viewpoint- and appearance-invariant VPR techniques is orders of magnitude below what would be usable in a closed-loop system. Current engineered solutions predominantly rely on panoramic camera or LIDAR sensing setups; an eminently suitable engineering solution but one that is clearly very different to how humans navigate, which also has implications for how naturally humans could interact and communicate with the navigation system. In this paper we develop a suite of novel semantic- and appearance-based techniques to enable for the first time high performance place recognition in this challenging scenario. We first propose a novel Local Semantic Tensor (LoST) descriptor of images using the convolutional feature maps from a state-of-the-art dense semantic segmentation network. Then, to verify the spatial semantic arrangement of the top matching candidates, we develop a novel approach for mining semantically-salient keypoint correspondences.

arXiv:1804.00525

DeepScores -- A Dataset for Segmentation, Detection and Classification of Tiny Objects

We present the DeepScores dataset with the goal of advancing the state-of-the-art in small objects recognition, and by placing the question of object recognition in the context of scene understanding. DeepScores contains high quality images of musical scores, partitioned into 300,000 sheets of written music that contain symbols of different shapes and sizes. With close to a hundred millions of small objects, this makes our dataset not only unique, but also the largest public dataset. DeepScores comes with ground truth for object classification, detection and semantic segmentation. DeepScores thus poses a relevant challenge for computer vision in general, beyond the scope of optical music recognition (OMR) research. We present a detailed statistical analysis of the dataset, comparing it with other computer vision datasets like Caltech101/256, PASCAL VOC, SUN, SVHN, ImageNet, MS-COCO, smaller computer vision datasets, as well as with other OMR datasets. Finally, we provide baseline performances for object classification and give pointers to future research based on this dataset.

arXiv:1806.01260공식 코드 · Papers with Code

Digging Into Self-Supervised Monocular Depth Estimation

Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods. Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.

arXiv:1803.01967

Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition

Advancements in convolutional neural networks (CNNs) have made significant strides toward achieving high performance levels on multiple object recognition tasks. While some approaches utilize information from the entire scene to propose regions of interest, the task of interpreting a particular region or object is still performed independently of other objects and features in the image. Here we demonstrate that a scene's 'gist' can significantly contribute to how well humans can recognize objects. These findings are consistent with the notion that humans foveate on an object and incorporate information from the periphery to aid in recognition. We use a biologically inspired two-part convolutional neural network ('GistNet') that models the fovea and periphery to provide a proof-of-principle demonstration that computational object recognition can significantly benefit from the gist of the scene as contextual information. Our model yields accuracy improvements of up to 50% in certain object categories when incorporating contextual gist, while only increasing the original model size by 5%. This proposed model mirrors our intuition about how the human visual system recognizes objects, suggesting specific biologically plausible constraints to improve machine vision and building initial steps towards the challenge of scene understanding.

arXiv:1806.05269

Online Self-supervised Scene Segmentation for Micro Aerial Vehicles

Recently, there have been numerous advances in the development of payload and power constrained lightweight Micro Aerial Vehicles (MAVs). As these robots aspire for high-speed autonomous flights in complex dynamic environments, robust scene understanding at long-range becomes critical. The problem is heavily characterized by either the limitations imposed by sensor capabilities for geometry-based methods, or the need for large-amounts of manually annotated training data required by data-driven methods. This motivates the need to build systems that have the capability to alleviate these problems by exploiting the complimentary strengths of both geometry and data-driven methods. In this paper, we take a step in this direction and propose a generic framework for adaptive scene segmentation using self-supervised online learning. We present this in the context of vision-based autonomous MAV flight, and demonstrate the efficacy of our proposed system through extensive experiments on benchmark datasets and real-world field tests.

arXiv:2610.15764v1cs.CV

SlotAVS: 이중 모달 슬롯 어텐션을 통한 객체 중심 시청각 세분화

SlotAVS: Object-Centric Audio-Visual Segmentation via Bi-Modal Slot Attention

시청각 세분화(Audio-Visual Segmentation, AVS)는 음향 신호를 시각 공간에 그라운딩(grounding)하여 소리를 내는 객체의 픽셀 단위 마스크를 예측하는 작업이다. 다중 음원 환경에서는 표준적인 정렬 중심 트랜스포머(transformer) 구조를 사용할 경우 동시에 발생하는 음원들이 공유된 시각적 표현 내에 뒤엉켜 마스크가 뭉개지거나 불안정한 특화(specialization) 현상이 발생하곤 한다. 이를 해결하기 위해 우리는 경쟁적 이중 모달 슬롯 어텐션(bi-modal slot attention)을 기반으로 하는 객체 중심 프레임워크인 SlotAVS를 제안한다. 강건한 파운데이션 모델(foundation model)이 풍부한 의미론적 사전 정보를 제공하지만, SlotAVS는 전역적 교차 모달 융합에서 명시적인 경쟁적 결합(competitive binding)으로 패러다임을 전환한다. 시간적 오디오 시퀀스로부터 이산적인 객체 슬롯을 초기화하고 공간적 시각 토큰(token)에 대해 슬롯 간의 엄격한 경쟁을 유도함으로써, 본 방식은 서로 다른 음향 엔티티들이 뒤섞이는 현상을 구조적으로 완화한다. 나아가 인스턴스 수준 학습을 안정화하기 위해 공간 및 경계 중첩도를 활용하여 슬롯과 실제 정답(ground-truth) 객체를 최적으로 정렬하는 헝가리안 매칭(Hungarian matching) 전략을 도입한다. 수치적으로 안정적이고 신뢰도를 고려하는 마스크 융합 메커니즘과 결합되어, SlotAVS는 다중 음원 예측을 강건하게 통합한다. AVSBench 데이터셋(dataset)을 통한 광범위한 실험은 단일 음원(S4) 분할에서 88.6% mIoU, 다중 음원(MS3) 분할에서 71.7% mIoU를 달성하여 본 접근법의 유효성을 입증한다. 이러한 결과는 복잡한 시청각 장면 이해 및 파운데이션 모델의 용량에만 의존하지 않고 그 사전 정보를 효과적으로 활용하는 데 있어 명시적인 경쟁적 결합이 결정적임을 보여준다.

arXiv:2610.15745v1cs.CV

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2610.15734v1cs.CV

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2610.13910v1cs.CL

VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다

When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors

비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.

arXiv:2610.13832v1cs.CV

SpatialASM: 공간 추론을 위한 능동적 심적 표상화의 내재화

SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

복잡한 공간 추론 과제를 해결할 때 일반적인 인간은 자연스럽게 과제와 관련된 시점에서 장면을 다시 살펴보고, 해당 시점들로부터 공간 배치를 머릿속으로 재구성(mental reconstruction)합니다. 하지만 대규모 비전-언어 모델(LVLM)도 능동적으로 같은 방식으로 사고할 수 있을까요? 저자들은 이러한 능력을 능동적 공간 심적 표상화(Active Spatial Mentalization, ASM)라고 정의하며, 이는 현재의 LVLM에서 크게 미발달 상태로 남아 있는 시각 지능의 본질적인 구성 요소입니다. 이러한 격차를 해소하기 위해 저자들은 학습(training) 시점의 공간 시뮬레이션을 통해 ASM을 LVLM에 내재화하는 확장 가능한 프레임워크인 SpatialASM을 소개합니다. SpatialASM은 외재적(allocentric) 신규 시점 생성기를 활용하여 가상 시점을 시각적 증거에 그라운딩(grounding)하며, 상호보완적인 두 가지 형태의 지도(supervision)를 생성합니다: i) 공간 추론 중 언제 어떻게 적응적으로 시점 계획과 상상을 불러일으킬지 LVLM에 가르치는 명시적 ASM 궤적, ii) 시점 조건부 장면 상상을 더욱 강화하는 자동 구축된 관점 수용(perspective-taking) 과제. 상대적으로 지각 중심적인 공간 이해부터 다중 이미지, 시점 교차 및 시점 변환 추론이 필요한 더 까다로운 과제에 이르는 7개 벤치마크(benchmark)에서, SpatialASM은 기존의 일반적인 비각 능력을 유지하면서도 4개의 LVLM 백본 모델의 공간 추론 성능 향상을 이끌어냈습니다. 실험 결과는 저자들의 접근법이 7개 공간 벤치마크 전반에서 평균 정확도를 향상시킴을 입증합니다. 또한 ASM 궤적의 합성은 능동적 시점 탐험(exploration)과 심적 장면 시뮬레이션을 유도하기 위한 공간 사고의 연쇄(Chain-of-Thought, CoT) 지도 데이터의 부족을 완화하는 확장 가능한 경로를 제공합니다.

arXiv:2610.13790v1cs.CV

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2610.13706v1cs.CV

GLIMPSE: 탐색 가능한 비디오 월드 모델을 위한 다중 정밀도 스펙트럼 인코딩 기반 전역-지역 인덱싱

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.

arXiv:2610.13553v1cs.CV

크로스뷰 지오로컬라이제이션에서 뷰 변화에 대응하는 전체적 장면 레이아웃 학습

Learning Holistic Scene Layout against View Shifts in Cross-View Geo-Localization

크로스뷰 지오로컬라이제이션(cross-view geo-localization)은 시점 변화로 인한 극심한 외형 변화와 기하학적 왜곡 때문에 여전히 어려운 과제이다. 기존 방법들은 주로 판별적 특징(feature) 학습이나 명시적인 기하학적 정렬에 의존하지만, 중요한 관찰 하나를 간과하는 경우가 많다: 인간은 고립된 지역적(local) 시각적 단서에만 의존하기보다 여러 랜드마크의 공간적 맥락(spatial context)을 통합하여 장면을 매칭하는 경향이 있다는 것이다. 이에 착안하여, 우리는 특징 맵(feature map)을 네 개의 직교하는 방향을 따라 순회하며 각 공간적 위치에서 결과로 얻어진 방향별 표현(directional representation) 간의 상호작용을 모델링하는 공간 맥락 모델링(Spatial Context Modeling, SCM) 모듈을 제안한다. 상호 보완적인 방향별 관찰들을 집계함으로써, SCM은 더 풍부한 장면 레이아웃 표현을 구성한다. 신뢰할 수 있는 공간적 맥락은 견고한 시각적 특징에 의존하기 때문에, 우리는 주파수 영역(frequency domain)에서 안정적인 구조적 단서를 추출하는 고주파 정보 안내(High-Frequency Information Guidance, HFIG) 모듈을 도입한다. 외형 변화에 덜 민감한 에지(edge)와 윤곽(contour)을 강조함으로써, HFIG는 모델이 더 견고한 표현을 학습하도록 유도한다. 광범위한 실험을 통해 우리의 방법이 표준 크로스뷰 지오로컬라이제이션 벤치마크에서 경쟁력 있는 성능을 달성하면서도, 방향(orientation)을 알 수 없고 시야각(field of view, FoV)이 제한된 더 어려운 시나리오에서 강한 견고성을 보인다는 것을 입증한다.

arXiv:2610.13527v1cs.CV

S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구

S-Space: Exploring Spatial Workspace in Multimodal Language Models

멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.

arXiv:2610.11060v1cs.CV

AffordDrive3D: 공간 이해를 갖춘 어포던스 인식 월드-액션 모델링

AffordDrive3D: Affordance-Aware World-Action Modeling with Spatial Understanding

월드-액션 모델(world-action model)은 미래 장면 예측과 궤적 생성을 동시에 학습함으로써 최근 자율주행 성능을 향상시켰다. 기존 접근법 대부분은 주로 RGB 외관을 통해 미래를 모델링하며, 최근 연구들은 공간 이해(spatial understanding)를 향상시키기 위해 기하학적 예측(geometric prediction)을 도입하기 시작했다. 그러나 밀집 기하(dense geometry)는 전체 장면의 공간적 배치를 설명할 뿐, 자기 차량(ego vehicle)의 행동과 가장 관련 있는 부분이 어디인지는 나타내지 않는다. 주행을 위해서는 모델이 안전하게 이동할 수 있는 위치와 충돌 위험이 있는 영역을 식별하고 예측할 수 있어야 한다. 행동과 관련된 영역과 미래 기하를 함께 모델링하면 정책(policy)에 주행과 관련된 단서와 그에 대응하는 공간 구조를 동시에 제공할 수 있다. 이에 우리는 미래의 행동 관련 영역과 공간 구조를 함께 학습하는, 어포던스(affordance) 및 기하 인식 월드-액션 모델인 AffordDrive3D를 제안한다. 주행 어포던스 예측에 필요한 장면 의미(scene semantics)와 주행 맥락(driving context)을 포착하기 위해, AffordDrive3D는 VLM 백본(backbone) 위에 구축되어 자기 차량의 움직임에 직접적인 영향을 미치는 주행 가능 영역과 충돌에 치명적인 영역을 예측하는 동시에, RGB 월드 모델 잠재 표현(latent)으로부터 미래 기하를 예측한다. NAVSIM에서 AffordDrive3D는 91.3 PDMS와 89.9 EPDMS로 최고 수준(state-of-the-art)의 성능을 달성하였으며, 이는 궤적 계획(trajectory planning)을 위해 미래 어포던스와 기하를 함께 모델링하는 것의 효과를 입증한다.

arXiv:2610.11058v1cs.CV

연결 관계 개선을 통한 격차 해소: 자율주행 장면 토폴로지를 위한 신뢰할 수 있는 향상 프레임워크

Refine Connections, Close the Gap: A Reliable Enhancement Framework for Driving Scene Topology

자율주행에서 차선과 교통 요소 간의 연결성을 의미하는 장면 토폴로지(scene topology)를 이해하는 것은 안전한 경로 계획과 모션 제어에 매우 중요합니다. 현재 방법들은 개별 지도 요소를 탐지하는 데는 뛰어나지만, 연결성 추론은 이론적 잠재력에 미치지 못하는 경우가 많아 기본 탐지 성능을 감안할 때 달성 가능한 이론적 상한선과 비교해 상당한 성능 격차를 남깁니다. 나아가 다운스트림 태스크로 전달되는 의사결정용 토폴로지 그래프는 여전히 신뢰하기 어려운 경우가 많습니다. 기존 접근 방식은 일반적으로 연속적인 토폴로지 점수에 임계값을 적용하여 연결성을 도출하지만, 이러한 점수는 실제 연결성의 논리적 가능도(likelihood)를 제대로 반영하지 못하여 오탐(false positive)이나 누락된 연결을 초래하곤 합니다. 기존 벤치마크 또한 의사결정에 필요한 이산적 연결성을 평가하기보다 주로 연속적 지표를 평가함으로써 이 문제를 간과하고 있습니다. 이러한 격차를 해소하기 위해, 기존 방법들의 잠재력을 끌어내고 의사결정용 토폴로지의 신뢰성을 높이도록 설계된 새로운 토폴로지 향상 프레임워크인 TopoEnhance를 제안합니다. 본 연구는 토폴로지 향상을 디노이징 기반 재구성 과정으로 정식화하며, 여기서 모델(model)은 확률적으로 훼손된 정답 그래프로부터 구조적 일관성을 복원하는 방법을 학습합니다. 이러한 정식화를 통해 모델은 논리적 불일치를 해결하고 신뢰할 수 없는 연결을 바로잡아, 이론적 최대 성능에 근접하는 견고한 이산 토폴로지 그래프를 생성할 수 있습니다. 다양한 베이스라인에 걸친 광범위한 실험 결과, TopoEnhance는 연속적 토폴로지 지표(TOP 점수)와 본 연구에서 조정한 토폴로지 자카드 유사도(TJS) 지표로 측정한 이산적 연결성 모두를 일관되게 향상시키는 것으로 나타났습니다. 유연하고 소스에 구애받지 않는(source-agnostic) 프레임워크인 TopoEnhance는 재학습 없이도 다양한 최신 베이스라인 전반에 걸쳐 상당한 성능 향상을 제공합니다.

arXiv:2610.10962v1cs.RO

iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가

iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains

대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.

arXiv:2610.10782v1cs.CV

VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경

VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning

검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.