PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12993v2cs.CV

X-Lens: 이종 카메라를 이용한 실시간 메트릭 깊이 추정

X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

본 논문은 가변 개수의 보정된 어안(fisheye) 및 핀홀(pinhole) 뷰로부터 메트릭 깊이를 추정하는 컴팩트한 순전파(feed-forward) 모델인 X-lens를 제안한다. 실시간 다운스트림 인식(perception)을 지원하기 위해 X-lens는 두 가지 핵심 구성 요소를 갖춘 기하학 인식(geometry-aware) 이종 카메라 공식화를 중심으로 설계되었다. 학습 가능한 보정(calibration) 토큰은 어안과 핀홀 투영 공간 사이의 거친 정렬을 제공하고, 교차 어텐션(cross-attention)에 주입된 야코비안 매개변수화 왜곡 바이어스는 국소 투영 변화를 모델링하고 카메라 간 일관성을 촉진하여, 단 0.04B개의 파라미터와 최대 41 FPS로 강건한 일반화를 가능하게 한다. 이 모델은 전역 메트릭 스�ale과 함께 밀집 깊이(dense depth)를 예측하며, 연산 및 최적화 복잡도를 증가시키는 보조 재구성 목표를 피한다. 이러한 카메라 간 일반화를 규모와 깊이 면에서 학습하기 위해 X-lens는 여러 공개 데이터셋과, 약 266K개의 동기화된 6뷰 프레임, 170만 개의 개별 이미지, 103개의 실내 및 실외 장면을 포함하는 새로 공개한 대규모 합성 데이터셋 OmniScene에서 학습된다. 실제 및 합성 실내·실외 데이터셋에 대한 광범위한 실험은 이종 카메라 메트릭 깊이 정확도가 우수함을 보여준다. OmniScene-Full에서 최강 기준선 대비 AbsRel을 25.4% 낮추면서 파라미터는 88.9% 더 적게 사용했으며, 기존 어안 전용 및 핀홀 전용 설정에서도 경쟁력 있는 성능을 보인다.

arXiv:2607.12704v2cs.CV

다중 레이블 원격탐사 장면 분류에서 도메인 일반화를 위한 레이블 분리 스타일 증강

Label-Decoupled Style Augmentation for Domain Generalization in Multi-Label Remote Sensing Scene Classification

다중 레이블 분류는 각 항공 장면에 공존하는 여러 레이블을 부여하지만, 배포된 모델은 종종 학습과 다른 데이터 분포를 마주한다. MixStyle, EFDMix, 상관 스타일 불확실성(correlated style uncertainty)과 같은 특징 통계 기반 증강은 낮은 비용으로 일반화를 향상시키지만 채널 통계를 전역적으로 교란하여 각 이미지를 단일 스타일로 취급하며, 한 클래스가 다른 클래스의 증강을 오염시킬 수 있다. 다중 레이블 원격탐사에서 도메인 일반화(domain generalization)는 연구가 부족하며, 이를 목표로 하는 기존 방법이나 다중 소스 벤치마크는 없다. 따라서 스타일 교란을 레이블별 영역으로 한정하는 레이블 분리(label-decoupled) 증강 프레임워크를 제안한다. 학습 가능한 모듈 또는 그래디언트 클래스 활성화 맵(gradient class-activation maps)에서 얻은 레이블별 어텐션은 레이블별 특징 통계를 산출하며, 이 통계는 공존 레이블을 공유하는 교차 도메인 샘플과 독립적인 레이블별 계수 하에서 혼합되고, 특징은 어텐션 가중 정규화(attention-weighted normalization)로 재구성된다. 두 어텐션 소스와 결합된 세 가지 연산자로 여섯 가지 변형을 만들어, 다중 레이블 UCM, AID, DFC15의 6개 공유 레이블에 대한 leave-one-domain-out 벤치마크에서 평가했다. 세 분할과 다섯 시드에 대해 평균하면 최고 변형은 71.5% 평균 정밀도(mAP)를 달성하여 경험적 위험 최소화(empirical risk minimization)보다 5.0%p, 가장 강한 전역 통계 기준선보다 1.3%p 높으며, 가장 어려운 전이에서 최대 7.7%p의 가장 큰 이득을 보인다. 소거 실험(ablation)은 공간 어텐션과 갱신된 위치 맵(localization maps)이 가장 영향력이 크다는 것을 보여준다. 이 프레임워크는 파라미터를 최대 0.35%만 추가하고 추론은 변경하지 않으며, 다중 레이블 통계 기반 도메인 일반화를 위한 범용적이고 저비용의 업그레이드 경로를 제공하는 것으로 보인다. 코드는 수락 후 https://github.com/Alaa-Almouradi/Style-Augmentation-Upgrade 에서 제공된다.

arXiv:2607.12503v2cs.CV

DynTrace: MLLM에서 4D 시공간 추론을 위한 동적 객체 증거 추적

DynTrace: Tracking Dynamic Object Evidence for 4D Spatio-Temporal Reasoning in MLLMs

4D 시공간 추론은 3D 공간 구조와 시간적 진화를 함께 모델링하는 것으로, 동적 세계를 이해하고 체화된 상호작용(embodied interaction)을 가능하게 하는 데 필수적이다. 현재 다중모달 대규모 언어 모델(MLLM)은 정적 장면 이해와 거친 수준의 4D 작업에서 강력한 능력을 보이지만, 연속적인 동적 장면 인식, 특히 일관된 4D 시공간 추론을 위한 동적 객체 증거 추적에서 여전히 뚜렷한 한계를 갖고 있다. 이러한 단점은 주로 희소한 프레임 단위 관측에 의존하여 연속적인 동적 단서를 분절시키고, 모델이 진정한 객체 역학과 카메라에 의해 유발된 겉보기 운동을 분리하지 못하게 하는 데서 비롯된다. 시점 변화를 보상하면서 동적 단서를 추적하는 인간의 방식에서 영감을 받아, 우리는 두 가지 상보적 구성 요소를 갖춘 4D 시공간 추론을 위한 학습 없는(training-free) 프레임워크인 DynTrace를 제안한다. Dynamic Trajectory Visualization(DTV)은 월드 좌표 궤적을 이미지 평면에 재투영하여, 진정한 객체 역학과 카메라에 의해 유발된 겉보기 운동을 분리하는 기하학적 정보가 담긴 시각적 사전(prior)을 제공한다. 한편, Dynamic Trace Graph(DTG)로 구성된 Dynamic Trace Token(DT-Token)은 객체 수준의 동적 단서, 궤적 진화, 핵심 순간을 추적하여 일관된 4D 추론을 위한 연속적인 동적 객체 증거를 유지한다. 이 두 구성 요소는 함께 MLLM에 기하학적 정보가 담긴 시각적 사전과 구조화된 시공간 궤적에 그라운딩된, 지속적으로 추적된 동적 객체 증거를 제공한다. DynTrace는 오픈소스 MLLM을 일관되게 향상시켜 Dyn-Bench, VLM4D, DSI-Bench에서 최첨단(state-of-the-art) 결과를 달성함으로써, 견고한 4D 시공간 추론을 위해 동적 객체 증거를 추적하는 것의 중요성을 검증한다.

arXiv:2607.12477v2cs.CV

공간 속 자아: UAV 체화 지능에서 자기 인식과 공간 인지 벤치마킹

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

자율 UAV 시스템은 복잡한 실세계 환경에서 동작하기 위해 점점 더 멀티모달 대규모 언어 모델(MLLM)에 의존하고 있다. 이러한 체화(embodied) 시나리오에서는 주변 공간을 이해하는 것뿐만 아니라 에이전트 자신에 대한 일관된 표상을 유지하는 것도 필요하다. 그러나 기존 UAV 지향 접근법과 벤치마크는 여전히 대체로 환경 중심적이며, 주로 공간 이해 과제에 초점을 맞추고 있고, 에이전트의 자기 인식은 암묵적으로 남아 있다. 이 격차를 해소하기 위해, 우리는 통합된 공간 속 자아(self-in-space) 정식화 하에서 UAV 시나리오의 체화 공간 지능을 평가하는 벤치마크인 SIS-Bench를 제안한다. SIS-Bench는 상호 보완적인 두 차원인 공간(space)과 자아(self), 그리고 지각, 기억, 추론의 3단계 계층을 따라 평가를 구성한다. SIS-Bench는 전문가 검증을 거친 과제 조건화 구축 파이프라인을 통해 1,646개의 실세계 UAV 영상에서 파생된 13개 과제 전반에 걸쳐 4,856개의 질문-답변 쌍을 포함한다. 광범위한 평가 결과, 현재 MLLM들은 동적이고 에이전트 중심적인 과정을 모델링하는 데 근본적인 한계를 보인다. 특히, 공간 인지와 자기 인식 사이의 뚜렷한 불균형, 그리고 인지 수준에 걸친 점진적인 성능 저하를 관찰한다. 이러한 발견에 동기부여되어, 우리는 광학 흐름(optical flow)과 시각적 특징 융합을 통해 자아 관련 동역학을 통합하는 운동 인식(motion-aware) 표상을 추가로 탐구한다. 실험 결과, 에이전트 운동을 모델링하면 공간 인지뿐만 아니라 자기 인식에서도 지각 및 기억 성능이 일관되게 향상되며, 하위 UAV 의사결정 과제로도 일반화된다는 것을 보여준다. 우리의 결과는 체화 공간 지능을 발전시키는 데 자기 인식의 중요성을 부각하며, 운동 인식 공간 속 자아 모델링을 위한 새로운 벤치마크와 실증적 근거를 모두 제공한다.

arXiv:2606.27745v2cs.CV

파노라마 장면 이해: 왜곡 인지 엔지니어링에서 구면 고유 모델링까지의 서베이

Panoramic Scene Understanding: A Survey from Distortion-Aware Engineering to Sphere-Native Modeling

파노라마 이미지는 한 프레임에 전체 시각적 구면을 담아 일반 카메라로는 얻을 수 없는 맥락을 제공한다. 그러나 이 완전성에는 피할 수 없는 기하학적 대가가 따른다. 2-구면(2-sphere)은 평면에 충실하게 사상될 수 없으며, 모든 투영은 표준 비전 아키텍처에 도전하는 왜곡을 도입한다. 본 서베이는 투영 기반 적응과 왜곡 인지 엔지니어링에서 구면 고유 모델링으로 이어지는 파노라마 장면 이해의 발전을 추적하며, 구면 기하학에 대한 점점 깊어지는 헌신을 반영한다. 파운데이션 모델은 네 번째 계열을 이루며, 기하학 인지 토큰화(geometry-aware tokenization)는 입력 인터페이스를 적응시키면서 원근 사전학습(pre-training) 가중치를 재사용한다. 이러한 접근법들을 다섯 가지 과제 계열—밀집 예측(dense prediction), 통합 다중 과제 이해, 개방 세계(open-world) 지각, 비전-언어 추론, 동적 비디오 분석—에 걸쳐 검토한다. 과제들을 가로질러 구면 기하학으로의 동일한 전환이 반복된다. 그러나 실제로 이 분야는 원근 사전학습 백본을 재사용할 수 없어 확장되지 못한, 정확히 회전 동변(exactly rotation-equivariant)인 가장 강력한 구면 고유 연산자가 아니라, 적당한 기하학적 인식과 대규모 사전학습 모델을 결합한 호환성을 보존하는 중간 지점으로 수렴했다. 이 헌신은 고르지 않다. 밀집 예측에서 가장 깊고 동적 지각에서는 가장 얕은데, 후자에서는 방법들이 공간적으로는 구면 인지적이지만 시간적으로는 평면적이다. 파운데이션 모델 적응은 파노라마 깊이 추정에서 가장 빠르게 진전했으며, 레이아웃, 표면 법선(surface-normal), 비디오 수준 이해는 여전히 대부분 미탐색 상태로 남아 있다. 구면 데이터로 사전학습된 파노라마 파운데이션 모델은 아직 없다. 다섯 가지 평가 공백을 식별한다: 구면 면적 가중(metric), 이음(seam) 일관성 테스트, 극지역(polar) 견고성 계층화, 교차 투영 일반화, 표준화된 개방 세계 프로토콜. 범용 파노라마 지능을 향한 여섯 가지 로드맵으로 마무리한다.

arXiv:2605.21268v3cs.CV

토지 이용 장면 분류를 위한 비전 트랜스포머와 합성곱 신경망

Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification

원격 탐사 영상 기반 토지 이용 장면 분류(LUSC)는 환경 모니터링, 도시 계획, 지속 가능한 자원 관리에서 중요한 역할을 한다. 최근 심층 학습 방법이 최신 기술 수준을 크게 발전시켰으며, 합성곱 신경망(CNN)은 국소적 공간 특징을 포착하는 강력한 능력으로 이 분야를 지배해 왔다. 그러나 비전 트랜스포머(ViT)의 등장은 셀프 어텐션(self-attention) 메커니즘을 통해 장거리 의존성을 모델링하는 새로운 패러다임을 도입했으며, 잠재적으로 향상된 전역 문맥 이해를 가능하게 한다. 본 논문은 원격 탐사 토지 이용 장면 분류를 위한 비전 트랜스포머와 CNN 기반 아키텍처의 비교 평가를 제시한다. AlexNet과 같은 대표적인 CNN 모델과 비전 트랜스포머(ViT)를 UC Merced Land Use 및 EuroSAT Land Use 데이터셋을 포함한 벤치마크 원격 탐사 데이터셋을 사용하여 평가한다. 본 연구는 포괄적인 성능 비교를 위해 분류 정확도, 정밀도, 재현율, F1-score, 계산 복잡도를 검토한다. 실험 결과, CNN은 학습 샘플이 제한적이고 국소적 텍스처 특성이 뚜렷한 데이터셋에서 견고한 성능을 보이는 반면, 비전 트랜스포머는 충분한 학습 데이터가 제공될 때 복잡한 장면에서 전역적 공간 관계를 포착하는 데 우수한 성능을 나타냄을 보여준다. 그러나 ViT는 최적의 성능을 달성하기 위해 일반적으로 더 많은 계산 자원과 더 큰 학습 데이터셋을 필요로 한다. 본 연구의 결과는 두 아키텍처의 강점과 한계에 대한 통찰을 제공하며, 원격 탐사 토지 이용 장면 분류 응용을 위한 적절한 모델 선택에 대한 지침을 제공한다.

arXiv:2603.08521v2cs.CV

OccTrack360: 서라운드뷰 fisheye 카메라 기반 4D 파노픽 점유 추적

OccTrack360: 4D Panoptic Occupancy Tracking from Surround-View Fisheye Cameras

로봇공학과 자율주행에서 동적 3D 환경을 공간적으로 연속적이고 시간적으로 일관된 방식으로 이해하는 것은 근본적으로 중요하다. 최근 점유 예측의 발전은 장면 기하와 의미에 대한 통합 표현을 제공하지만, 4D 파노픽 점유 추적의 진전은 서라운드뷰 fisheye 센싱, 긴 시간적 시퀀스, 인스턴스 수준 voxel 추적을 지원하는 벤치마크 부재로 제한되어 있다. 이 공백을 해소하기 위해, 서라운드뷰 fisheye 카메라 기반 4D 파노픽 점유 추적을 위한 새로운 벤치마크 OccTrack360을 제시한다. OccTrack360은 기존 벤치마크보다 상당히 더 길고 다양한 시퀀스(174~2234 프레임)를 제공하며, 전방향 occlusion 마스크와 MEI 기반 fisheye 시야각(field-of-view) 마스크를 포함한 원칙에 기반한 voxel 가시성 주석을 함께 제공한다. 강력한 fisheye 지향 기준선을 확립하기 위해, fisheye 점유 추적의 두 가지 핵심 과제인 왜곡된 구면 투영과 부정확한 voxel 공간 위치 추정을 해결하는 프레임워크 Focus on Sphere Occ(FoSOcc)를 추가로 제안한다. FoSOcc는 지도 학습 기반 초점 유도(supervised focus guidance)를 통해 인스턴스 인식 공간 위치 추정을 강화하는 Center Focusing Module(CFM)과, Unified Projection Model 하에서 원근 투영 리프팅(perspective lifting)을 fisheye 영상에 확장하는 Fisheye-based Enhanced Lifting(FEL)을 포함한다. Occ3D-Waymo와 OccTrack360에서의 광범위한 실험은 본 방법이 점유 추적 품질을 개선하며 기하적으로 규칙적인 카테고리에서 눈에 띄는 향상을 보임을 보여주고, 서라운드뷰 fisheye 4D 점유 추적에 대한 향후 연구를 위한 강력한 기준선을 확립한다. 벤치마크와 소스 코드는 https://github.com/YouthZest-Lin/OccTrack360 에서 공개될 예정이다.

arXiv:2509.22415v4cs.CV

멀티모달 대규모 언어 모델의 시각 어트리뷰션을 위한 증거 재구성 및 예측적 맥락 잔차화

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 강력한 비전-언어 성능을 달성했지만, 토큰 수준의 시각적 증거는 여전히 검사하기 어렵다. 최근 로짓 렌즈(logit-lens) 어트리뷰션 방법은 생성된 단어를 설명하기 위해 각 시각 토큰의 은닉 상태를 어휘 공간에 투영하지만, 이러한 토큰별 판독은 불일치를 유발한다: 시각 토큰은 모델에 의해 맥락이 혼합되지만, 어트리뷰션 점수는 각 토큰 위치에서 독립적으로 디코딩된다. 이는 종종 파편화된 어트리뷰션 맵을 만들어내며, 앞선 텍스트 토큰의 자기회귀적 맥락 신호의 영향을 추가로 받을 수 있다. 우리는 증거 재구성(ER)과 예측적 맥락 잔차화(PCR)로 구성된 어트리뷰션 프레임워크인 ERCR을 제안한다. ER는 서로 다른 토큰-영역 할당을 가진 여러 뷰에서 대상 증거를 집계하여, 단일 판독 그리드로 인한 어트리뷰션 파편화를 줄인다. PCR은 RBO 기반 순위 관련성으로 앞선 토큰의 맥락 맵을 추정하고, ER 맵에서 그 피팅된 성분을 빼서 맥락 토큰 간섭을 억제한다. LLaVA, Qwen2-VL, InternVL 계열에 걸친 COCO Caption, GranDf, OpenPSG에서의 실험은 ERCR이 기존 평가 프로토콜 하에서 대상 토큰에 대한 시각적 증거를 개선하고 앞선 토큰 맥락 간섭을 완화함을 보여준다. Qwen2-VL-2B에서 ERCR은 COCO Caption에서 TAM F1-IoU를 39.10에서 44.45로, GranDf에서 30.83에서 37.20으로 향상시킨다. 전반적으로 ERCR은 토큰 수준 시각적 증거 검사를 위한 실용적인 개선을 제공한다.

arXiv:2607.13624v1cs.RO

언어에서 내비게이션 목표로: RGB-D 인식을 이용한 이동 로봇 의미 내비게이션을 위한 비전-언어 접근법

From Language to Navigation Goals: A Vision-Language Approach for Semantic Navigation of Mobile Robots Using RGB-D Perception

자연어 상호작용은 비전문 사용자가 로봇 플랫폼과 소통하는 직관적인 방법을 제공한다. 그러나 사용자 요청을 실행 가능한 내비게이션 동작으로 변환하는 것은 여전히 어려운 과제이며, 언어 이해, 환경 인식, 자율 내비게이션의 통합을 필요로 한다. 본 연구는 자연어로 사용자 요청을 해석하여 로봇을 목적지로 이동시키고 자율적으로 해당 목적지까지 내비게이션할 수 있게 하는 언어 기반 내비게이션 프레임워크를 제시한다. 이 프레임워크는 자연어 지시를 내비게이션 동작으로 변환하기 위해 협력하는 모듈형 ROS 2 구성 요소로 이루어져 있다. 환경 내 목표를 지칭하는 자연어 요청(예: "go to the mail box")이 주어지면, 시스템은 참조된 객체를 식별하고 RGB-D 데이터를 사용하여 그 위치를 추정한 뒤 내비게이션 목표를 생성하며, 이는 ROS 2 Nav2 내비게이션 스택을 통해 실행된다. ROS 2 기반 구현은 해당 토픽과 서비스의 설정만으로 다양한 로봇 플랫폼에 이식성을 제공한다. 시스템은 TurtleBot3 Waffle과 RealSense 카메라를 탑재한 Unitree Go2 로봇을 사용하여 시뮬레이션과 실제 환경 시나리오 모두에서 평가된다. 실험 결과, 프레임워크가 직접 명령과 문맥적 요청을 모두 성공적으로 해석하고, 의미 있는 자연어 피드백을 생성하며, 원하는 목표로 내비게이션함을 보여준다. 이러한 결과는 의미 인식과 자율 내비게이션을 결합하여 직관적인 인간-로봇 상호작용 패러다임을 제공하는 것의 실현 가능성을 입증한다. 코드는 논문 채택 시 오픈 소스로 공개될 예정이다.

arXiv:2607.13072v1cs.RO

HRO: 대규모 언어 모델(LLM) 기반 제로샷 객체 목표 내비게이션을 위한 계층적 방-객체 프레임워크

HRO: Hierarchical Room-to-Object Framework for Zero-Shot Object Goal Navigation with Large Language Models

제로샷 객체 목표 내비게이션(zero-shot object-goal navigation)은 특정 목표에 대한 학습 없이 낯선 환경에서 알려지지 않은 범주의 객체를 탐험하고 그곳으로 이동할 수 있도록 지능형 에이전트를 가능하게 하는 것을 목표로 한다. 제로샷 내비게이션 과제에서는 사전학습된 대규모 모델을 활용하여 사전 지식으로 에이전트의 내비게이션을 안내하는 경우가 일반적이다. 그러나 대규모 언어 모델(LLM) 기반의 기존 제로샷 객체 목표 내비게이션 방법들은 LLM을 평면적인 추론 도구로만 사용하여 객체 또는 영역을 직접 연관 짓는다. 이들은 객체 국소화를 위한 인간과 유사한 방 의미론의 계층적 공간 인지 모델링이 부족하여, 탐험의 심각한 맹목성, 의미 연관의 부족한 정확도, LLM의 상식 추론 잠재력을 완전히 발휘하지 못하는 문제를 초래한다. 본 논문은 제로샷 객체 목표 내비게이션을 위한 LLM 기반 계층적 방-객체(HRO) 프레임워크를 제안하며, 이는 에이전트가 거친-세밀(coarse-to-fine) 방식으로 목표 객체를 탐험하고 내비게이션하도록 안내한다. Gibson 및 HM3D 데이터셋에서의 실험은 HRO 프레임워크가 기존 LLM 기반 방법 대비 우수한 성공률과 일반화 성능을 달성함을 검증하며, 제로샷 객체 목표 내비게이션에서 LLM의 강력한 잠재력을 강조한다.

arXiv:2603.16307v3cs.AI

NeSy-Route: 제약 조건 하 원격 탐사 경로 계획을 위한 신경-기호 벤치마크

NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

원격 탐사는 재난 구호, 생태 현장 조사 등 중요한 응용의 기반이 되며, 이러한 분야에서는 시스템이 복잡한 장면과 제약 조건을 이해하고 신뢰할 수 있는 결정을 내려야 한다. 현재 원격 탐사 벤치마크는 주로 멀티모달 대규모 언어 모델(MLLM)의 인식(perception) 및 추론 능력 평가에 초점을 맞춘다. 이들은 계획(planning) 역량을 평가하지 못하는데, 이는 대규모로 계획 과제를 큐레이션하고 검증하기 어렵거나, 부정확하고 불충분한 평가 프로토콜에서 기인한다. 이러한 한계를 해결하기 위해, 우리는 원격 탐사에서의 제약 경로 계획을 위한 대규모 신경-기호 벤치마크인 NeSy-Route를 제안한다. 이 벤치마크 내에서, 우리는 고충실도 의미 마스크(semantic masks)를 휴리스틱 탐색(heuristic search)과 통합하여 최적성이 증명 가능한(provably optimal) 다양한 경로 계획 과제를 생성하는 자동화 데이터 생성 프레임워크를 도입한다. 이를 통해 NeSy-Route는 10,821개의 경로 계획 샘플에 걸쳐 계획을 포괄적으로 평가할 수 있으며, 이는 기존 최대 규모 벤치마크보다 거의 10배 크다. 또한, 정확한 평가를 가능하게 하고 인식, 추론, 계획에 대한 세밀한 분석을 동시에 지원하기 위해 3단계 계층적 신경-기호 평가 프로토콜을 개발한다. 다양한 최신(state-of-the-art) MLLM에 대한 포괄적 평가 결과, 기존 MLLM들은 인식 및 계획 역량에서 상당한 결함을 보인다. 우리는 NeSy-Route가 원격 탐사를 위한 더 강력한 MLLM의 추가 연구 및 개발을 지원할 수 있기를 기대한다. 데이터셋과 코드는 https://mingyang1010.github.io/NeSy-Route/에서 이용할 수 있다.

arXiv:2607.12894v1cs.CV

Hy-Embodied-VLM-1.0: 효율적인 물리 세계 에이전트

Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

유능한 체화(embodied) 에이전트를 구축하려면 다중모달 지각과 이해 뿐 아니라, 행동에 대한 추론, 변화하는 상황에 대한 적응, 물리 세계와의 상호작용을 위한 agentic 역량도 필요합니다. 본 보고서에서는 물리 세계에서 동작하는 체화 에이전트를 위해 특별히 설계된 효율적이고 강력한 체화 기반 모델(foundation model) Hy-Embodied-VLM-1.0을 소개합니다. 이러한 역량을 사전학습 단계부터 함양하기 위해, 우리는 세 가지 점진적 차원으로 구성된 행동 중심 역량 분류체계를 정의합니다: Action-Relevant State Understanding(행동 관련 상태 이해), Action-Transition Reasoning(행동 전이 추론), Sequential and Adaptive Reasoning(순차 및 적응적 추론). 이 분류체계를 바탕으로 체계적인 데이터 파이프라인을 개발하고 사전학습과 사후 학습 모두를 아우르는 데이터 혼합을 구축합니다. 지연에 민감한 배포를 지원하면서도 강력한 물리 세계 이해 및 상호작용 역량을 제공하기 위해, 우리는 Hy3-A3B 언어 백본과 Hy-ViT2 비전 인코더 위에 모델을 구축합니다. 효율적인 전문가 혼합(MoE) 아키텍처는 강력한 모델 용량과 높은 추론 효율을 결합합니다. Hy-Embodied-VLM-1.0을 체화 지각, 물리 세계 이해, 체화 추론을 포괄하는 38개 벤치마크 종합 세트에서 평가했습니다. 해당 모델은 38개 벤치마크 중 19개에서 유사 규모 모델 중 최고 성능을 달성했으며, Qwen3.6-A3B 및 Cosmos 3을 포함한 강력한 경쟁 모델들을 크게 상회합니다. 이전 세대 Hy-Embodied-0.5 MoT-2B와 비교했을 때 Hy-Embodied-VLM-1.0은 평균 성능을 8.4% 향상시켰습니다. 단 3B개의 파라미터만 활성화함에도, 32B개의 활성화 파라미터를 가진 이전 세대 모델에 근접한 성능을 달성합니다. 정적 벤치마크 평가를 넘어 Hy-Embodied-VLM-1.0은 다중 턴 상호작용과 장기 추론이 필요한 체화 agentic 과업에서도 강력한 성능을 보여줍니다.

arXiv:2607.12800v1cs.CV

UniVR: 통합 시각 추론을 위한 시각 공간에서의 사고

UniVR: Thinking in Visual Space for Unified Visual Reasoning

원시 시각 데이터로부터 광범위한 세계 지식을 직접 학습하는 것은 지능의 근본적인 능력이다. 우리는 UniVR을 소개한다. 이는 순수한 시각 시연으로부터 복잡한 추론, 세밀한 물리적 역학, 장기 계획을 동시에 학습하는 최초의 연구이다. UniVR의 핵심은 VR-GRPO로, 상호 보완적인 전역(global) 및 단계 수준(step-level) 보상을 갖춘 강화학습 패러다임이다. 이 접근법은 작업별 휴리스틱이나 이미지-텍스트 쌍을 요구하지 않으면서, 추론 과정 전반에 걸쳐 논리적 일관성과 물리적 일관성을 강제한다. UniVR을 학습하고 평가하기 위해, 장기 조작, 공간 퍼즐, 물리 추론에 걸친 16개의 다양한 출처에서 큐레이션한 대규모 벤치마크 VR-X를 구축했다. 이는 순수 시각 프로토콜 하에서 이러한 이질적인 능력들을 평가하는 최초의 종합 벤치마크 스위트이다. 놀랍게도 UniVR은 VR-X에서 최대 25%의 성능 향상을 달성했으며, 뛰어난 시각 추론 능력은 다양한 멀티모달 이해 벤치마크에서의 성능도 향상시킨다. 이러한 결과는 시각 공간 내 추론의 막대한 잠재력을 강조하며, 모든 코드, 데이터, 모델은 추가 연구를 위해 오픈소스로 공개되었다.

arXiv:2607.12680v1cs.CV

ReflectVLN: 반성적 추론을 통한 비전-언어 내비게이션 에이전트 학습

ReflectVLN: Training Vision-Language Navigation Agents with Reflective Reasoning

기존 비전-언어 내비게이션(VLN) 방법들은 다단계 행동 계획을 생성하기 위해 VLM을 웨이포인트 디코더와 결합하는 경우가 많지만, 장기 지평 내비게이션에서 의미론적 진행을 추적하고 실행 실패를 진단하며 오류 누적으로부터 복구하기 위한 명시적인 폐루프(closed-loop) 메커니즘이 대체로 부재하다. 이 공백을 메우기 위해, 우리는 의도 에이전트와 실행 에이전트 간의 양방향 상호작용을 통해 의사결정을 조직화하는 에이전트형 VLN 프레임워크인 ReflectVLN을 제안한다. 의도 에이전트는 하위 작업 분해와 반성(reflection)을 수행하며, 수정적 계획으로 실행 가능한 하위 작업 설명을 생성한다. 이러한 설명을 조건으로, 실행 에이전트는 현재 관측 하에서 이를 단기 지평 행동으로 그라운딩(grounding)하면서 하위 목표 진행을 모니터링하고 경로 이탈 행동을 감지한다. 핵심적으로, ReflectVLN은 폐루프 양방향 통신을 가능하게 한다. 실행 에이전트는 필요 시 반성과 하위 작업 갱신을 촉발하는 진행 및 편차 신호를 방출하고, 의도 에이전트는 복구를 위해 후속 행동을 재조건화하는 구조화된 지침을 반환한다. 해석 가능한 중간 근거를 갖춘 시간적으로 일관된 의사결정을 장려하기 위해, 우리는 행동 생성을 위한 경로 조건 이중 질의 학습 방식인 Action Chain-of-Thought(Action-CoT)를 도입한다. 표준 VLN 벤치마크에 대한 실험 결과, ReflectVLN은 제한된 데이터 예산 하에서 성공률과 경로 효율을 개선하며, 유리한 학습 비용과 추론 시 더 적은 고수준 의도 호출을 달성하면서, 분석 및 협업을 위한 해석 가능한 중간 의사결정을 제공한다. 코드는 다음에서 이용 가능하다: https://github.com/AIprogrammer/ReflectVLN

arXiv:2607.12678v1cs.CV

CAD 평면도를 위한 텍스트 보조 멀티모달 파노틱 심볼 스포팅

Text-Aided Multi-Modal Panoptic Symbol Spotting for CAD Floor Plan Drawings

CAD(Computer-Aided Design) 평면도에는 그래픽 프리미티브와 텍스트 주석이 함께 포함되어 있으며, 이는 지능형 설계 이해를 위한 상호 보완적인 기하학적·의미론적 단서를 제공한다. CAD 분석 작업 가운데 파노틱 심볼 스포팅은 산업 디지털화와 심층 학습 기반 자동화에 대한 수요 증가와 함께 점점 더 중요해지고 있다. 그러나 기존 방법의 대부분은 여전히 프리미티브 중심적이며, 비록 핵심적인 의미론적 가치를 지니고 있음에도 텍스트 주석을 충분히 활용하지 못한다. 텍스트를 인식하는 몇 안 되는 접근법조차 주석을 얕게만 다루는 경우가 많아, CAD 주석의 복잡한 구문과 계층적 의미론을 제대로 모델링하지 못하고, 이로 인해 의미 손실과 최적에 못 미치는 스포팅 성능이 발생한다. 이러한 한계를 해결하기 위해, 우리는 파노틱 심볼 스포팅을 위해 그래픽 프리미티브와 텍스트 주석을 공동으로 모델링하는 멀티모달 프레임워크 TextCAD를 제안한다. 구체적으로, 우리는 유형과 속성을 공동으로 모델링하여 주석 내 조합적 의미론을 명시적으로 인코딩하는 Type-Attribute Correlation Encoder(TACE)를 설계한다. 또한 Multi-level Semantic Filtering(MSF)과 프리미티브 다운샘플링을 포함한 Semantic Hierarchy Alignment 프레임워크를 도입하여, 서로 다른 의미 수준에서 주석 의미론과 그래픽 프리미티브를 적응적으로 정렬하고 정확한 교차 모달 의미 주입 및 융합을 가능하게 한다. 실제 건축 설계 데이터셋에서의 실험 결과, TextCAD는 심볼 스포팅 성능을 효과적으로 향상시키며 최첨단 결과를 달성함을 보여준다.

arXiv:2607.12433v1cs.CV

ARDepth: 점진적 시각 조건화를 이용한 자기회귀 단안 깊이 추정

ARDepth: Auto-regressive Monocular Depth Estimation with Progressive Visual Conditioning

확산 모델(diffusion model)은 최근 단안 깊이 추정(MDE)에서 주류 패러다임이 되었다. 그러나 이들은 반복적 디노이징(denoising)을 통해 깊이를 전역적으로 매끄러운 장(field)으로 복원할 수 있다고 암묵적으로 가정하며, 이는 장면 기하의 조각적(piecewise)이고 스케일 의존적인 구조를 명시적으로 반영하지 않는다. 실제로 기하 구조는 공간 스케일에 걸쳐 점진적으로 나타나며, 거친 레이아웃, 표면, 경계가 계층적으로 구성된다. 이 관찰에 영감을 받아, 우리는 깊이 추정을 구조화된 자기회귀 생성으로 공식화하는 ARDepth를 제안한다. 전역 정제(global refinement)를 통해 깊이를 복원하는 대신, ARDepth는 공간 해상도가 증가함에 따라 깊이 표현을 점진적으로 구축한다. 이 생성 과정을 지원하기 위해, 각 생성 단계에서 다중 스케일 시각 특징을 주입하는 스케일-점진적 조건화(SPC)와 전역 구조적 일관성을 향상시키는 장면 수준 의미 사전정보(semantic prior)를 제공하는 의미 인식 가이던스(SAG)를 도입한다. 이러한 설계들은 함께 모델이 일관된 전역 기하를 유지하면서 세밀한 국소 세부 사항을 포착할 수 있게 한다. 실험 결과는 우리 접근법이 강한 성능을 달성하고 스케일에 걸쳐 구조적으로 일관된 깊이 예측을 생성함을 보여주며, 기하 모델링을 위한 유망한 대안 패러다임으로서 자기회귀 생성을 검증한다.

arXiv:2607.12429v1cs.CV

위치 그 이상: 교차 뷰 지역화로부터 의미, 구조, 기하 학습

More Than Where You Are: Learning Semantics, Structure, and Geometry from Cross-View Localization

극단적인 시점 변화 하에서의 일관된 교차 뷰 이해는 공간 지능에 필수적이며, 이는 모델이 극단적인 시점 차이를 넘어 동일한 장면을 인식할 수 있게 한다. 교차 뷰 지역화는 이러한 능력을 향한 유망한 경로를 자연스럽게 제공하며, 급격한 외관 변화에도 불구하고 지상 뷰 영상과 지리 참조 위성 뷰 영상을 정렬하여 카메라 포즈를 추정해야 하기 때문이다. 최근 비전 파운데이션 모델은 풍부한 2D 표현을 교차 뷰 매칭에 제공함으로써 이 오래된 지역화 문제를 점점 더 실현 가능하게 만들었다. 그러나 우리는 교차 뷰 지역화를 단순히 2D 매칭이나 포즈 추정으로 보아서는 안 된다고 주장한다. 본 연구에서는 교차 뷰 지역화를 포즈 추정 그 이상으로 재검토하고, 이것이 극단적인 시점 변화 하에서 안정적인 의미, 신뢰할 수 있는 구조, 전이 가능한 기하를 포함하여 일관된 교차 뷰 이해를 개발하는 데 어떻게 도움이 될 수 있는지 조사한다. 우리는 기존 방법이 이를 달성하지 못하게 하는 세 가지 핵심 한계를 확인한다. 이들은 보통 명시적인 3D 그라운딩이 부족하고, 의미 일관성을 약화시킬 수 있는 엄격한 점 단위 매칭에 의존하며, 기하적 추론에 대한 제한된 지침만 제공하는 절대적 목적 함수로부터 학습한다. 이러한 한계를 해결하기 위해, 3D 그라운딩 정렬, 구조 인식 매칭, 가설 순위화를 기반으로 한 통합 교차 뷰 지역화 프레임워크인 CROSS를 제안한다. 이 공식화는 구조 학습을 내재적 요구사항으로 만들고, 의미 표현이 안정적으로 유지되도록 장려하며, 모델이 전이 가능한 기하를 습득할 수 있게 한다. KITTI 및 VIGOR 데이터셋에서의 광범위한 실험은 CROSS가 교차 뷰 지역화에서 최신 최고 성능을 달성함을 보여준다. 더 중요하게는, CROSS가 극도로 다른 시점에 걸쳐 안정적인 의미, 신뢰할 수 있는 구조, 전이 가능한 기하를 효과적으로 학습한다.

arXiv:2607.12319v1cs.CV

DM-KG: 거리뷰 영상에서 비전-언어 모델의 공간 인지 능력을 향상시키는 새로운 방법

DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery

비전-언어 모델(VLM)이 지리공간 질의응답과 시각적 장면 이해에 점점 더 배치됨에 따라, 복잡한 논리적 추론을 위해 거리뷰 영상에서의 공간 인지 능력을 향상시키는 것이 핵심 연구 과제로 부상했다. 그러나 기존 VLM은 실제 거리뷰 장면에서 물체의 위치, 거리, 방향을 인지할 때 "공간 의미 환각(spatial semantic hallucinations)"을 자주 겪는다. 또한 이러한 오류는 추적 및 보정에도 종종 잘 대응되지 않아, 지리공간 작업에서의 실용적 배치에 심각한 병목이 된다. 이러한 긴급한 과제를 해결하기 위해, 본 연구는 거리뷰 영상을 위한 구조적으로 기반을 둔 공간 표현 프레임워크인 DM-KG(Direction-Metric Knowledge Graph)를 제안한다. 단일 2D 영상에서 개체 간의 방향적 및 거리(metric) 관계를 명시적으로 추출함으로써, 이 프레임워크는 구조화된 지식 그래프를 통해 VLM의 공간 추론 정확도를 향상시킨다. 구체적으로, panoptic segmentation과 metric depth estimation을 통합하여 개체 수준의 3D 공간 좌표를 견고하게 계산한다. 이후 개체 쌍의 시계 방위각(clock azimuths)과 유클리드 거리를 JSON 형식의 지식 그래프로 인코딩하고, 이를 VLM에 공간 추론을 안내하는 명시적 기하학적 사전(prior)으로 주입한다. 공개 공간 질의응답(QA) 벤치마크에서의 실험 결과, DM-KG는 거리 추정의 평균 절대 오차(MAE)를 31.1% 줄이고 방향 판단의 평균 각도 오차를 65.8% 줄였으며, 동시에 높은 QA 성공률을 유지함을 보여준다. 완전한 증강 추론 파이프라인을 구축함으로써, 본 연구는 거리뷰 시나리오에서 VLM의 공간 인지 능력을 크게 향상시키며, 개방 환경에서의 지리 시각 질의응답(GeoVQA)을 위한 유연하고 일반화 가능하며 해석 가능한 프레임워크를 제공한다.

arXiv:2607.12284v1cs.CV

GeoSEAN: ASEAN 지역을 위한 설명 가능한 국가 수준 이미지 지리위치 추정

GeoSEAN: Explainable Country-Level Image Geolocation for ASEAN Regions

이미지 지리위치 추정(image geolocation)은 시각적 콘텐츠만으로 이미지의 지리적 출처를 추론하는 것을 목표로 한다. 그러나 이 과업은 도시, 도로변, 건축, 환경적 특성이 유사한 국가들이 공유하는 지역에서는 여전히 어렵다. 기존의 많은 지리위치 추정 모델은 좌표 수준 예측이나 분류(classification) 성능에 초점을 맞추면서, 시각적 증거가 위치 예측에 어떻게 기여하는지에 대한 통찰은 제한적으로 제공한다. 본 연구는 11개 ASEAN 국가를 위한 설명 가능한 국가 수준 이미지 지리위치 추정 파이프라인을 제시한다. 먼저 GeoGuessr 스타일 소스, Google Images, 추가 도로 수준(street level) 영상에서 4,850장의 이미지를 수집하였다. 이어서 이 데이터셋(dataset)에 대해 세 가지 접근법을 평가하였다: CLIP 제로샷(zero-shot) 분류, LightGBM 분류기, MLP 분류기. MLP가 최고의 테스트 성능을 달성하여 정확도와 F1 점수 85.91%를 기록하였다. 설명 가능성(explainability)을 위해 MLP 분류기가 생성한 예측을 사후(post hoc) 분석하였으며, CLIP 어텐션(attention) 롤아웃(rollout), 원본 이미지에 대한 YOLO26 객체 검출(object detection), Energy Based Pointing Game(EBPG) 겹침(overlap) 지표를 사용하였다. 객체 수준 분석에 따르면, 자주 검출되는 객체가 반드시 가장 높은 어텐션 밀도와 연관되지는 않으며, 이는 객체 빈도와 어텐션 기반 시각적 증거가 장면의 서로 다른 측면을 포착함을 시사한다. 이러한 결과는 제안된 모델(model)이 정확한 지역 이미지 지리위치 추정을 지원하면서, 예측의 근거가 되는 시각적 단서에 대한 객체 수준 검사를 가능하게 함을 보여준다.

arXiv:2607.12231v1cs.CV

GEST-Engine: 이벤트 그래프에서 합성 비디오까지. 전체 기술 보고서

The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report

본 논문은 자연어 텍스트부터 완전히 주석이 달린 다중 행위자(multi-actor) 비디오까지 이르는 완전한 시스템인 GEST-Engine을 제시한다. 핵심에는 명시적 월드 모델(explicit world model)이 있다. 상태를 학습된 잠재 표현(learned latent)으로 인코딩하는 대신, 엔진은 세계의 완전하고 검사 가능한 표현—어떤 행위자가 존재하는지, 어디에 있는지, 무엇을 하고 있는지, 어떤 물체를 들고 있는지, 이벤트가 시간과 공간에서 어떻게 연관되는지—을 유지하며, 이를 공간과 시간 속 이벤트 그래프(Graph of Events in Space and Time, GEST)로 형식화하여 표현하고, 오픈소스 멀티플레이어 스크립팅 프레임워크를 통해 구동되는 상용 게임 엔진의 개방형 세계 안에서 결정론적으로 구현한다. GEST는 절차적 방식으로 생성되거나, 대규모 언어 모델(LLM) Director가 프로그램적 상태 백엔드에 의해 검증된 도구 호출을 통해 이야기를 계획하는 에이전트형(agentic) text-to-GEST 시스템을 통해 생성되므로, 생성된 모든 명세는 구성상(by construction) 실행 가능하다. GEST는 이후 4단계 실행 파이프라인—그래프 파싱 및 검증, 엔티티 및 액션 그라운딩(grounding), 시간적 오케스트레이션(Allen 스타일 제약을 Floyd-Warshall 전이 폐쇄로 해결), 실행 및 캡처—에 진입한다. 단일 시뮬레이션 패스에서 엔진은 프레임 정렬 RGB 비디오, 픽셀 단위 밀집 깊이(dense per-pixel depth), 인스턴스 분할(instance segmentation), 행위자별 스켈레톤 포즈, 프레임별 쌍방 공간 관계 그래프, 2D 경계 상자(bounding box), 이벤트-프레임 시간 매핑, 자연어 설명을 모두 출력하며, 이 모든 것의 한계적 주석 비용은 0이다. 또한 게임 내 월드 에디터, 런타임 역량 추출, 텍스트 생성 파이프라인, 병렬 가상 머신에 걸쳐 대규모로 코퍼스를 렌더링하는 프로덕션 시스템을 설명한다. 모든 프레임이 의미론적 명세에 역추적되기 때문에, 엔진은 구성상 물체 영속성(object permanence), 다중 행위자 조율, 시간적 일관성을 보장하며, 이로 인해 출력은 비디오 이해를 위한 학습 데이터, 평가 벤치마크, 진단 도구로서 가치가 있다.