PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14560v1cs.CV

장기 증분 3D 객체 검출에서 모델 망각 주기의 돌파

Breaking the Model Forgetting Cycle in Long-Incremental 3D Object Detection

증분 3D 객체 검출은 검출기가 순차적으로 도착하는 데이터에 대해 새로운 객체 클래스를 학습하면서 이전에 학습한 클래스를 기억해야 한다. 이전 방법들은 주로 의사 레이블링(pseudo-labeling)에 기반하여 짧은 증분 단계에서는 합리적인 성능을 보이지만, 긴 증분 시퀀스를 다룰 때 여전히 심각한 모델 망각을 겪는다. 우리는 이 실패를 조사하여 해로운 자기 강화 주기를 밝혀냈다: 새 클래스의 데이터 분포 이동(distribution shift)이 구 클래스에 대한 모델 망각을 유발하고, 이는 다시 의사 레이블링의 누적 오류를 만들어 모델 저하를 악화시킨다. 이 문제를 해결하기 위해 인간의 학습 과정에서 영감을 얻어 Learning-Dynamics-driven Memory and Review(LDMR) 프레임워크를 제안한다. LDMR은 주기적인 학습 체크포인트에서 클래스별 검출 품질을 모니터링하고, 이러한 학습 역학(learning-dynamics) 신호를 이용해 두 가지 혁신적 메커니즘을 구동한다. 즉, (i) 각 증분 단계를 여러 하위 단계의 학습으로 나누고 가장 많이 잊힌 객체의 기억에 집중하는 인간과 유사한 단계 내 복습(intra-stage review), (ii) 장면 학습 가능성(scene learnability)과 다양성(diversity)을 함께 고려하여 연속된 두 단계 간 지식을 전달하기 위해 메모리 뱅크를 진화시키는 장면 인식(scene-aware) 단계 간 메모리 진화(cross-stage memory evolution)이다. SUN RGB-D 및 ScanNetV2 실내 벤치마크에서 여러 장기 증분 프로토콜에 걸친 광범위한 실험을 통해 LDMR이 모델 망각을 실질적으로 완화하고 모든 baseline을 뚜렷한 마진으로 능가함을 보였다. 코드는 https://github.com/qianpeisheng/LDMR 에서 이용할 수 있다.

arXiv:2607.14497v1cs.CV

Ego Scene Augmentation을 통한 멀티모달 대규모 언어 모델의 자기중심적 공간 인지 강화

Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation

자기중심적 시각 질의응답(Egocentric Visual Question Answering, VQA)은 멀티모달 대규모 언어 모델(MLLM)이 실세계와 상호작용할 수 있도록 하는 중요한 과제로서 널리 주목받고 있다. 그러나 기존 MLLM은 공간 인지 능력이 제한적이어서 복잡한 자기중심적 장면에서 효과적인 공간 추론을 수행하는 데 어려움을 겪는다. 이를 위해 우리는 제안한 Ego-element Graph를 기반으로 자기중심적 관점에서 공간 인지 능력을 적극적으로 향상시키는 자기중심적 공간 인지 프레임워크인 Ego Scene Augmentation(ESA)을 제안한다. 우리의 핵심 통찰은 시각 기초 모델(visual foundational models)을 통해 Ego-element Graph를 중간 표현으로 활용하여 MLLM의 자기중심적 공간 인지를 증강하는 것이다. 구체적으로, 우리는 1) 시각 기초 모델이 제공하는 자기중심적 공간 특징을 캡슐화하고 통합하는 Ego-element Graph를 구축하고, 2) 자기 시점 장면에 대해 Ego-element Graph를 통해 MLLM의 공간 인지 능력을 향상시킨다. 제안한 ESA 프레임워크는 EgoTextVQA 벤치마크에서 유의미한 성능 향상을 보여준다. 실내 설정에서 8.14%, 실외 설정에서 8.72%의 향상을 달성했다. 또한 ESA는 실내 설정의 쇼핑(shopping) 하위 집합에서 가장 인상적인 성능 향상을 보인다. 프로젝트 코드는 공개되어 있다.

arXiv:2607.14228v1cs.CV

SeeSE3: 비전 특징에서 3D 공간의 창발

SeeSE3: Emergence of 3D Space in Vision Features

본 논문에서는 비전 파운데이션 모델이 3D 유클리드 공간의 본질적 성질을 반영하는 표현(representation)을 구성하는지 조사한다. 깊이나 법선(normal)과 같은 이미지 중심적 변수에 대한 회귀(regression)를 통해 비전 특징의 3D 인지도를 탐색(probe)했던 선행 연구와 달리, 우리는 시각 특징 공간의 구조와 유클리드 변환 $SE(3)$ 군(group) 사이의 관계를 조사한다. 위상(topological)적·기하(geometric)적 관점 모두에서 이 관계를 평가하는 탐색기(probe) 집합을 제안한다: 특징 이웃과 공간 위상(topology) 사이의 정렬(alignment)을 측정하는 상호 이웃(mutual neighborhood) 지표, 그리고 정적 장면에서 잠재 변위(latent displacement)로부터 카메라 운동(camera motion)의 기하(geometry)에 대한 선형 접근성(linear accessibility)을 검증하는 Poincaré Adapter. 올바르게 탐색하면, 원칙적으로 직접적인 3D 지도학습 또는 능동적 에이전시(active agency) 없이 학습된 자기지도(self-supervised) 비전 모델이 3차원 유클리드 공간과 놀랄 정도로 강하게 상관된 잠재 부공간(latent subspace)을 보유함을 보인다. 이 통찰을 바탕으로, 명시적 3D 재구성 없이 잠재 공간에서만 시각 주행거리 측정(visual odometry)과 위치 추정(localization)을 수행하는 "Latent-Space Navigation" 기법의 새로운 클래스를 제안한다.

arXiv:2603.29759v3cs.CV

TSHA: 신뢰할 수 있는 안전 위험 평가 시나리오에서의 비전-언어 모델 벤치마크

TSHA: A Benchmark for Visual Language Models in Trustworthy Safety Hazard Assessment Scenarios

최근 비전-언어 모델(VLM)의 발전으로 실내 안전 위험 평가에 대한 적용이 가속화되었다. 그러나 기존 벤치마크는 세 가지 근본적인 한계를 지닌다: (1) 시뮬레이션 소프트웨어로 구축된 합성 데이터셋에 대한 과도한 의존으로, 실제 환경과 상당한 도메인 갭(domain gap)을 만든다; (2) 위험 및 장면 유형에 인위적 제약이 있는 과도하게 단순화된 안전 과제로, 모델의 일반화를 제한한다; (3) 복잡한 가정 안전 시나리오에서 모델 역량을 철저히 평가할 엄격한 평가(evaluation) 프로토콜의 부재. 이러한 과제를 해결하기 위해, 우리는 66,668개의 검증된 질의-응답(QA) 쌍으로 구성된 포괄적 벤치마크인 TSHA(Trustworthy Safety Hazards Assessment)를 제안한다. 여기에는 기존 실내 데이터셋, 인터넷 프레임/이미지, AIGC 이미지, 새로 촬영한 이미지, Hunyuan 파노라마 이미지에서 추출한 64,961개의 신중하게 큐레이션된 학습 QA 쌍이 포함된다. 이 벤치마크에는 또한 1,707개의 QA 쌍으로 구성된 매우 어려운 테스트 세트가 포함되며, 학습 분포에서 신중하게 선별된 부분집합뿐만 아니라 복수의 안전 위험을 포함한 새로 추가된 Sora 생성 비디오 및 Hunyuan 파노라마 이미지도 포함되어, 복잡한 안전 시나리오에서 모델의 견고성(robustness)을 평가하는 데 사용된다. 22개의 인기 VLM에 대한 광범위한 실험은 현재 VLM이 안전 위험 평가를 위한 견고한 역량이 부족함을 보여준다. 중요하게도, TSHA 학습 세트로 학습(training)된 모델은 TSHA 테스트 세트에서 최대 +18.3점의 유의미한 성능 향상을 달성하며, 다른 벤치마크에서도 향상된 일반화성을 보여 TSHA 벤치마크의 상당한 기여와 중요성을 강조한다.

arXiv:2603.18624v2cs.RO

REST: 제로샷 객체-목표 내비게이션을 위한 후퇴 지평 탐색 스타이너 트리

REST: Receding Horizon Explorative Steiner Tree for Zero-Shot Object-Goal Navigation

제로샷 객체-목표 내비게이션(ZSON)은 과제별 학습 없이 미지의 환경에서 목표 객체를 찾기 위해 이동해야 한다. 기존 계층적 해결책은 주로 장면 이해와 표현(belief) 또는 고수준 의사결정과 계획(policy) 중 하나에 집중하지만, 옵션—즉 belief가 제안하고 policy가 선택하는 하위목표 후보—을 인접 모듈에서 물려받은 인터페이스로 다룰 뿐, 그 자체의 설계 축으로는 다루지 않는다. 실제로 옵션은 대부분 목적지 유틸리티로 점수화된 단일 경유점이며, 단일 목적지는 경로상에서 얻은 가치를 숨기고, 평탄한 목록은 후보들 간의 관계를 가린다. 우리의 통찰은 옵션 공간이 경로들의 트리여야 한다는 것이다. 전체 경로는 목적지만 점수화할 때 체계적으로 간과되는 경로상 정보 이득을 드러내며, 공유 구간의 트리는 개별 잎을 검토하기 전에 전체 가지를 기각하거나 추구하는 거친-세밀 LLM 추론을 가능하게 하여 조합적 경로 공간을 효율적인 계층으로 압축한다. 이 통찰을 REST(Receding Horizon Explorative Steiner Tree)에 구현했으며, 이는 (1) 온라인 RGB-D 스트림으로부터 명시적 개방어휘 3D 맵을 구축하고, (2) 샘플링 기반 계획을 통해 안전하고 정보가 풍부한 경로들의 에이전트 중심 트리를 옵션 공간으로 성장시키며, (3) 각 가지를 공간적 서사로 텍스트화하고 사고의 연쇄(chain-of-thought) LLM 추론으로 최선의 다음 경로를 선택하는 학습 없는 프레임워크이다. Gibson, HM3D, HSSD 벤치마크에서 REST는 성공률과 경로 효율성 측면에서 지속적으로 최상위 방법들 중 하나에 해당한다.

arXiv:2603.09760v2cs.CV

PanoAffordanceNet: 360° 실내 환경에서의 통합적 어포던스 그라운딩

PanoAffordanceNet: Towards Holistic Affordance Grounding in 360° Indoor Environments

360° 공간에서 체현형 에이전트(embodied agents)에게 전역 인식은 필수적이지만, 현재 어포던스 그라운딩(affordance grounding)은 대부분 객체 중심적이며 원근 뷰(perspective views)에 제한되어 있다. 이 간극을 메우기 위해 360° 실내 환경에서의 통합적 어포던스 그라운딩(Holistic Affordance Grounding in 360° Indoor Environments)이라는 새로운 태스크를 도입한다. 이 태스크는 등거리 원통 투영(Equirectangular Projection, ERP)으로 인한 심각한 기하 왜곡, 의미 분산(semantic dispersion), 교차 스케일 정렬(cross-scale alignment)의 어려움 등 고유한 도전에 직면한다. 우리는 PanoAffordanceNet이라는 end-to-end 프레임워크를 제안하는데, 위도 의존적 보정을 위한 왜곡 인식 스펙트럴 변조기(Distortion-Aware Spectral Modulator, DASM)와 희소 활성화(sparse activations)로부터 위상적 연속성(topological continuity)을 복원하는 전구형 밀집화 헤드(Omni-Spherical Densification Head, OSDH)를 특징으로 한다. 픽셀 단위, 분포적, 영역-텍스트 대조 목표로 구성된 다중 수준 제약을 통합함으로써, 본 프레임워크는 낮은 수준의 감독 하에서 의미 표류(semantic drift)를 효과적으로 억제한다. 또한 최초의 고품질 전경(panoramic) 어포던스 그라운딩 데이터셋인 360-AGD를 구축한다. 광범위한 실험을 통해 PanoAffordanceNet이 기존 방법들을 크게 능가하며, 체현 지능(embodied intelligence)에서 장면 수준 인식을 위한 견고한 기준선을 확립함을 보여준다. 소스 코드와 벤치마크 데이터셋은 https://github.com/GL-ZHU925/PanoAffordanceNet 에서 공개될 예정이다.

arXiv:2509.24566v2cs.CV

TokenSwap: 대규모 비전-언어 모델의 구성적 이해에 대한 백도어 공격

TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models

대규모 비전-언어 모델(LVLM)은 다양한 비전-언어 과제에서 인상적인 성능을 달성했지만, 백도어 공격에 여전히 취약하다. 기존 LVLM 백도어 공격은 피해 모델이 미리 정의된 대상 패턴을 생성하도록 강제하는 것을 목표로 하며, 이 패턴은 원본 콘텐츠에 삽입되거나 원본을 대체한다. 우리는 이러한 고정 패턴 공격이 상대적으로 탐지하기 쉽다는 것을 발견했다. 공격받은 LVLM이 학습 데이터셋에서 이러한 빈번한 패턴을 암기하는 경향이 있어, 오염된 입력에 대해 이러한 대상에 과신(overconfidence)을 보이기 때문이다. 이러한 한계를 해결하기 위해, LVLM의 구성적 이해 능력에 초점을 맞춘 더 회피적이고 은밀한 백도어 공격인 TokenSwap을 제안한다. 고정된 대상 콘텐츠를 강제하는 대신, TokenSwap은 텍스트에서 객체 관계에 대한 이해를 미묘하게 교란한다. 구체적으로, 백도어가 심어진 모델이 이미지의 올바른 객체는 언급하지만 그 관계를 잘못 표현하는 출력을 생성하게 한다(즉, bag-of-words 행동). 학습 중 TokenSwap은 선택된 샘플에 시각적 트리거를 주입하고, 동시에 해당 텍스트 답변에서 핵심 토큰의 문법적 역할을 교환한다. 그러나 오염된 샘플은 원본과 미묘한 차이만을 보이므로, 모델이 백도어 행동을 학습하기 어렵게 만든다. 이를 해결하기 위해 TokenSwap은 교환된 토큰의 학습을 명시적으로 강조하는 적응형 토큰 가중 손실을 사용하여, 시각적 트리거와 bag-of-words 행동이 연관되도록 한다. 광범위한 실험을 통해 TokenSwap이 여러 벤치마크와 다양한 LVLM 아키텍처에서 뛰어난 회피성과 은밀성을 유지하면서 높은 공격 성공률을 달성함을 보여준다.

arXiv:2509.19244v3cs.CV

Lavida-O: 통합 멀티모달 이해 및 생성을 위한 탄력적 대규모 마스크드 확산 모델

Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation

본 논문은 멀티모달 이해 및 생성을 위한 통합 마스크드 확산 모델(Masked Diffusion Model, MDM)인 Lavida-O를 제안한다. MMaDa, Muddit와 같이 단순한 이미지 수준 이해 작업과 저해상도 이미지 생성만 지원하는 기존 멀티모달 MDM과 달리, Lavida-O는 이미지 수준 이해, 객체 그라운딩(object grounding), 이미지 편집, 고해상도(1024px) 텍스트-이미지 합성을 가능하게 하는 단일 프레임워크를 제시한다. Lavida-O는 경량 생성 분기와 더 큰 이해 분기를 결합한 새로운 Elastic 혼합-트랜스포머(Elastic Mixture-of-Transformers, Elastic-MoT) 아키텍처를 도입하며, 토큰 압축, 범용 텍스트 조건화, 계층적 샘플링(stratified sampling)을 통해 효율적이고 고품질의 생성을 지원한다. Lavida-O는 이미지 생성 및 편집 작업에 계획(planning)과 반복적 자기 반성(iterative self-reflection)을 추가로 통합하여, 이해 능력으로 생성 품질을 자연스럽게 향상시킨다. Lavida-O는 RefCOCO 객체 그라운딩, GenEval 텍스트-이미지 생성, ImgEdit 이미지 편집 등 광범위한 벤치마크에서 최첨단 성능을 달성하며, Qwen2.5-VL, FluxKontext-dev와 같은 기존 자기회귀 모델 및 연속 확산 모델을 능가하면서 추론에서 상당한 속도 향상을 제공한다. 이러한 진전은 Lavida-O를 확장 가능한 멀티모달 추론 및 생성의 새로운 패러다임으로 자리매김한다.

arXiv:2509.14839v3cs.CV

MapAnything: 3D 도시 자산 위치 추정을 위한 단안 메트릭 깊이 모델 평가

MapAnything: Evaluating Monocular Metric Depth Models for 3D Urban Asset Localization

도시 행정 기관은 교통 표지판과 나무 같은 도시 자산뿐 아니라 낙서나 도로 손상 같은 사건에 대한 포괄적인 데이터베이스와 디지털 트윈(digital twin)에 점점 더 의존하여 도시 상태에 대한 효과적인 개괄을 유지하고 있다. 디지털화는 지속적으로 갱신되는 공간 데이터셋(spatial dataset)에 대한 수요를 증가시켰지만, 현재 데이터 수집 및 유지보수 프로세스에는 여전히 상당한 수작업이 필요하여 확장성(scaling) 측면에서 큰 문제를 야기한다. 본 논문은 단일 단안(monocular) 이미지로부터 도시 객체와 사건의 공간 매핑을 자동화하는 체계적인 평가 파이프라인인 MapAnything을 소개한다. 고급 Metric Depth Estimation 모델을 활용하여 MapAnything은 객체의 지리 좌표(geocoordinate)를 정확히 계산하고, 2D 이미지 데이터를 유용한 3D 공간 정보로 변환한다. 해당 방법론은 추정된 카메라-객체 거리를 기하학적 원리와 알려진 카메라 사양과 통합한다. 우리는 복잡한 도시 환경에서 고정밀 LiDAR 포인트 클라우드와의 거리 추정 정확도를 비교하며, 이 프레임워크에 대한 상세한 검증(validation)을 제시한다. 우리의 평가는 도로와 식생(vegetation)과 같은 다양한 거리 구간 및 의미론적(semantic) 영역에 걸친 공간 성능에 대한 세밀한 분석을 제공한다. 마지막으로, 교통 표지판 및 도로 노면 손상 매핑을 포함한 구체적인 사용 사례를 통해 프레임워크의 실용적 효과를 입증하고, 자동화된 도시 인벤토리 시스템에의 통합을 위한 권장 사항을 제공한다.

arXiv:2508.18242v2cs.CV

GSVisLoc: 가우시안 스플래팅 장면 표현을 위한 일반화 가능한 시각적 위치 추정

GSVisLoc: Generalizable Visual Localization for Gaussian Splatting Scene Representations

본 논문에서는 3D Gaussian Splatting(3DGS) 장면 표현을 위해 설계된 시각적 위치 추정 방법인 GSVisLoc을 제안한다. 장면의 3DGS 모델과 쿼리 이미지가 주어졌을 때, 목표는 카메라의 위치와 방향을 추정하는 것이다. 이를 위해 장면 특징과 이미지 특징을 견고하게 매칭한다. 장면 특징은 3D Gaussian을 다운샘플링하고 인코딩하여 생성하며, 이미지 특징은 이미지 패치를 인코딩하여 얻는다. 알고리즘은 세 단계로 진행되며, 먼저 거친 매칭(coarse matching)을 수행하고, 이어서 정밀 매칭(fine matching)을 거친 뒤, 마지막으로 포즈 정제(pose refinement)를 적용하여 정확한 최종 추정값을 산출한다. 중요하게, 본 방법은 수정, 재학습, 또는 추가 참조 이미지 없이도 명시적 3DGS 장면 표현을 시각적 위치 추정에 활용한다. 실내 및 실외 장면 모두에서 GSVisLoc을 평가하였으며, 표준 벤치마크에서 경쟁력 있는 위치 추정 성능을 보이면서 기존 3DGS 기반 베이스라인을 능가함을 보였다. 또한 본 접근법은 추가 학습 없이 새로운 장면에도 효과적으로 일반화된다.

arXiv:2507.19474v2cs.CV

DINO-SLAM: 신경 암시적·명시적 표현을 위한 DINO 기반 RGB-D SLAM

DINO-SLAM: DINO-informed RGB-D SLAM for Neural Implicit and Explicit Representations

본 논문은 DINO-SLAM을 제안한다. DINO-SLAM은 DINO가 제공하는 더 포괄적인 의미(semantic) 이해를 통해 SLAM 시스템에서 암시적 표현(Neural Radiance Field, NeRF)과 명시적 표현(Gaussian Splatting, GS)을 향상시키는 DINO 기반 설계 전략이다. 그러나 DINO만으로는 적절한 3D 기하(geometry) 이해가 부족하여 개선 폭이 제한적이다. 따라서 본 연구는 Scene Geometry Encoder(SGE)를 사용하여 DINO 특징(feature)을 기하 인식 DINO 특징(geoDINO)으로 풍부하게 만들고, 순수 DINO 특징이 포착하지 못하는 기하적 관계를 더 잘 이해한다. 이를 바탕으로 geoDINO 특징을 통합한 NeRF 및 GS SLAM 시스템을 위한 두 가지 기본 패러다임을 제안한다. 최신(state-of-the-art) 방법들과 비교했을 때, 제안한 DINO 기반 파이프라인은 Replica, ScanNet, TUM 데이터셋에서 우수한 성능을 달성한다.

arXiv:2607.13188v1cs.LG

동시 이미지 이해 및 생성: 자기 교정 결합 마르코프 점프 과정

Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

인간 인지는 이해와 생성을 분리하지 않는다. 칠판 앞의 교사는 말과 그림을 함께 하며, 각 모달리티가 서로를 재형성한다. 본 논문에서는 이러한 결합 루프를 인공 시스템에 도입한다. 마스크 확산 모델(MDM)은 이 작업에 이상적으로 적합하지만, 기존 샘플러들은 텍스트와 이미지를 교차 디코딩하거나, 이전 단계 이력만 공유하고 동일 단계 내에서 다른 모달리티의 최신 결정은 공유하지 않는 병렬 분기에서 독립적으로 업데이트할 뿐이다. MDM의 재마스킹(remasking) 불가와 결합되면 교차 모달 모순은 감지되거나 복구되지 않는다. 우리는 한 모달리티의 전이율이 교차 모달 어텐션으로 가중된 다른 모달리티의 신뢰도 점수의 함수가 되는 프레임워크인 자기 교정 결합 마르코프 점프 과정(SC-CMJP)을 제안한다. 또한 재마스킹 점프는 교차 모달 증거가 결정에 반대될 순간 해당 확정을 철회한다. SC-CMJP와 함께, 결합 멀티모달 생성을 위한 새로운 학습 없는(training-free) 단일 패스 샘플러인 CO₂Jump(Self-Correcting Coupled Jump)를 제안한다. 학습 및 평가를 위해 JEdit-1M, JMaze-200K, JNono-200K의 세 가지 대규모 결합 멀티모달 생성 코퍼스를 구축했으며 공개할 예정이며, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 벤치마크를 함께 제공한다. CO₂Jump는 이미지 이해 및 편집뿐 아니라 시각적 추론(미로 및 논노그램 퍼즐 해결)에서도 최고의 결합 성능을 달성한다. 샘플러의 성능은 디노이징(denoising) 단계 수에 따라 단조(monotonically) 증가하며, 이는 교차 모달 결합의 이점이 궤적 전반에 걸쳐 누적(compound)됨을 보여준다. 프로젝트 페이지: https://coupled-jump.github.io

arXiv:2607.13110v1cs.LG

오디오-비주얼 내비게이션을 위한 하이브리드 Mamba

A Hybrid Mamba for Audio-Visual Navigation

2020년에 합성곱 신경망(CNN)과 순환(recurrent) 아키텍처를 중심으로 한 패러다임이 정립된 이래, 오디오-비주얼 내비게이션의 기본 백본 네트워크는 5년 이상 본질적인 변화가 없어 동적 다중모달 시퀀스의 효율적인 표현을 지원하기에 부적합하다. 본 논문은 Samba(A Hybrid Mamba for Audio-Visual Navigation)를 제안한다. 적응형 선택 기능을 갖춘 Mamba State Encoder(M-SE)를 사용하여 시간적 집계를 위해 기존 GRU를 대체하고, 스펙트로그램에서 전역 시간-주파수 의존성을 포착하는 데 있어 합성곱 연산자의 한계를 보완하기 위해 Audio Mamba Encoder(AME)를 구성한다. 실험 결과, Samba는 들어보지 못한 음원과 보지 못한 장면에 직면했을 때 뛰어난 일반화 성능을 보인다. Matterport3D 데이터셋에서 기존 최첨단 모델 대비 내비게이션 성공률(SR)을 11.3% 향상시키며, 보다 세밀한 장면 구조를 특징으로 하는 Replica 데이터셋에서는 성능 향상이 더욱 두드러진다. 이러한 현대화된 아키텍처 재구성은 더 낮은 계산 비용으로 더 강력한 체화된 표현 능력을 제공하며, 오디오-비주얼 내비게이션 분야의 패러다임 진화를 위한 매우 견고한 기술적 경로를 제시한다.

arXiv:2405.17366v3cs.LG

EM-GANSim: 조건부 GAN을 이용한 3D 실내 장면의 실시간 정밀 전자기 시뮬레이션

EM-GANSim: Real-time and Accurate EM Simulation Using Conditional GANs for 3D Indoor Scenes

우리는 3D 실내 환경에서 무선 통신 시뮬레이션에 사용되는 실시간 전자기(EM) 전파를 위한 새로운 머신러닝(ML) 접근법(EM-GANSim)을 제안한다. 우리 접근법은 전자기 전파 이론을 준수하면서 인코딩된 기하 구조와 송신기 위치를 통합한 수정된 조건부 생성적 적대 신경망(GAN)을 사용한다. 전체적으로 물리 기반 학습은 히트맵으로 표현되는 3D 장면 내 전력 분포를 예측할 수 있다. 우리는 15개의 복잡한 3D 실내 환경에서 방법을 평가했으며, 결과에는 이후 4개의 추가 시나리오를 포함하여 다양한 조건에서 모델의 일반화 가능성을 입증했다. 전체적인 정확도는 더 낮은 평균 제곱 오차 값으로 입증되듯, 레이 트레이싱 기반 EM 시뮬레이션과 비슷하다. 또한 GAN 기반 방법은 계산 시간을 크게 줄여 복잡한 벤치마크에서 5배 속도 향상을 달성한다. 실제로 3D 실내 환경의 임의 위치에서 신호 강도를 수 밀리초 만에 계산할 수 있다. 또한 3D 모델과 EM 레이 트레이싱으로 시뮬레이션한 히트맵으로 구성된 대규모 데이터셋을 제공한다. 우리가 아는 한 EM-GANSim은 복잡한 3D 실내 환경에서 EM 시뮬레이션을 위한 최초의 실시간 알고리즘이다. 코드와 데이터셋 공개를 계획하고 있다.

arXiv:2607.13881v1cs.CV

실세계 학습 없는 HOI 탐지를 위한 멀티모달 대규모 언어 모델 활용

Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild

인간-객체 상호작용 탐지(HOID)는 전통적으로 사전 정의된 상호작용 범주에 대한 지도 학습 기반 탐지 문제로 공식화되어 왔다. 이러한 패러다임은 폐쇄 집합 벤치마크에서 강한 성능을 달성하지만, 상호작용 이해를 데이터셋 특유의 지도와 근본적으로 얽히게 하여 개방 세계 및 조합적 시나리오로의 일반화 능력을 제한한다. 최근 HOI 탐지기들은 프롬프트 전략을 통해 MLLM을 활용하여 상호작용 특화 지식을 전이하려 시도한다. 그러나 이러한 프롬프트 기반 접근법은 주로 사전학습된 모델로부터 판별적 표현을 추출하는 데 집중하며, 내재된 멀티모달 추론 능력은 충분히 탐구하지 않는다. 결과적으로, 모호하고 개방 세계적인 상호작용 시나리오에 대해 정보가 풍부한 문맥적 추론을 제공하는 데 어려움을 겪는다. 본 연구에서는 실세계 HOI 탐지에 기반 모델의 범용 멀티모달 추론 능력을 전이하는 학습 없는 에이전트형 프레임워크인 AgentHOI를 제안한다. AgentHOI는 상호작용 분류기를 학습하는 대신, 보완적인 비전 기반 모듈을 모듈식으로 조율하여 개방형 의미 추론과 공간적 그라운딩을 조화롭게 수행한다. 복잡한 장면에서 불완전한 상호작용 발견과 모호한 위치 지정 문제를 해결하기 위해 두 가지 핵심 메커니즘을 도입한다: (1) 문맥 인식 다중 라운드 추론(Context-aware Multi-round Reasoning)은 상호작용 가설을 점진적으로 정제하여 포괄적이고 조합적인 HOI 발견을 보장한다. (2) 다면적 상호작용 위치 지정(Multifaceted Interaction Localization)은 의미, 공간, 외형 단서를 통합하는 인스턴스별 설명을 생성하여 그라운딩 정밀도를 향상시킨다. 광범위한 실험 결과, AgentHOI는 HOID 데이터로 학습할 필요 없이도 실세계 환경에서 최신 지도 학습 및 약지도 학습 방법들보다 우수한 성능을 달성함을 보여준다.

arXiv:2607.13681v1cs.CV

실환경에서 공간 초지각(Spatial Supersensing)을 향하여

Towards Spatial Supersensing in the Wild

인간은 몇 시간에서 수년에 이르는 연속적인 감각 스트림을 효율적으로 파싱하여, 공간적 추론과 예측을 그라운딩(grounding)하는 내부 세계 모델(world model)을 구축할 수 있다. 이 능력을 모방하기 위해 공간 초지각(spatial supersensing)은 멀티모달 모델에게 언어적 이해를 넘어 진정한 세계 모델링(world modeling)으로 나아가도록 도전 과제를 제시한다. 그러나 기존 벤치마크는 무작위 짧은 클립을 이어 붙여 만든 합성 장기 영상에 의존하며, 대체로 가정 실내 장면에 한정되어 있어 실세계의 연속성과 다양성은 충분히 탐구되지 않았다. 이 간극을 해소하기 위해, 다양한 실환경(in-the-wild) 장면에서 긴 시간적 범위(temporal horizon)에 걸친 공간 초지각을 평가하는 대규모 벤치마크인 $\textbf{VSI-Super-Wild}$를 제안한다. 특히 인간이 경험을 구조화하는 방식에 대한 인지 연구에서 영감을 받아, 세계 상태(world state)의 전체 삼중 주체를 체계적으로 탐색한다: 에이전트(관찰자), 객체(장면 항목), 환경(장소 및 전역 레이아웃). $\textbf{VSI-Super-Wild}$는 총 8개 장면 범주에 걸친 $\textbf{442}$개의 실세계 영상에서 파생된 $\textbf{6,980}$개의 사람이 검증한 질의-응답(question-answer) 쌍을 포함하며, 4시간을 넘는 장시간 녹화도 포함한다. $\textbf{VSI-Super-Wild}$에서의 결과는 근본적인 단절을 드러낸다: 정적 이미지 이해의 발전에도 불구하고, 모델은 시간에 걸친 일관된 세계 상태 추적을 요구하는 과제에서 지속적으로 실패한다. 우리는 세계 상태 복잡도와 시간적 범위에 따른 성능 저하 양상을 규명하고, 네 가지 실패 모드—공간 붕괴(spatial collapse), 의미적 지름길(semantic shortcuts), 불충분한 갱신(insufficient update), 인스턴스 혼동(instance confusion)—을 진단한다. 이 분류 체계는 모델이 객체, 에이전트, 환경을 통합된 공간적 세계 모델로 결합(bind)하는 메커니즘을 갖추지 못했음을 보여주며, 이는 공간 초지각을 위한 앞으로의 방향을 규정하는 근본적 격차이다.

arXiv:2607.13653v1cs.CV

탐험적, 소통형, 그리고 배포 가능한: 오픈 월드 모바일 매니퓰레이션을 위한 비전 주도 체화 에이전트

Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation

체화 에이전트의 실제 환경 배포에는 능동적 탐험, 시각적 그라운딩, 그리고 대화형 의도 모호성 해소가 필요하다. 그러나 기존 프레임워크는 종종 특권적인 시뮬레이터 상태에 의존하거나 완전한 지시를 가정하여 현실적인 배포 과제를 우회하는 경우가 많다. 이 간극을 메우기 위해, 우리는 오픈 월드 모바일 매니퓰레이션을 위한 에이전트형 프레임워크인 REAL을 제안한다. REAL은 오라클 인식 없이 sim-to-real 일관성 환경 API를 구축하고, human-in-the-loop 상호작용을 가능하게 하기 위해 시뮬레이션 사용자를 통합한다. 이 환경 내에서 우리는 데이터 수집, 지도 미세조정, 온라인 강화학습을 이끌기 위해 다양한 과제 구성을 설계하고, 에이전트 성능을 체계적으로 최적화한다. 이 접근법을 종합적으로 평가하기 위해, 능동적 탐험, 시각적 방해, 관절형 조작, 대화형 모호성 해소에 걸친 241개 과제를 아우르는 벤치마크 REAL-Bench를 도입한다. 실험 결과, 우리가 학습한 에이전트가 대화형 과제에서 56.9%의 성공률로 주요 상용 폐쇄형 VLM을 능가함을 보여준다. 추가 실증 분석은 우리의 계층적 학습 파이프라인이 확장된 탐험 지평 하에서 견고한 오픈-어휘 추론을 유지하면서 모델의 도구 사용 능력을 성공적으로 정렬함을 밝힌다. 마지막으로 우리는 물리적 양팔 이동 로봇에 프레임워크를 배포·평가했으며, 60회의 실세계 에피소드에서 78.3%의 end-to-end 성공률을 달성했다. 이 물리 실험은 보지 못한 가정 시나리오에 대한 견고한 제로샷 전이 가능성을 보여 주며, sim-to-real 일관 설계가 장기간 모바일 매니퓰레이션에서 현실 격차를 성공적으로 메웠음을 검증한다. 코드는 https://github.com/InternRobotics/REAL 에서 제공된다.

arXiv:2607.13481v1cs.CV

GPOcc++: 시각 기하학 사전정보를 활용한 통합 희소 Gaussian 점유 예측

GPOcc++: Unified Sparse Gaussian Occupancy Prediction with Visual Geometry Priors

정확한 3D 장면 이해는 체화 지능(embodied intelligence)과 자율주행의 기초이며, 3D 점유(occupancy)는 객체, 구조, 자유 공간에 대한 통합 표현을 제공한다. 그러나 시각 관측으로부터 이러한 완전한 체적(volumetric) 표현을 복원하는 것은, 특히 가려지거나 관측되지 않은 영역에서 여전히 어렵다. 시각 기하학 사전정보(visual geometry priors)는 이 문제를 해결하기 위한 강력하고 일반화 가능한 기하학적 단서를 제공하지만, 그 출력은 본질적으로 표면 중심(surface-centric)인 반면 점유 예측은 체적 내부와 자유 공간에 대한 추론을 요구한다. 이 간극을 메우기 위해, 우리는 visual geometry priors를 점유 인식(occupancy-aware) 희소 Gaussian 표현으로 변환하여 효율적이고 표현력 있는 체적 장면 모델링을 가능하게 하는 GPOcc를 제안한다. GPOcc를 기반으로 GPOcc++는 통합 프레임워크 내에서 다중 시점(multi-view) 관측과 시간적 시퀀스를 모델링하여, 공간 및 시간적 증거를 동일한 표현으로 처리할 수 있게 한다. 또한 GPOcc++를 실내 장면에서 실외 점유 예측으로 확장한다. 실내 및 실외 벤치마크에서의 광범위한 실험은 다중 시점 및 시간적 설정 모두에서 일관되게 강력한 성능과 함께 우수한 효율성 및 일반화를 보여준다. 코드는 https://github.com/JuIvyy/GPOcc 에서 공개될 예정이다.

arXiv:2607.13468v1cs.CV

HIVE-3D: 고품질 3D 장면 생성을 위한 계층적 복셀 향상

HIVE-3D: Hierarchical Voxel Enhancement for High-Quality 3D Scene Generation

최근 단일 이미지로부터 인상적인 3D 객체를 생성할 수 있는 연구들이 등장했지만, 표현 해상도의 제한으로 인해 3D 장면 생성에는 적합하지 않다. 본 연구에서는 계층적 복셀 향상 프레임워크를 기반으로 한 고품질 3D 장면 생성을 위한 새로운 방법인 HIVE-3D를 제안한다. 구체적으로, 단일 장면 이미지를 입력으로 주면 먼저 거친 초기 장면을 생성한 뒤, 이미지 분할과 어텐션 기반 검색을 도입하여 2D 이미지 구성요소와 3D 장면 구성요소를 정렬한다. 이후 이러한 장면 관계를 계층적 구성요소 트리로 구성하는데, 리프에 가까운 노드일수록 더 세분화된 구성요소를 나타낸다. 마지막으로, 거친 복셀과의 강한 일관성을 유지하면서 대상 인스턴스에 대한 정제된 복셀을 생성하는 복셀 초해상도 모델을 제안한다. 이 모델을 활용하여 각 구성요소에 대해 이미지와 복셀에 대한 거친-세밀(coarse-to-fine) 계층적 초해상도를 수행하여 고해상도이며 고품질의 3D 장면을 생성한다. 광범위한 실험을 통해 본 방법이 이전 접근법들을 크게 능가하며 최첨단(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2607.13245v1cs.CV

적시 씬 그래프 성장: 장기 로봇 작업에서 지각 포화 극복

Just-In-Time Scene Graph Growth: Combating Perceptual Saturation in Long-Horizon Robotics

3D 씬 그래프(3DSG)는 체화(embodied) 에이전트에게 필수적인 구조화 표현을 제공하지만, 기존 Ahead-of-Time 방식, 즉 전체를 구축한 뒤 필터링하는 파이프라인은 엣지 플랫폼의 실시간·저지연 요구와 상충하며, 심각한 관측 중복을 통해 지각 포화(perceptual saturation) 효과를 유발한다. 이를 해결하기 위해 JITOMA(Just-In-Time On-demand Memory Activation)를 제안한다. 이는 작업 추론, 지각(perception), 메모리를 적시 성장 과정으로 통합하는 폐루프(closed-loop) 프레임워크이다. 환경 전체를 빠짐없이 매핑하는 대신, JITOMA는 프론트엔드에서 top-down 작업 히트맵을 활용해 연속 관측을 필터링하고, 최소한의 스트림만 라우팅하여 저비용·휴면(dormant) 앵커로 구성된 전역 기반을 유지한다. 인지적 쿼리가 발생하면, 백엔드 대규모 언어 모델(LLM)이 로봇 의도를 파싱해 작업 관련 앵커를 동적으로 활성화하고, dense 노드 캡셔닝 및 기능 추론과 같은 자원 집약적 연산을 활성화된 국소 서브그래프 내부에서만 트리거한다. 이러한 동적 능력을 평가하고 지각 포화 트레이드오프를 연구하기 위해, 장기 멀티태스킹과 복잡한 다단계 추론을 위한 종합 벤치마크 스위트인 JITOMA-Bench를 도입한다. 광범위한 실험 결과, JITOMA는 활성 그래프 크기와 캡셔닝 지연을 크게 줄이면서, 장기 작업 전환 하에서도 안정적인 처리 시간을 유지함을 보여준다.