PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02521v1cs.CV

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2610.00330v2cs.RO

장기 객체 탐색을 위한 회고적 개방형 어휘 메모리

Retrospective Open-Vocabulary Memory for Long-Term Object Search

장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/

arXiv:2607.06565v2cs.CV

ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링

ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation

ELSA3D는 텍스트와 3D 토큰을 단순히 연결하는 기존 방식의 암묵적 상호작용 문제를 해결하기 위해, 스케일 인식 옥트리 토크나이저와 Anchor Tokens 기반의 탄력적 의미론적 앵커링(elastic semantic anchoring)으로 언어-기하학 추론을 추상화 스케일에 맞춰 구조화한다. 이미지-to-3D, 텍스트-to-3D 생성 및 3D 캡셔닝 전 분야에서 최고 성능을 달성하면서도, 비탄력적 버전 대비 FLOPs를 1081G에서 632G로, 추론 지연 시간을 29.8초에서 17.2초로 절반 수준으로 줄였다.

arXiv:2606.03915v2cs.CV

PatchScene: 대규모 장면 완성을 위한 패치 기반 복셀 확산 모델

PatchScene: Patch-based Voxel Diffusion for Large-Scale Scene Completion

본 논문에서는 대규모 라이다(LiDAR) 장면 완성(scene completion)을 위한 새로운 확산(diffusion) 기반 프레임워크인 PatchScene을 제안합니다. 전역 잠재 표현(global latent representation)이나 조밀한 복셀 그리드(dense voxel grid)에 의존하는 기존 방법들과 달리, PatchScene은 국소적인 3D 영역 내에서 세밀한 기하학적 구조를 명시적으로 생성하는 패치 기반 복셀 확산 패러다임을 채택합니다. 공간 및 시간적 규모 모두에서 일관된 재구성을 보장하기 위해, 중첩되는 패치와 인접 프레임을 통합된 생성 과정 내에서 결합하는 신뢰도 기반 시공간 융합(confidence-guided spatio-temporal fusion) 메커니즘을 도입합니다. 또한, 라이다 스캔의 방사형 밀도 패턴을 활용하여 근거리 영역에서 원거리 영역으로 고충실도 정보를 점진적으로 전파함으로써 공간적으로 무제한인 장면 완성을 가능하게 하는 Annular-Flow 확산 전략을 설계합니다. SemanticKITTI 벤치마크에 대한 광범위한 실험을 통해 PatchScene이 모든 표준 지표에서 최고 수준의 성능(SOTA)을 달성하며, 기하학적 정확도와 시간적 일관성 모두에서 이전 접근 방식들을 능가함을 입증합니다. 특히 20m 라이다 범위에서 학습된 모델이 재학습 없이도 50m 장면에 효과적으로 일반화되어, 실제 자율주행 애플리케이션에 대한 강력한 확장성과 일반화 능력을 보여줍니다. 프로젝트 페이지: https://patchscene.github.io/

arXiv:2605.29997v2cs.CV

FRUC: 보정되지 않은 협력 주행 시점 기반 피드포워드 동적 장면 재구성

FRUC: Feedforward Dynamic Scene Reconstruction from Uncalibrated Collaborative Driving Views

본 논문에서는 캘리브레이션되지 않은(uncalibrated) 협력 주행 뷰로부터 동적 장면을 재구성하기 위한 피드포워드(feedforward) 3D 가우시안 스플래팅(3D Gaussian Splatting) 프레임워크인 FRUC를 제안합니다. 기존의 다중 에이전트(agent) 재구성 프레임워크는 정밀한 공간 캘리브레이션을 요구하고 장면별 최적화(per-scene optimization) 속도가 느리다는 엄격한 전제 조건으로 인해 제약을 받는 경우가 많았습니다. 본 논문에서는 분산형 다중 차량 네트워크를 시공간적으로 비구조화된 자차 중심(ego-centric) 멀티 카메라 시스템으로 개념화하여 이 과제를 재검토합니다. 여기서 핵심 과제는 재구성 효율성을 유지하면서, 자차가 정확하게 관측한 가시 영역 기하구조(visible geometry)를 손상시키지 않고 협력을 통해 자차 중심의 차폐된 기하구조를 향상하는 데 있습니다. 효율적인 재구성을 위해 FRUC는 시각적으로 접지된(visual grounded) 기하학적 트랜스포머(Transformer) 백본을 기반으로 구축되어, 유연한 수의 다중 차량 시점으로부터 원샷(one-shot)이자 캘리브레이션 없는 추론(inference)을 가능하게 합니다. 캘리브레이션되지 않은 에이전트 간 정렬 오류가 존재하는 상황에서 비파괴적인 기하구조 보충을 달성하기 위해, FRUC는 먼저 에이전트별 시공간 상관관계를 모델링하여 잠재 사전 정보(latent priors)로서 차폐 변화를 명시적으로 도출하는 자차 중심 인과적 차폐 필드(ego-centric causal occlusion field)를 도입합니다. 이러한 차폐 사전 정보를 바탕으로, 제로 초기화 주입(zero-initialized injection)을 통해 에이전트 간 통합을 결정론적 잔차 노이즈 제거 과정으로 정식화함으로써, 까다로운 에이전트 간 융합을 견고한 협력적 사각지대 완성을 위한 유계 잔차 학습(bounded residual learning)으로 전환합니다. 실제 환경의 V2X-Real 및 UrbanIng-V2X 데이터셋을 대상으로 한 광범위한 평가를 통해, FRUC는 동적 협력 주행 환경의 장면 재구성 분야에서 새로운 최고 성능(SOTA)을 달성함을 보였으며, 렌더링 품질과 효율성 모두에서 기존 방법을 크게 능가했습니다. 코드는 https://github.com/yihangtao/FRUC.git 에서 이용할 수 있습니다.

arXiv:2610.01861v1cs.AI

AVSD-Scenes: 도시 장면의 오디오-비주얼 묘사를 위한 데이터셋

AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes

자연어 묘사는 오디오-비주얼(audio-visual) 도시 장면에 대한 풍부한 의미론적 표현을 제공할 수 있으나, 청각 및 시각 정보를 공동으로 묘사하는 데이터셋은 여전히 제한적입니다. 본 논문에서는 도시 환경을 위한 쌍을 이루는 오디오-비주얼 장면 묘사 데이터셋인 AVSD-Scenes를 소개합니다. 이 데이터셋은 TAU Urban Audio-Visual Scenes 데이터셋으로부터 생성된 12,291개의 오디오-비주얼 장면 묘사를 포함합니다. 데이터셋 구축을 위해, 먼저 Qwen2-Audio-7B와 Qwen2.5-VL-7B를 각각 사용하여 오디오 및 시각 기반 묘사를 생성합니다. 그런 다음 이러한 모달리티별 묘사를 대규모 언어 모델(LLM), 구체적으로 Qwen3-14B, Mistral-Small-3.2-24B-Instruct-2506, Gemma-3-27B-it을 활용하여 결합함으로써 두 모달리티의 상호보완적 정보를 포착하는 멀티모달 묘사를 생성합니다. 우리는 의미론적 정렬(semantic alignment), 크로스모달 검색(cross-modal retrieval), 장면 분류(scene classification), LLM-as-a-judge 평가, 인간 주관적 평가를 사용하여 AVSD-Scenes를 벤치마크합니다. 실험 결과, 멀티모달 묘사는 강력한 장면 식별 정보를 보존하면서도 모달리티별 묘사에 비해 의미론적 정렬 및 크로스모달 검색 성능을 향상시키는 것으로 나타났습니다. 생성된 묘사는 도시 장면 분류에서 최대 94.5%의 정확도를 달성하며, 오디오, 시각, 묘사 임베딩을 결합할 경우 정확도가 95.4%까지 추가로 향상됩니다. 나아가 프롬프트 지시사항에서 장면 레이블을 제거하더라도 묘사는 높은 장면 식별력을 유지하는데, 이는 묘사가 단순히 레이블 정보를 반영하기보다는 오디오-비주얼 콘텐츠로부터 파생된 의미론적 정보를 포착함을 보여줍니다.

arXiv:2610.01531v1cs.AI

자율주행을 위한 신뢰할 수 있는 비전-언어 모델을 향하여

Towards Reliable Vision-Language Models for Autonomous Driving

비전-언어 모델(VLM)은 장면 이해, 주행 추론, 의사결정, 엔드투엔드(end-to-end) 주행과 같은 작업을 위해 자율주행 분야에서 점점 더 활발히 탐색되고 있습니다. 이들의 역할이 더욱 두드러짐에 따라, 강건성(robustness)과 신뢰성(reliability)을 확보하는 것이 점차 중요해지고 있습니다. 실제 환경 조건에서는 센서 결함 및 환경적 요인으로 인해 시각적 입력이 저하될 수 있으며, 이는 모델의 예측과 그에 수반되는 신뢰도(confidence) 모두에 잠재적으로 영향을 미칠 수 있습니다. 이러한 저하는 안전이 핵심적인(safety-critical) 의사결정을 위해 모델이 정확한 예측을 수행하고 자신의 예측이 신뢰할 수 없는 경우를 인식해야 하는 자율주행에서 특히 우려되는 문제입니다. 본 연구에서는 단일 프레임, 다중 뷰(multi-view), 다중 프레임, 단안(monocular) 입력을 포함한 서로 다른 시각적 입력 설정을 갖춘 4개의 주행 관련 QA 데이터셋에 걸쳐 5종의 VLM(Qwen3.5-9B, Gemma4-E4B, LLaVA-OneVision-7B, DriveFusion/DriveFusionQA-4B, NVIDIA Alpamayo-1.5-10B)을 평가합니다. 실험 결과, 시각적 손상(visual corruption)의 영향은 모델, 데이터셋, 입력 설정에 따라 다양하게 나타났으며, 정확도와 신뢰도 신뢰성의 변화 또한 조건에 따라 상이함을 보여줍니다. 이어서 우리는 최근의 추론(inference) 시점 기법인 Visual Evidence Augmentation($\mathrm{V}{\scriptstyle \mathrm{EA}}$)을 적용하여, 저하된 시각적 조건에서 모델 신뢰성을 향상시킬 수 있는지 살펴봅니다. 그 결과 $\mathrm{V}{\scriptstyle \mathrm{EA}}$가 일부 모델과 데이터셋에서 성능을 향상시키지만, 모든 설정에서 일관되게 향상되는 것은 아님을 확인했습니다.

arXiv:2608.06161v3cs.AI

iARCS: 제어 가능한 3D 장면 생성을 위한 반복적 에이전트 기반 강화학습

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

합성 3D 장면 생성은 컴퓨터 비전(CV) 및 체화된 AI(Embodied AI)를 위한 데이터 원천으로 점점 더 널리 사용되고 있으나, 기존 생성 모델들은 작업에 중요한 기능적 제약 조건을 안정적으로 만족하지 못한 채 시각적 사실성만을 최적화하는 경우가 많습니다. 이러한 불일치는 접근성, 이동 가능성(traversability), 공간 규칙 준수가 필수적인 다운스트림 학습에서 합성 데이터의 유용성을 제한합니다. 본 논문에서는 사전학습된 장면 생성 모델을 자연어 작업 요구사항에 적응시키는 반복적 에이전트 기반 강화학습(RL) 프레임워크인 iARCS를 제시합니다. iARCS는 2단계 전략을 사용합니다. 물리적 타당성과 레이아웃 품질을 향상하기 위한 범용 보상 사전학습을 거친 후, 학습 피드백을 통해 반복적으로 정제되는 대규모 언어 모델(LLM) 생성 보상 프로그램을 활용하여 작업별 파인튜닝을 수행합니다. 실험 결과, 보행성(walkability), 도달 가능성(reachability), 여유 공간(clearance) 중심 작업에서 제약 충실도가 향상되었으며, 효과적인 작업별 제약 최적화 및 경쟁력 있는 장면 다양성을 입증했습니다. 나아가 iARCS로 생성된 데이터가 기본 생성 모델을 개선함을 보여줌으로써, 단순한 제어형 장면 편집 방법을 넘어 실용적인 합성 데이터 생성 도구로서의 가치를 뒷받침합니다.

arXiv:2604.12102v3cs.AI

Spatial Atlas: 공간 인지 연구 에이전트 벤치마크를 위한 연산 그라운딩 추론

Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks

본 논문에서는 언어 모델이 답변하기 전에 코드가 명시적인 중간 표현으로부터 선별된 하위 문제를 계산하는 디자인 패턴인 연산 그라운딩 추론(compute-grounded reasoning, CGR)을 설명합니다. Spatial Atlas는 CGR을 공간 질의응답 처리기와 머신러닝 엔지니어링 처리기를 갖춘 Agent2Agent(A2A) 서버로 구현합니다. 공간 처리기는 언어 모델에 씬 그래프(scene graph) 추출을 요청하고, 코드가 누락된 거리를 채우며 추출된 안전성(safety) 규칙을 점검합니다. 별도의 벤치마크 드라이버는 엄격한 메트릭 브리지(metric bridge)를 실행할 수도 있습니다. 이 브리지는 세그멘테이션 마스크와 재구성된 포인트 맵으로부터 수평 간격 질문에 대한 간격을 계산하고, 해당 간격을 사실로서 답변 모델에 전달합니다. 증거 검증에 실패할 경우 브리지는 고정된 사용 불가 답변을 반환하며, 모델이 추정한 좌표로 절대 대체(fall back)하지 않습니다. ML 엔지니어링 처리기는 파이프라인 코드를 생성하고, 검증 점수를 파싱하며, 수정 및 개선 패스 횟수를 제한합니다. 해당 코드 실행 기능은 기본적으로 비활성화되어 있습니다. 또한 본 저장소는 레이블 없는 저널을 작성할 수 있는 4가지 실행 모드, 셔플된 이미지 대조군 매핑, 그리고 레이블이 포함된 필드를 거부하는 저널 검증기를 제공합니다. 본 논문에서는 4개의 경로가 각각 재시도 없이 8개의 예측 행을 작성한 단일 비공개 레이블 미포함 운영 실행 결과를 보고합니다. 레이블은 비공개 상태로 유지되었고 점수는 계산되지 않았으므로, 이 실행은 운영상의 무결성만을 입증합니다. 벤치마크 데이터에 접근할 수 없었기 때문에 FieldWorkArena 결과는 보고하지 않습니다. 또한 재현 가능한 실행 아티팩트가 없는 모든 성능, 지연 시간, 자원 사용량 수치는 제외했습니다.

arXiv:2610.02021v1cs.CV

2D VLM을 활용한 태스크 적응형 그라운디드 3D 프로그래머

Task-Adaptive Grounded 3D-Programmers Using 2D VLMs

최근 비전-언어 모델(VLM)은 뛰어난 일반화 및 추론 능력을 보여주고 있으나, 이러한 모델에서의 3D 이해는 데이터 규모, 학습(training) 다양성, 추론 역량에 의해 한계를 보입니다. 본 연구에서는 이러한 모델을 단순하게 3D로 확장하는 대신 다른 접근 방식을 취합니다. 즉, 표준 좌표 프레이밍(Canonical Coordinate Framing, CCF)과 태스크 적응형 피드백(Task-Adaptive Feedback, TAF)이라는 두 가지 새로운 개념과 함께 3D 그라운딩(grounding) 및 반복적 피드백 루프를 도입하여 강력한 2D VLM이 3D 환경에서 안정적으로 작동하도록 지원합니다. CCF는 입력과 출력을 모두 공유된 유클리드 좌표계에 고정하는 통합 시각적 표현 역할을 수행하여 축 모호성, 불일치하는 미터법 스케일, 부동 기준점과 같은 3D 그라운딩의 일반적인 문제를 해결합니다. 3D 입력의 구조화된 프레이밍을 보완하는 TAF는 태스크 적응형 동적 피드백으로 추론 루프를 완성하여, 2D VLM이 고유한 시각적 문맥 내에서 다양한 개방형 어휘(open-vocabulary) 태스크를 수행할 수 있도록 합니다. 이러한 기반 위에서, 우리는 강력한 VLM과 함께 CCF 및 TAF의 역량을 결합하여 활용하는 3D 이해, 추론 및 생성 프레임워크인 3D-Prog를 소개합니다. 3D-Prog는 어떠한 재학습 없이도 객체 수준 및 장면 수준 태스크 전반에 걸쳐 개방형 어휘 3D 이해, 조작 및 생성을 수행합니다. 실험 결과는 CCF와 TAF의 결합 활용이 2D VLM을 기하학 인지 3D 프로그래머로 변환시켜 다양한 3D 태스크 전반에서 일관되고 해석 가능하며 고품질의 결과를 달성함을 보여줍니다.

arXiv:2610.01999v1cs.CV

추론 실패 분석을 통한 조합 가능한 비디오 공간 지능

From Reasoning Failures to Composable Video Spatial Intelligence

공간 추론 벤치마크는 다양한 태스크 전반에서 비전-언어 모델(VLM)을 평가하지만, 태스크 수준의 점수만으로는 어떤 기저 역량이 성공 또는 실패를 유발하는지 밝혀내지 못합니다. 각 태스크는 공간적 근거(spatial evidence)를 복원하고 기하학적 구조를 표현하며 이를 바탕으로 추론하는 과정을 필요로 합니다. 본 연구에서는 공유된 스키마와 좌표 규약 하에서 예측된 공간 컨텍스트와 실제 정답(ground-truth) 공간 컨텍스트를 비교하여 이러한 역량들을 분리 분석합니다. 이 비교를 통해 네 가지 반복적인 오류 원인이 드러났습니다. 바로 부정확한 인식, 공간 컨텍스트의 정보 누락, 잘못된 측정 기준 선택, 그리고 기준 좌표계(reference frame) 오류 또는 위치 및 방향 추적 실패입니다. 이러한 진단을 바탕으로, 신뢰할 수 있는 비디오 공간 추론을 지원하기 위해 가용한 근거 위에서 작동하는 타입화된 기하 연산자 및 공간 스킬들로 구성된 학습 불필요(training-free) 라이브러리 CROSS를 개발했습니다. 이 라이브러리는 코딩 능력이 없는 VLM에게는 검증된 컨텍스트를 제공하거나 SpatialClaw 에이전트에게는 호출 가능한 스킬을 제공합니다. 5개의 벤치마크에서 CROSS를 평가한 결과, ReVSI에서 평균 점수를 55.9%에서 60.2%로 끌어올렸으며, DSI-Bench에서는 SpatialClaw 결과를 62.8%에서 66.3%로 향상시켰습니다. 이러한 개선 결과는 공간 규약을 명시적으로 처리함으로써 추가적인 학습(training) 없이도 체계적인 추론 실패를 교정할 수 있음을 보여줍니다.

arXiv:2610.01942v1cs.CV

Latent-Foresight: 잠재 월드 모델을 위한 예측 가능한 표현의 엔드투엔드 학습

Latent-Foresight: End-to-End Learning Predictable Representations for Latent World Models

장면의 미래 변화를 예측하는 것은 월드 모델링(world modeling)을 위한 핵심 역량입니다. 최근 연구에 따르면 비전 파운데이션 모델(VFM)의 특징(feature) 공간에서 동작할 경우 다양한 미래 장면 이해 태스크를 지원하는 의미론적으로 풍부한 표현을 얻을 수 있습니다. 그러나 기존 접근 방식은 VFM 특징을 고정된 차원 축소(예: PCA)나 독립적으로 학습(training)된 오토인코더를 사용해 먼저 압축한 후, 그 결과로 생성된 동결된 잠재 공간 위에서 별도의 예측기를 학습하는 2단계 파이프라인에 의존합니다. 표현 학습과 시간적 예측 사이의 이러한 분리뿐만 아니라 원시 VFM 특징에 예측기를 직접 적용하는 방식은 잠재 공간이 예측 가능한 동역학에 맞춰 구조화된다는 보장을 제공하지 못합니다. 본 연구에서는 잠재 토크나이저와 플로우 기반 생성 동역학 모델(model)을 공동으로 학습하여 시간적 예측 가능성을 지원하도록 표현을 명시적으로 구성하는 엔드투엔드 프레임워크인 Latent-Foresight를 제안합니다. 안정적인 공동 최적화(optimization)를 위해 잠재 붕괴를 방지하고 재구성 목표와 생성 목표를 일치시키는 몇 가지 핵심 설계 기법을 도입합니다. 광범위한 실험을 통해 제안하는 접근 방식이 시간적으로 더 일관된 잠재 표현을 학습하며, 고해상도 적응 단계를 포함해 별도의 학습 단계를 제거하면서도 여러 미래 장면 이해 태스크와 예측 구간 전반에 걸쳐 2단계 베이스라인을 일관되게 능가함을 보여줍니다. 구현 코드와 모델 가중치는 https://github.com/Sta8is/Latent-Foresight 에서 제공됩니다.

arXiv:2610.01914v1cs.CV

DecomVoxel: 분해 기반 장면 재구성을 위한 유도형 제자리 노이즈 제거 최적화 기반 3D 네이티브 사전 확률 활용

DecomVoxel: Harnessing 3D-Native Priors with Guided In-situ Denoising Optimization for Decompositional Scene Reconstruction

분해 기반 장면 재구성(decompositional scene reconstruction)은 고품질의 객체와 배경을 재구성하는 것을 목표로 하지만, 기존 방법들은 심한 가림(occlusion) 상황에서 충분한 품질을 확보하는 데 여전히 어려움을 겪고 있습니다. 생성형 사전 확률(generative prior)이 잠재적인 해결책을 제시하지만, 2D 이미지 기반 사전 확률은 3D 인식 부족으로 인해 다중 뷰 불일치(multi-view inconsistency) 문제를 자주 겪습니다. 반대로 3D 네이티브 사전 확률은 더 강력한 구조적 귀납 편향(inductive bias)을 제공하지만 복잡한 장면 내에서 공간적 드리프트(spatial drift)와 정렬 불량을 빈번하게 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 객체 완성을 3D 네이티브 사전 확률과 신경망 장면 재구성을 연결하는 유도형 제자리 노이즈 제거 최적화(guided in-situ denoising optimization)로 공식화한 DecomVoxel을 제안합니다. 제안하는 프레임워크는 안정적인 잠재 공간 개선(latent refinement)을 보장하기 위해 재구성된 엡실론(epsilon) 기반 증류 손실(distillation loss)을 도입하고, 시간적 어닐링(temporal annealing)과 함께 점유 및 비어 있는 앵커(occupied and vacant anchors)를 활용하는 적응형 공간 가이던스를 통해 생성형 환각(hallucination)을 억제하고 공간적 드리프트를 완화합니다. Replica 및 ScanNet++ 데이터셋에 대한 실험 결과, DecomVoxel은 원래의 공간 배치, 구조적 충실도 및 스타일 일관적인 텍스처를 충실히 보존하면서 기존 SOTA(state-of-the-art) 방법들을 크게 능가하는 것으로 나타났습니다. 본 방법은 깔끔한 위상(topology), 기하학적 구조 및 외형을 갖춘 고품질 텍스처 메시를 제공함으로써 분해 기반 재구성의 한계를 넓히고, 복잡한 실제 환경 장면에 대한 분해 재구성을 위한 강력한 솔루션을 제공합니다. 코드는 https://github.com/DecomVoxel/DecomVoxel 에서 확인할 수 있습니다.

arXiv:2610.01870v1cs.CV

픽셀에서 정책까지: 개입 및 지리공간 의사결정 지원을 위한 멀티 에이전트 시스템

From Pixels to Policy: A Multi-Agent System for Intervention and Geo-Spatial Decision Support

도시 환경은 건강, 안전, 삶의 질에 장기적인 영향을 미치는 디자인 선택에 의해 형성되지만, 제안된 개입(intervention) 방안을 평가하는 것은 여전히 비용과 시간이 많이 소요되며 비현실적인 경우가 많습니다. 기존의 지리공간 비전(geospatial vision) 방식은 주로 항공 및 스트리트 뷰(street-view) 영상에서 도시 지표를 모니터링하는 데 집중할 뿐, 개입을 제안하고 그러한 지표에 미치는 영향을 추정하는 데는 이르지 못했습니다. 본 연구에서는 단순 인식을 넘어, 주어진 항공 또는 스트리트 뷰 영상에서 목표 지표를 개선하는 개입 방안을 탐색하는 문제를 도입합니다. 본 논문에서는 블랙박스 지표 모델과 생성형 편집 모델을 결합하면 개입 가설을 테스트하기 위한 암시적 디지털 트윈(implicit digital twin) 역할을 수행할 수 있음을 주장합니다. 이에 따라 시각적으로 현실적이면서도 실제 정책과 부합하는 개입안을 생성하기 위해 세그멘테이션(segmentation), 확산(diffusion) 기반 인페인팅(inpainting), 지표 점수화 모델을 조율하여 이러한 개입 공간을 탐색하는 멀티 에이전트 시스템인 VIDA-Geo를 제시합니다. 항공 및 스트리트 뷰 영상 전반에서 체감 안전성 및 녹지와 같은 요소의 변화를 측정하며 8가지 지표에 대해 시스템을 평가했습니다. 본 접근 방식은 많은 사례에서 기존 베이스라인을 능가하여 최대 2배 더 높은 시각적 품질과 정책 부합도 점수를 달성했습니다. 마지막으로, 본 모델은 사용자에게 다수의 후보 개입안을 제공함으로써 전문가 도시 계획자가 참여하는 city-planner-in-the-loop 워크플로를 지원합니다.

arXiv:2610.01863v1cs.CV

LiteReality-Agent: 상호작용 가능한 3D 실내 장면 복원을 위한 에이전틱 시스템

LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction

본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/

arXiv:2610.01589v1cs.CV

PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬

PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.

arXiv:2610.01286v1cs.CV

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2610.01205v1cs.CV

현미경 스테레오 비디오에서의 의미론적 RGB-깊이 기반 수술 숙련도 평가

Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos

미세수술 기술 숙련도에 대한 객관적 평가는 역량 기반 훈련과 품질 보증에 필수적이지만, 기존의 비디오 기반 접근 방식은 주로 RGB 이미지에 의존하므로 기구와 해부학적 구조 간의 상호작용을 특징짓는 3D 공간적 관계를 간과합니다. 비록 입체 수술 현미경이 상호보완적인 깊이(depth) 정보를 제공하지만, 기존의 스테레오 매칭 알고리즘은 고배율 이미징 환경에서 희소하고 신뢰할 수 없는 깊이 추정치를 생성할 수 있어 자동 숙련도 평가에 활용하는 데 한계가 있습니다. 본 연구에서는 현미경 스테레오 비디오로부터 수술 숙련도를 평가하기 위한 의미론적(semantic) RGB-깊이 프레임워크를 제시합니다. 회귀 기반 깊이 융합 방법은 희소한 미터법 스테레오 깊이와 조밀한 단안 깊이 추정치를 결합하여 수술 장면의 조밀한 기하학적 표현을 생성합니다. 이 표현은 개별 수술 기구 및 주변 해부학적 구조에 해당하는 의미론적으로 분해된 RGB 스트림과 통합됩니다. 계층적 어텐션(attention) 아키텍처는 이러한 스트림들을 공동 인코딩하여 서로 다른 수련 수준의 외과의 전반에 걸친 기구 사용 및 기구-해부학적 구조 상호작용의 변별력 있는 패턴을 포착합니다. 제안된 프레임워크는 전임의(attending surgeons)와 레지던트로 구성된 6명의 외과의가 수행한 33건의 생체 외(ex vivo) 경구강 미세후두 수술을 대상으로 외과의 1인 제외 교차 검증(leave-one-surgeon-out cross-validation)을 통해 평가되었습니다. 제안된 의미론적 RGB-깊이 모델은 숙련도 수준 분류에서 F1 점수 0.938을 달성하여, 의미론적 RGB의 0.696 및 의미론적 깊이의 0.929와 비교되었습니다. 이러한 결과는 기하학적 정보가 현미경 스테레오 비디오 기반의 자동 수술 숙련도 평가를 향상시킬 수 있음을 시사합니다. 또한 학습된 공간, 시간 및 의미론적 어텐션 패턴은 모델이 강조한 장면 영역, 비디오 세그먼트 및 의미론적 스트림에 대한 정성적 분석을 뒷받침합니다.

arXiv:2610.00970v1cs.CV

RelationVGGT: 3차원 공간 관계 분할을 위한 시각 기하 트랜스포머

RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation

최근 3차원 재구성(3D reconstruction) 분야는 장면별 최적화(per-scene optimization) 방식에서 피드포워드 추론(feed-forward inference) 방식으로 발전해 왔으며, 의미론적 장면 이해(semantic scene understanding) 또한 이러한 흐름을 따라왔다. 그러나 기존 방법들은 여전히 객체 중심 인식(object-centric perception)에 국한되어 있어 객체 간의 공간적 관계(spatial relation)를 간과하고 있다. 본 연구에서는 피드포워드 방식이면서 포즈 정보가 필요 없는(pose-free) 멀티뷰(multi-view) 환경에서 3차원 공간 관계 분할(3D spatial relation segmentation) 문제를 정식화한다: 시각적으로 지정된 주체(subject)와 관계를 나타내는 텍스트 질의(relational text query)가 주어졌을 때, 모델은 대상의 범주명(category name)을 입력받지 않고도 여러 뷰에 걸쳐 해당 대상을 분할한다. 이를 위해 우리는 RelationVGGT를 제안한다. 이는 시각 파운데이션 모델(visual foundation model)의 의미론적 특징(semantic feature)과 3차원 기하 파운데이션 모델(3D geometry foundation model)의 기하 인지 표현(geometry-aware representation)을 통합하고, 관계 트랜스포머(relation transformer)를 활용하여 주체 조건부(subject-conditioned) 교차 뷰(cross-view) 관계 예측을 수행하는 새로운 피드포워드 프레임워크이며, 장면별 최적화나 알려진 카메라 포즈(camera pose)를 필요로 하지 않는다. 또한 우리는 VLM과 LLM을 활용하여 ScanNet++ 기반의 완전 자동화된 주석(annotation) 파이프라인을 제공함으로써, 이 새로운 과제(task)에 대한 확장 가능한 학습 데이터 생성을 가능하게 한다.

arXiv:2610.00677v1cs.CV

증강현실에서의 지각 품질 평가 및 자율 콘텐츠 조정을 위한 비전-언어 모델 활용

Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality

증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.