PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19517v1cs.CV

Crowd4D: 장면 인식 단안 4D 군중 재구성

Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction

대규모 장면에서 단안 비디오로부터 장면 일관적인 4D 군중 움직임을 복원하는 것은 심각한 깊이 모호성과 복잡한 장면 기하학으로 인해 여전히 어려운 과제이다. 기존 단안 군중 재구성 방법들은 일반적으로 단일 평면 가정에 의존하여, 복잡한 지형에서 신뢰할 수 없는 메트릭 스케일과 공간적 표류를 초래한다. 우리는 Crowd4D를 제안한다. 이는 대규모 장면에서 단안 RGB 비디오로부터 군중과 장면을 공동으로 최적화하는 최초의 장면 인식 4D 군중 재구성 프레임워크이다. Crowd4D는 장면 기하학을 명시적으로 통합하고, 다단계 최적화 전략을 통해 이미지 공간과 장면 공간 전반에 걸쳐 일관성을 보장한다. 이 작업의 핵심 병목은, 특히 스케일과 위치 측면에서 정확한 인간-장면 정렬에 있다. 그러나 인간과 장면 재구성은 일반적으로 분리되어 수행된다. 이를 해결하기 위해, 우리는 Scene Interaction Point Clouds(SIPC)와 Scene Interaction Surface(SIS)로부터 파생된 중간 표현인 Human-Scene Interaction Proxy(HSIP)를 도입한다. 이 표현들은 명시적인 장면 인식 기하학적 사전지식을 인코딩하고, 대규모 단안 4D 군중 재구성을 위한 최적화 공간을 재정의한다. 가려짐 상황에서 시간적 안정성을 더욱 향상시키기 위해, 우리는 Crowd Structural Coherence Regularization(CSCR)을 도입한다. 이는 HSIP 기반 공간 사전지식을 활용하여 지역 군중 이웃 내 쌍별 상대 변위와 방향에 부드러운 시간적 일관성을 부과한다. 광범위한 실험을 통해 Crowd4D가 기존 최첨단 방법들을 일관되게 능가하며, 복잡하고 대규모인 실제 장면에서 강건한 단안 4D 군중 재구성을 가능하게 함을 보여준다.

arXiv:2605.07023v2cs.CV

미지 객체를 위한 의미적 사전지식 기반 단일 뷰 6D 자세 추정

Semantic Prior Guided One-View 6D Pose Estimation for Novel Objects

많은 실용적인 6D 객체 자세 추정 시나리오에서는 객체마다 단 하나의 실제 RGB-D 참조 뷰만 사용할 수 있는 경우가 많으며, 일반적으로 CAD 모델은 제공되지 않습니다. 기존 방법들은 대부분 명시적인 3D 모델이나 다중 뷰 데이터에 의존하여 확장성을 제한합니다. 이러한 어려운 단일 참조·모델 없는(model-free) 설정을 해결하기 위해, 우리는 새로운 Project-and-Compare 패러다임을 통해 자세 추정을 수행하는 의미적 사전지식(semantic prior) 기반 프레임워크인 OneViewAll을 제안합니다. 계산 비용이 큰 CAD 기반 렌더링에 의존하는 대신, 우리 방법은 투영 등변(projection-equivariant) 공간 내에서 참조 및 쿼리 관측을 직접 정렬합니다. OneViewAll은 세 수준에 걸쳐 계층적 의미적 사전지식을 점진적으로 통합합니다: (1) 효율적인 가설 초기화를 위한 카테고리 및 장면 수준 사전지식; (2) 거울 융합(mirror fusion)을 통한 기하학적 보완을 위한 객체 수준 대칭 사전지식; (3) 판별적 정제를 위한 패치 수준 사전지식. 광범위한 실험 결과, OneViewAll은 단 하나의 실제 참조 뷰만 사용하여 LINEMOD 데이터셋에서 ADD-0.1 정확도 92.5%를 달성하며, CVPR 2025 기준선 One2Any(52.6%)를 크게 능가합니다. 또한 낮은 추론 지연을 유지하면서 YCB-V, Real275, Toyota-Light에서도 일관된 성능 향상을 보입니다. 우리 결과는 대칭적, 텍스처 없는, 가려진(occluded) 객체를 다루는 데 있어 대칭 인식 투영의 효과를 강조합니다.

arXiv:2603.15403v2cs.CV

포인팅 기반 객체 인식

Pointing-Based Object Recognition

이 논문은 RGB 이미지를 사용하여 사람의 포인팅 제스처로 지목된 객체를 인식하기 위한 포괄적인 파이프라인을 제시한다. 휴먼-로봇 상호작용이 더 직관적인 인터페이스를 향해 발전함에 따라, 비언어적 의사소통의 대상을 식별하는 능력이 중요해진다. 제안하는 시스템은 객체 검출, 신체 자세 추정, 단안 깊이 추정, 비전-언어 모델을 포함한 여러 기존 최첨단 방법들을 통합한다. 단일 이미지에서 재구성된 3D 공간 정보의 영향과 분류 오류를 수정하는 데 있어 이미지 캡셔닝 모델의 유용성을 평가한다. 맞춤형 데이터셋에 대한 실험 결과, 깊이 정보를 통합하면 특히 겹치는 객체가 있는 복잡한 장면에서 대상 식별이 크게 향상됨을 보여준다. 이 접근법의 모듈성 덕분에 전용 깊이 센서를 사용할 수 없는 환경에서도 배포할 수 있다.

arXiv:2603.06210v2cs.CV

VG3S: Visual Geometry Grounded Gaussian Splatting for Semantic Occupancy Prediction

3D semantic occupancy prediction has become a crucial perception task for comprehensive scene understanding in autonomous driving. While recent advances have explored 3D Gaussian splatting for occupancy modeling to substantially reduce computational overhead, the generation of high-quality 3D Gaussians relies heavily on accurate geometric cues, which are often insufficient in purely vision-centric paradigms. To bridge this gap, we advocate for injecting the strong geometric grounding capability from Vision Foundation Models (VFMs) into occupancy prediction. In this regard, we introduce Visual Geometry Grounded Gaussian Splatting (VG3S), a novel framework that empowers Gaussian-based occupancy prediction with cross-view 3D geometric grounding. Specifically, to fully exploit the rich 3D geometric priors from a frozen VFM, we propose a plug-and-play hierarchical geometric feature adapter, which can effectively transform generic VFM tokens via feature aggregation, task-specific alignment, and multi-scale restructuring. Extensive experiments on the nuScenes occupancy benchmark demonstrate that VG3S achieves remarkable improvements of 12.6% in IoU and 7.5% in mIoU over the baseline. Furthermore, we show that VG3S generalizes seamlessly across diverse VFMs, consistently enhancing occupancy prediction accuracy and firmly underscoring the immense value of integrating priors derived from powerful, pre-trained geometry-grounded VFMs.

arXiv:2601.06550v4cs.CV

Generative Semantic Multi-Object Tracking: A Large-Scale Benchmark and an MLLM-Driven Reasoning Framework

Semantic Multi-Object Tracking (SMOT) is evolving from purely geometric localization toward comprehensive video understanding. However, existing paradigms predominantly rely on closed-set interaction tags and fragmented perception pipelines, creating a bottleneck that prevents the full utilization of Multi-modal Large Language Models (MLLMs) for dynamic scenes. In this paper, we elevate SMOT from rigid classification to an open-ended generative reasoning task. To support this paradigm shift, we introduce Grand-SMOT, a large-scale benchmark featuring high-density, dual-stream narratives. This dataset explicitly decouples micro-level individual dynamics from macro-level environmental contexts, directly resolving the semantic scarcity of prior tracking datasets. Furthermore, we propose LLMTrack, a unified MLLM-driven framework for dynamic SMOT. Guided by a verifiable ``\textit{Macro-Understanding-First}'' mechanism, LLMTrack employs a Spatio-Temporal Fusion Module to compress discrete geometric trajectories into continuous semantic tokens, effectively suppressing temporal hallucinations in long-sequence tracking. Extensive experiments, utilizing a novel decoupled evaluation protocol, validate that LLMTrack achieves state-of-the-art geometric tracking robustness while delivering a qualitative leap in generative semantic reasoning. The code and datasets are publicly available at https://github.com/liaopan-lp/LLMTrack-GrandSMOT.

arXiv:2511.16887v5cs.CV

유리 표면 검출: 플래시/비플래시 영상의 반사 역학 활용

Glass Surface Detection: Leveraging Reflection Dynamics in Flash/No-flash Imagery

유리 표면은 일상생활에서 흔하며, 일반적으로 무색하고 투명하며 뚜렷한 특징이 없다. 이러한 특성 때문에 유리 표면 검출은 어려운 컴퓨터 비전(CV) 작업이다. 기존 유리 표면 검출 방법은 항상 경계 단서(예: 창문 및 문 프레임)나 반사 단서에 의존하여 유리 표면을 찾지만, 정확한 위치 추정을 위해 유리 자체의 고유 특성을 충분히 활용하지 못한다. 우리는 대부분의 실세계 장면에서 유리 표면 앞쪽과 뒤쪽의 조명 강도가 서로 다르며, 이로 인해 유리 표면에서 보이는 반사에 변화가 나타난다는 것을 관찰했다. 구체적으로, 유리의 더 밝은 쪽에 서서 어두운 쪽으로 플래시를 비추면 유리 표면의 기존 반사가 사라지는 경향이 있다. 반대로, 더 어두운 쪽에 서서 밝은 쪽으로 플래시를 비추면 유리 표면에 뚜렷한 반사가 나타난다. 이 현상에 기반하여, 우리는 플래시/비플래시 영상에 존재하는 반사 역학을 활용하는 새로운 유리 표면 검출 방법 NFGlassNet을 제안한다. 구체적으로, 반사를 추출하기 위한 Reflection Contrast Mining Module(RCMM)과, 반사와 유리 표면의 특징을 융합하여 정확한 유리 표면 검출을 수행하기 위한 Reflection Guided Attention Module(RGAM)을 제안한다. 네트워크 학습을 위해, 다양한 장면에서 촬영하고 대응하는 정답(Ground Truth) 주석을 포함한 약 3.3K개의 비플래시 및 플래시 이미지 쌍으로 구성된 데이터셋도 구축한다. 광범위한 실험을 통해 우리 방법이 최신(state-of-the-art) 방법들을 능가함을 보여준다. 우리의 코드, 모델, 데이터셋은 논문이 게재 승인되면 공개될 예정이다.

arXiv:2607.15176v2cs.AI

멀티모달 대규모 언어 모델의 과학 시각화 리터러시 벤치마킹

Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

멀티모달 대규모 언어 모델(MLLM)은 시각화 해석에 점점 더 많이 사용되지만, 현재 평가는 대체로 차트 중심에 머물러 과학 시각화(SciVis) 이해에 대한 제한적인 증거만 제공한다. 우리는 과학 시각화 리터러시 평가 테스트(scientific visualization literacy assessment test)에서 6개 MLLM을 벤치마킹한다. 이는 18개의 과학 시각화 및 일러스트레이션을 기반으로 한 49개 문항으로 구성된 표준화된 SciVis 리터러시 평가이며, 8가지 기법과 11가지 과제 유형을 포괄한다. closed-world 프로토콜 하에서 3개의 폐쇄 소스 모델과 3개의 오픈 소스 모델을 평가하고, 485명의 인간 참가자 데이터를 사용하여 성능을 비교한다. 결과는 현재 MLLM이 균일한 SciVis 리터러시를 보이지 않음을 보여준다. Gemini는 전반적으로 가장 강력한 모델로, 평가된 하위 집합 전반에서 인간 평균을 넘어서지만, 오픈 소스 모델은 인간 기준선 아래에 머문다. 성능은 기법과 과제에 걸쳐 매우 불균일하다. 모델은 과학 일러스트레이션, 탐색(search), 공간 이해에서 가장 좋은 성능을 보이지만, 텍스처 기반 및 통합(integration) 기반 시각화와 정량적 추정에서는 어려움을 겪는다. 오류 분석은 세밀한 정량적 추정, 흐름 방향 해석, 그라운딩된(grounded) 인코딩 해석에서 반복되는 실패를 드러낸다. 이러한 발견은 SciVis 리터러시를 멀티모달 AI 시스템 평가를 위한 필수 벤치마크 차원으로 자리매김한다. 코드와 모델 출력은 https://github.com/patdmp/mllm-scivis-lit-benchmark 에서 공개되어 있다.

arXiv:2607.12630v2cs.RO

시각-언어 내비게이션을 위한 인스턴스 강화 의미 지도

Instance-Enriched Semantic Maps for Visual Language Navigation

시각-언어 내비게이션(VLN)은 자연어 지시를 따라 복잡한 환경에서 구현체 에이전트(embodied agent)가 이동할 수 있도록 하는 것을 목표로 한다. 최근 접근법들은 의미 공간 지도(semantic spatial maps)를 구축하고 추론과 의사결정을 위해 대규모 언어 모델(LLM)을 활용한다. 이러한 발전에도 불구하고, 기존 시스템은 인스턴스 수준의 객체 세부 정보와 다양한 사용자 질의에 대한 견고성이 부족하여 복잡한 실내 환경에서의 신뢰할 수 있는 내비게이션을 제한한다. 이 한계를 해결하기 위해, 우리는 세 가지 핵심 기여를 갖춘 통합 프레임워크인 Instance-Enriched Semantic Maps를 제안한다: (1) 개방 어휘(open-vocabulary) panoptic segmentation을 통해 색상 및 깊이 관측으로부터 지도를 구축하고, 수직적 구분을 보존하며 작은 객체를 포착하면서, 방 수준(room-level) 맥락으로 풍부화된 다양한 의미 속성과 자연어 캡션을 저장하는 인스턴스 수준 2.5차원(2.5D) 풍부 정보 매핑. (2) LLM 기반 목표 선택을 통한 견고한 질의 처리로, 유형별 전문가(type-specialized experts) 간에 질의를 동적으로 라우팅하고 점수 수준(score-level) 융합을 통해 출력을 통합하여, 다양한 질의 표현에 걸쳐 일관된 목표 선택을 가능하게 함. (3) 내비게이션에 필요한 충분한 공간 정보를 보존하면서 3차원(3D) scene-graph 접근법 대비 약 96% 감소를 달성하는 저장 효율적 의미 표현. 제안된 2.5D 표현은 prediction-normalized Area Under the Curve(AUC)에서 3D 기준선보다 27% 이상 우수한 성능을 보인다. 내비게이션 실험에서, 우리 방법은 다양한 질의 유형에 걸쳐 기준선 대비 객체 검색에서 17% 이상, 내비게이션 성공률에서 23% 이상의 개선을 달성한다. 프로젝트 페이지는 https://rcilab.github.io/iesm_vln 에서 확인할 수 있다.

arXiv:2607.14756v1cs.AI

AI 대 인간 전문가 추론: 스트리트 뷰 영상 기반 건물 유형 예측의 일치도 평가

AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery

본 연구는 Google Street View(GSV) 이미지로부터 건물 유형인 구조(Construction), 현재 용도(Current Use), 층수(Storeys)를 추론할 때 비전-언어 모델(VLM)의 잠재력을 조사한다. VLM이 생성한 예측은 수동 라벨링된 ground-truth 데이터의 출처로서 인간 전문가(토목 엔지니어 및 건축가)의 추론과 비교된다. GPT-4o, Claude 3.5 Sonnet, Gemini 2.0 Flash를 포함한 여러 최신(state-of-the-art) VLM을 평가한다. 다양한 스케일링(scaling) 전략과 프롬프팅(prompting) 기법을 적용한 결과, 사고의 연쇄(Chain-of-Thought) 프롬프트가 전반적으로 더 안정적인 모델 성능을 제공함을 확인했다. 또한 AI 설명에 등장하는 키워드의 확률을 검토하여 VLM의 건물 유형 예측 이면의 추론을 조사한다. 이를 통해 이러한 추론의 패턴을 분석하고, VLM 라벨과 전문가 라벨 간 일치와 불일치를 이끄는 핵심 주제를 식별할 수 있었다. AI는 시각적 지표에 집중하는 경향이 있는 반면, 인간 전문가는 시각적 단서 외에도 더 넓은 맥락적 단서와 도메인 지식을 더 크게 강조함을 발견한다. 전반적으로 VLM은 건물 유형 분류에서 전문가 역량을 대규모로 근사할 수 있으며, 평균 정확도는 약 70%이다. 본 연구는 도시 맥락에서 패턴 인식과 객체 식별이 필요한 작업에서 AI 자동화를 위한 VLM의 잠재력을 보여준다. AI는 시각적 패턴 이해에 강점을 활용하여 도시 분석을 위한 보완적이고 협력적인 도구로 기능할 잠재력이 있다. 본 연구는 AI 시각 예측의 효율성과 확장성 탐구에 기여하며, 도시 분석 및 예측에서 자동화 과정을 지원할 수 있는 추론 과정에 대한 통찰을 제공한다.

arXiv:2607.14675v1cs.RO

로봇을 위한 지능형 클라우드-엣지 멀티모달 상호작용 시스템

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

복잡한 환경에서의 견고한 인간-로봇 상호작용은 제한된 온보드 컴퓨팅 자원 하에서 정확한 제스처 인식, 의미론적 장면 이해, 그리고 신뢰할 수 있는 작업 계획을 필요로 한다. 본 논문은 향상된 YOLO 기반 제스처 검출기를 조율된 대규모 언어 모델(LLM) 및 비전-언어 모델(VLM) 에이전트와 통합하는 클라우드-엣지 멀티모달 상호작용 프레임워크를 제시한다. 제안된 검출기는 neck에 Convolutional Block Attention Module(CBAM)을 통합하고, 기준선 바운딩 박스 회귀 목적 함수를 Distance-IoU(DIoU) 손실로 대체한다. 이러한 수정은 복잡한 배경에서 작거나 부분적으로 가려진 제스처에 대한 특징 구별과 위치 추정을 개선한다. 클라우드 층은 제스처 검출, 장면 이해, 멀티모달 융합, 행동 계획을 수행하고, TonyPi 로봇은 로컬에서 데이터 수집, 통신, 행동 실행, 피드백을 처리한다. 공개 제스처 데이터셋과 사용자 정의 데이터셋에 대한 실험 결과, YOLO-DC는 각각 98.9% 및 95.0%의 정밀도와 90.7% 및 92.7%의 [email omitted] 달성한다. 시스템 수준 평가에서는 단일 행동, 복합 행동, 시각 의존 작업에 대해 각각 95%, 88%, 82%의 성공률을 보인다. 30명 참가자 평가에서는 전체 평균 만족도 점수가 5점 만점에 3.69점이다. 이러한 결과는 자원 제약 환경에서의 로봇 상호작용을 위해 정교화된 제스처 검출과 멀티모달 에이전트를 결합하는 것의 타당성을 보여준다.

arXiv:2607.14543v1cs.RO

SafeRelBench: VLM 기반 체화 에이전트의 프로세스 수준 안전성을 위한 공간 관계 인식 벤치마크

SafeRelBench: A Spatial-Relation-Aware Benchmark for Process-Level Safety in VLM-Driven Embodied Agents

비전-언어 모델(VLM)은 점점 더 체화 에이전트의 추론 백본으로 사용되어, 로봇이 시각적 장면을 해석하고, 언어 지시를 따르며, 다단계 행동을 계획할 수 있게 한다. 그러나 가정 환경에서 안전성은 객체 인식뿐만 아니라, 행동이 시간에 따라 물리적 장면을 어떻게 변화시키는지에도 달려 있다. 기존 체화 안전성 평가는 대체로 정적 위험 인식, 불안전한 지시 거부, 또는 최종 상태 작업 완료에 초점을 맞춘다. 그 결과, 지지(support), 포함(containment), 근접(proximity)과 같은 공간 관계에 의해 유발되는 프로세스 수준 안전성 실패는 충분히 연구되지 않은 채 남아 있다. 이 공백을 메우기 위해, 우리는 507개의 실행 가능한 평가 샘플(공간 관계 샘플 248개 및 비공간 대조 샘플 259개)을 포함하는 공간 관계 인식 안전성 벤치마크인 SAFERELBENCH를 제안한다. SAFERELBENCH를 사용하여 7개의 오픈소스 및 폐쇄형 VLM 기반 체화 에이전트를 평가한 결과, 작업 성공과 프로세스 수준 안전성 준수 사이에 상당한 격차가 있음을 발견했다: 모델들은 종종 요청된 작업을 완료하면서도 프로세스 수준 안전성 제약을 위반한다. 기존 벤치마크와 달리, SAFERELBENCH는 위험에 취약한 행동 이전에 에이전트가 안전성 조건을 충족하는지를 명시적으로 검사하여, 공간 관계를 체화 안전성 평가의 핵심 차원으로 만든다. 더 넓게 보면, 우리 결과는 안전한 체화 지능이 더 강한 지각과 계획뿐만 아니라, 상호작용 중 객체 관계가 위험을 어떻게 형성하는지에 대한 신뢰할 수 있는 추론 또한 필요함을 보여준다.

arXiv:2607.14341v1cs.RO

시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹

Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution

견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.

arXiv:2607.14187v1cs.AI

RxBrain: 언어-시각 추론 및 상상을 결합한 구현 인지 기반 모델

RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination

구현 인지(embodied cognition)는 에이전트(agent)가 고수준 작업 추론을 달성해야 할 물리적 상태와 연결하는 것을 요구한다. 우리는 언어-시각 추론 및 상상을 결합한 구현 인지 기반 모델인 Hy-Embodied-RxBrain을 소개한다. 장면 이해와 텍스트 기반 의사결정을 강조하는 비전-언어(vision-language) 모델이나, 주로 미래 시각 상태를 예측하는 생성형 월드 모델과 달리, RxBrain은 언어와 시각적 상상이 상호 보완적 역할을 하는 단일 계획 시퀀스에서 구현 계획을 표현한다. 언어는 작업 분해, 계획 원시 요소, 제약, 시간적 순서, 의사결정 논리를 포함한 계획의 추상적 구조를 제공하고, 시각적 상상은 월드 상태 예측과 결합된 하위목표 계획을 통해 이 구조를 그라운딩(grounding)하며, 각 계획 단계를 중간 및 최종 물리적 상태와 연관 짓는다. RxBrain은 하나의 모델 내에서 언어, 이미지, 비디오 이해 및 생성을 지원하는 통합 멀티모달 Mixture-of-Transformers 아키텍처를 채택한다. 이 능력을 학습(training)하기 위해, 우리는 구현 비디오를 계획 단계로 분해하고 시각적 상태 전이와 정렬하여 결합된 텍스트-시각 계획 지도(supervision)로 변환하는 자동 파이프라인을 구축한다. 또한 RxBrain-Bench를 도입하여, 모델이 분리된 이해 또는 생성이 아니라 결합된 텍스트 및 시각 구성요소를 통해 구현 계획을 표현할 수 있는지 평가한다. 실험 결과, RxBrain은 구현 이해 및 생성 능력을 유지하고, 결합된 텍스트 추론, 월드 상태 예측, 결합된 하위목표 계획을 갖춘 계획을 생성하는 것으로 나타난다. 또한 RxBrain을 연속 로봇 동작 생성으로 확장했으며, 대규모 동작 데이터 사전학습(pre-training) 없이도 유망한 실제 로봇 성능을 보인다. 이러한 결과는 구현 인지를 위한 기반 모델(foundation models)로 나아가는 초기 단계를 제공한다.

arXiv:2607.14115v1cs.AI

DialogueVPR: 대화형 시각적 장소 인식(VPR)을 향하여

DialogueVPR: Towards Conversational Visual Place Recognition

인간이 공간 정보를 전달하는 방식에서 영감을 받아, 언어 기반 지리적 위치 추정(geo-localization)은 직관성과 실용적 가치로 인해 주목을 받고 있다. 그럼에도 불구하고 대부분의 방법은 여전히 정적인 일회성(one-shot) 검색(retrieval) 패러다임에 의존하며, 이는 실세계 자연어 설명에 내재된 모호성과 불완전성을 처리하지 못한다. 우리는 추론 기반 검색(reasoning retrieval)으로의 패러다igm 전환을 제안하고, 위치 추정을 상호작용적이고 대화 기반의 추론 과정으로 재정의하는 Dialogue Place Recognition(DlgPR)을 도입한다. 이 새로운 과제를 지원하기 위해, 장소 인식을 위한 최초의 대규모 대화 기반 벤치마크인 DlgQuest-Cities와, 크로스모달 다중 수준 검색기와 지능형 질문 생성기(questioner)인 DQ-pilot을 결합한 통합 추론 프레임워크를 제시한다. DQ-pilot은 커리큘럼 학습으로 훈련된다: 엄선된 DQ-cities-20k 부분집합에 대한 지도 미세조정(supervised fine-tuning) 후, GRPO를 통해 더 어려운 DQ-cities-10k 분할에서 강화학습 기반 정교화(reinforcement refinement)를 수행한다. 학습을 안내하는 두 가지 과제 정렬(task-aligned) 지표: 커리큘럼 샘플링을 위한 판별 난이도 지수(Discriminative Difficulty Index, DDI)와, 질문에 의해 유발된 검색 개선을 직접 측정하는 위치 검색 이득(Positional Retrieval Gain, PRG) 보상. 실험 결과, 이 추론 기반 접근법이 베이스라인을 크게 능가함을 보여준다. 코드와 모델은 https://github.com/Graysonggg/DlgPR 에서 이용 가능하다.

arXiv:2607.15265v1cs.CV

SceneBind: 비전, 오디오, 언어 전반에서 무엇(what)과 어디(where)의 결합

SceneBind: Binding What and Where Across Vision, Audio and Language

우리는 비전, 오디오, 언어 전반에 걸친 통합적 의미론 및 3D 공간 이해를 갖춘 사실적 장면의 옴니모달(omni-modal) 표현인 SceneBind를 제안한다. 기존 옴니모달 인코더는 인스턴스 수준 의미론(즉, 무엇이 존재하는지)에는 뛰어나지만, 명시적 공간 구조(즉, 그것이 어디에 있는지)는 종종 부족하다. SceneBind는 각 장면을 의미-공간 엔티티로 표현하여, 전역 의미 임베딩(embedding)과 객체 중심 의미-공간 슬롯(slots)을 결합함으로써 이 격차를 해결한다. 이 표현은 객체 수준 의미론, 공간 속성, 그리고 불확실성을 명시적으로 포착한다. 또한 우리는 전역 장면 유사도와 객체 정렬(object alignment)을 통합하여 교차 모달 장면 검색 및 객체 그라운딩(grounding)을 지원하는 의미-공간 매칭 방식인 SceneBind Matching을 제안한다. SceneBind의 학습(training)과 평가를 위해, 구조화된 의미 및 공간 주석이 포함된 새로운 실세계 양이음(binaural) 오디오-시각 데이터셋(dataset)을 구축하고, 모달리티 간 의미 및 공간 신호를 정렬하기 위한 학습 프로토콜을 제안한다. SceneBind는 대규모 사전학습(pre-training) 의미 인코더와 호환되며, 소수의 추가 토큰(token)만으로 경량 공간 모델링을 추가한다. 이는 최신(state-of-the-art) 장면 및 공간 검색 성능을 달성하는 동시에, 오디오-시각 국소화(audio-visual localization)와 같은 하류(downstream) 작업으로의 강력한 제로샷(zero-shot) 전이를 가능하게 한다.

arXiv:2607.15227v1cs.CV

예술 감상에서의 이질적 시선 패턴: 자폐 개인, 예술가, 신경전형적 관찰자 집단 간 어텐션의 공간·시간적 특징

Divergent Gaze Patterns in Artistic Viewing: Spatial and Temporal Signatures of Attention Across Autistic Individuals, Artists, and Neurotypical Observers

서로 다른 집단이 작품을 시각적으로 어떻게 탐험하는지는 인지과학과 접근성 설계와 밀접한 관련이 있다. 그러나 자폐 관련 안구 추적 연구의 대부분은 예술이 아닌 사회적 장면을 사용해 왔으며, 눈이 어디에 머무는지만 분석하고 언제·어떤 순서로 시선이 이동하는지는 간과해 왔다. 우리는 자폐 성인(ASD), 훈련된 예술가, 신경전형적 관찰자 세 집단을 대상으로 한 비교 자유 관람(free-viewing) 연구를 제시한다. 각 참가자는 15초 동안 30점의 그림을 관람했다. 우리는 두 상보적인 축을 따라 집단을 비교하는 지표 기반 방향성 프레임워크를 도입한다. 공간 축에서는 한 집단의 고정 밀도(fixation-density) 맵이 여섯 가지 saliency 지표(AUC-Judd, NSS, CC, SIM, KL, Information Gain) 하에서 다른 집단의 고정을 얼마나 예측하는지를 비교하고, 시간 축에서는 개별 스캔패스(scanpath)를 MultiMatch, ScanMatch, foveal-disc IoU 점수(FDISS), 동적 시간 경합(dynamic time warping, DTW)으로 비교한다. 모든 집단의 고정은 분산 임계값(dispersion-threshold) 알고리즘으로 균일하게 추출한다. 세 가지 결과가 수렴한다. (i) 예술가와 신경전형적 관찰자는 공간(밀도 맵 상관 CC=0.96)과 시간(가장 정렬 가능한 스캔패스 쌍을 형성) 모두에서 거의 구분되지 않는 반면, ASD 시선은 둘 모두에서 이탈한다. (ii) ASD 어텐션은 분리(dissociated)되어 있다: 예술가의 넓은 공간적 탐험(분산, 탐험 영역)과 일치하지만, 더 짧은 고정, 더 적은 체류(dwell), 그리고 모든 집단 중 가장 특이(idiosyncratic)(자기 일관성이 가장 낮은)한 스캔패스라는 독특한 시간적 특징을 지닌다. (iii) ASD 시선은 어떤 지표에서도 선택적으로 예술가와 유사하지 않으며, 오히려 신경전형에 근접한 편이다. 이러한 발견은 예술에 대한 자폐적 관람이 공간과 시간 모두에서 뚜렷한 집단 특이적 어텐션 프로파일임을 나타내며, 미적 어텐션의 집단 조건(population-conditioned) 모델을 촉진한다. 우리는 모든 분석 코드와 자극별(per-stimulus) 결과를 공개한다.

arXiv:2607.15082v1cs.CV

신문 이미지의 계층적 구조 이해를 향하여

Towards Hierarchical Structure Understanding of Newspaper Images

신문 이미지 이해는 복잡하고 중첩된 계층적 구조와 밀집되고 이질적인 레이아웃 때문에 여전히 어려운 과제로 남아 있다. 본 논문에서는 신문 구조 이해를 위한 두 가지 상보적인 접근법을 탐구한다. 먼저, 최신(state-of-the-art) 오픈소스 모델을 결합한 모듈형 bottom-up 파이프라인을 제시한다. 레이아웃 검출에는 YOLO, 읽기 순서 예측에는 LayoutReader, 기사 분할에는 맞춤 알고리즘을 사용한다. 이 접근법은 유연성과 해석 가능성을 유지하면서 기존의 견고한 구성 요소를 활용한다. 둘째, 반복적 계층(tiered) 과정을 통해 문서 계층 구조를 명시적으로 모델링하는 새로운 end-to-end 트랜스포머 기반 아키텍처인 Tiramisu(Tiered Transformers for Hierarchical Structure Understanding)를 소개한다. Tiramisu는 고도로 병렬화된 어텐션 메커니즘을 사용하여 섹션 및 기사 분리, 블록 위치 지정, 의미적 분류, 읽기 순서 예측을 수행한다. 마지막으로, 역사적 신문에서의 계층적 정보 검색 평가를 위해 특별히 설계된 새로운 데이터셋인 Finlam La Liberté을 공개한다. 실험 결과는 복잡한 신문 계층 구조 재구성에서 두 접근법의 효과를 보여 주며, 비교 분석을 통해 확장 가능한 문서 디지털화에 있어 각 접근법의 강점을 부각한다. Tiramisu 학습 코드(합성 신문 생성기 포함)는 https://git.litislab.fr/tiramisu/tiramisu-newspaper-articles-extractor 에서 이용할 수 있다.

arXiv:2607.15054v1cs.CV

단일 전문가를 넘어: 공간 이해를 위한 MLLM에서 다양한 시각적 사전(prior)의 조화

Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding

다중모달 대규모 언어 모델(MLLM)은 공간 이해에서 상당한 잠재력을 보여주었다. 기존 연구는 일반적으로 사전 학습된 파운데이션 모델(foundation model)에서 추출한 사전(prior) 지식을 통합하여 MLLM의 공간 인식을 더욱 향상시킨다. 본 논문에서는 먼저, 다양한 파운데이션 모델을 MLLM에 통합할 때 서로 다른 모델이 서로 다른 과제에 유리한 상호 보완적인 공간 사전(prior)을 제공한다는 점을 밝힌다. 이에 동기를 받아, MLLM에 다양한 모델의 여러 $\textbf{Vi}$sual $\textbf{P}$riors를 통합하여 $\textbf{S}$patial understanding 잠재력을 최대한 발휘하도록 설계된 새로운 다중 모델 사전(prior) 프레임워크인 $\textbf{ViPS}$를 제안한다. 구체적으로, ViPS는 최소한의 추론(inference) 오버헤드로 여러 파운데이션 사전(prior)을 생성하는 Efficient Prior Proxy와, 사전(prior) 프록시로부터 조화롭고 문맥 인식(context-aware)적인 사전(prior) 융합 및 주입을 달성하는 Dynamic Prior Fusion 메커니즘을 도입한다. 광범위한 실험을 통해 ViPS가 다양한 시각적 사전(prior)을 성공적으로 조화시키며, 여러 복잡한 공간 추론(spatial reasoning) 및 3D 공간 이해 벤치마크(benchmark)에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 프로젝트 페이지: https://visual-ai.github.io/vips

arXiv:2607.14727v1cs.CV

WorkDrive: 자율주행을 위한 도로 공사 인과 연쇄(Chain of Causation)

WorkDrive: Roadwork Chain of Causation for Autonomous Driving

자율주행 비전-언어 모델(VLM)은 도로 공사 구역에서 어려움을 겪는다. 차선 표시와 고정 표지판 같은 친숙한 시각적 단서가 변경되거나 사라지고, 콘과 차단막 같은 임시 장치가 주행 가능한 통로를 재정의하기 때문이다. VLM은 이러한 객체를 탐지할 수 있지만, 명시적 지도 없이는 사전학습에서 익숙한 요소에 추론을 고정하고, 공사 구역 관찰을 올바른 경로 계획 결정과 연결하지 못한다. 우리는 WorkDrive를 제안한다. 이는 공사 구역에 대한 지각 기반(grained) 인과 추론을 구성하고 궤적 예측과 정렬하는 프레임워크이다. 자동화된 다중 작업 지각 파이프라인이 구조화된 장면 사실을 추출하여 Chain-of-Causation(CoC) 어노테이션 파이프라인에 주입하고, 어노테이터의 어텐션을 도메인 특화 요소로 재지향한다. 이렇게 생성된 추론 라벨은 지도 미세조정에 사용되며, 이어서 횡방향 메타 행동과 예측 궤적 간의 일관성이라는 단일 보상을 사용한 강화학습이 수행된다. 최대 규모의 공개 공사 구역 데이터셋인 ROADWork에서, 제안된 도로 공사 CoC는 궤적 평균 변위 오류(ADE)를 9.0% 감소시키고, 일관성 기반 GRPO는 추가로 3.0% 개선하여 궤적 전용 기준선 대비 점진적 향상을 달성한다. 코드와 데이터는 공개될 예정이다.

arXiv:2607.14710v1cs.CV

자율주행에서 조강도(BEV) 세그멘테이션을 위한 변분 추론

Variational Inference for Bird's Eye View Segmentation in Autonomous Driving

조강도(BEV)는 자율주행에서 환경 인식을 위한 핵심 접근법으로 부상했으며, 차량을 위한 통합된 공간 표현을 제공한다. 그럼에도 불구하고 BEV가 자율주행 고유의 과제를 해결하는 데 중요함에도, 다중 카메라 센서로부터의 데이터를 효과적으로 융합하고 복잡한 외부 주행 환경에서 동작하는 것은 여전히 상당한 난제로 남아 있다. 이 문제를 완화하기 위해, 우리는 BEV 세그멘테이션 문제를 변분 추론 프레임워크 안에서 재구성한다. 본 논문에서는 BEV 세그멘테이션을 위한 새로운 트랜스포머 기반 변분 flow 변환 네트워크를 제안하며, 이를 TVB라고 부른다. 우리 아키텍처는 사후 BEV 감독을 활용하여 학습 동안 다중 카메라 뷰에서 통합된 표준(canonical) BEV 맵으로의 매핑을 암묵적으로 학습한다. TVB는 조건부 변분 오토인코더(CVAE)를 백본으로 사용하며 다수의 BEV 맵 후보를 생성한다. 생성된 BEV 맵의 현실성을 높이기 위해, 맵 생성 과정에 정규화 흐름(normalizing flow)을 통합하여 더 복잡하고 표현력 있는 확률 분포를 구성할 수 있게 한다. 또한, 어텐션 메커니즘을 활용하여 다수의 BEV 맵 후보를 적응적으로 통합하는 BEV-어텐션 융합(BAF) 모듈을 설계한다. nuScenes와 OPV2V 데이터셋 모두에서 평가한 실험 결과는, 제안 방법이 다중 카메라 뷰 BEV 세그멘테이션과 차선 환경 인식에서 우수한 성능을 달성함을 보여준다.