주행 로그에서 난이도 높은 안전 위험 장면을 마이닝하는 작업은 난이도 레이블의 부재로 병목이 발생하며, 충돌 위험, 궤적 모호성, 의미적 희소성 중 어떤 단일 프록시도 그러한 장면을 단독으로 찾아내기에 충분하지 않다. 우리는 SceneMiner를 제시한다. 이는 동결된 비전-언어 백본에서 LiDAR나 레이더 없이 단일 순전파로 상호 보완적인 마이닝 신호를 출력하는 통합 카메라 전용 조감도(bird's-eye-view) 파이프라인으로, 텍스트 프롬프트 기반 시나리오 검색을 위한 검색 임베딩, 다중 레이블 장면 태그 분포, 그리고 연속적인 물리 기반 위험 점수를 방출한다(모션 예측은 기여가 아닌 부산물이다). 이러한 멀티 헤드 모델을 구축하는 과정에서 우리의 핵심 발견이 드러났는데, 이를 교차 태스크 간섭(cross-task interference)이라 부르는 실패 모드이다. 하나의 헤드를 추가하거나 업그레이드하면 공유 활성화 스트림이 변화하여 가중치가 동결된 형제 헤드들의 성능이 저하되므로, 매개변수 동결만으로는 충분하지 않다. 우리의 기여인 아이덴티티 보존 멀티태스크 미세조정은 모든 새로운 서브모듈을 제로 초기화하고 공유 스트림에 공급되는 모든 매개변수를 동결함으로써 이 간섭을 제거한다. 이를 통해 마이닝 헤드는 비트 단위로 동일하게 보존되며 약 102k 매개변수만 학습된다. 태깅 헤드는 각 장면을 32개의 시각적 토큰으로 풀링하여 20개 장면 태그에서 mAP 0.4614(micro-F1 0.5557)를 달성하고, 임베딩 헤드는 텍스트 프롬프트 기반 검색을 지원하며 정성적으로 검증되었다. 코드는 다음에서 확인할 수 있다: https://anonymous.4open.science/r/sceneminer_anonymous-64E5
포인트 클라우드 시맨틱 세그멘테이션은 세밀한 국소 기하학과 광범위한 전역 장면 구조를 모두 포착하는 아키텍처를 필요로 합니다. 트랜스포머 기반 네트워크는 세밀한 국소 특징(feature) 집계에 집중하여 강력한 성능을 보여주었으나, 전역 문맥은 주로 인코더-디코더 단계에 걸친 스킵 연결을 통해 전달되는데, 우리는 이것이 완전한 장면 이해에는 불충분하다고 주장합니다. 우리는 스킵 연결을 학습 가능한 전역 특징 추출 모듈로 보강하면, 네트워크가 국소 세부 사항으로 들어가기 전에 장면 수준의 지식을 습득하여 더 풍부하고 문맥에 기반한 표현으로 이어질 것이라고 가정합니다. 이를 위해 우리는 포인트 클라우드 트랜스포머 백본의 스킵 연결과 함께 공유된 웨이블릿 신경 연산자(WNO) 분기를 통합하는 PT-WNO(Point Transformer with Wavelet Neural Operator)를 제안합니다. 각 인코더-디코더 전이 단계에서 포인트 특징은 조밀한 3D 볼륨 그리드에 투영되며, 여기서 WNO는 학습 가능한 웨이블릿 분해 및 재구성을 통해 다중 스케일 전역 스펙트럼 문맥을 포착합니다. 이러한 전역 특징은 경량 어댑터를 통해 네트워크로 다시 융합되며, 기존 스킵 연결을 대체하는 것이 아니라 보완합니다. 4개의 대규모 3D 포인트 클라우드 벤치마크에 대한 실험은 PT-WNO의 효과를 입증합니다. S3DIS (Area 5)에서 PT-WNO는 71.59% mIoU를 달성하여 Point Transformer v3 (PTv3) 기준선(baseline)보다 +1.03포인트 높은 성능을 보였습니다. DALES에서는 81.05% mIoU를 달성했습니다(기준선 대비 +1.47). ScanNet v2에서 PT-WNO는 76.19% mIoU를 기록하여 기준선(76.36%)과 대등한 경쟁력을 유지했습니다.
공간 지능(spatial intelligence)은 다중모달 대규모 언어 모델(MLLM)의 핵심 프런티어로, 시각적 경험을 통해 물리 세계에 대해 추론할 수 있게 한다. 인간의 공간 인지에서 영감을 받아, 최근 접근법들은 다중 프레임 시각 입력으로부터 격자 기반 인지 지도를 구축하여 시간에 걸쳐 일관된 공간 표현을 유지한다. 그러나 제한된 컨텍스트 윈도우(context window) 길이는 여전히 공간 이해를 어렵게 하며, 장문맥 모델링(long-context modeling)이나 외부 메모리(external memory) 같은 기존 방법들은 종종 아키텍처 변경, 메모리 모듈 또는 파인튜닝(fine-tuning)을 요구하여 즉시 사용 가능한 사전학습(pre-training) MLLM에 적용하기 어렵다. 이는 기본 컨텍스트 윈도우를 넘어서 공간 정보를 보존할 수 있는 경량의 모델 독립적 방법의 필요성을 촉발한다. 이를 위해 우리는 플러그 앤 플레이 멀티 에이전트 프레임워크를 제안한다. 이 프레임워크는 구조화된 공간 메모리로서 인지 지도를 협력적으로 구축하며, 아키텍처 수정이나 추가 학습 없이 임의의 사전학습 MLLM의 공간 이해를 향상시킨다. 우리 프레임워크는 로컬-글로벌 에이전트 조정, 원자적 커밋(atomic commits)을 통한 인지 지도 구축, 에이전트 간 교차 검증을 특징으로 한다. 광범위한 실험은 우리 방법이 완전히 학습 없이(training-free) 공간 이해 작업에서 우수한 성능을 달성함을 보여준다. 코드는 공개될 예정이다.
위상(topology) 추론은 자율 주행에 필수적입니다. 기존 방법들은 주로 중심선 검출을 위한 인스턴스 수준의 학습에 집중하며, 이어 단순화된 MLP 층에 의존하는 순차적 위상 추론 모듈을 사용합니다. 또한, 위상 추론에서 점-인스턴스(P2I) 관계의 중요성을 간과하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 우리는 TopoHR(Topological Hierarchical Representation)를 제안합니다. 이는 중심선 검출과 위상 추론 사이의 순환적 상호작용을 설정하여 서로를 반복적으로 향상시키는 새로운 엔드투엔드(end-to-end) 프레임워크입니다. 구체적으로, 우리는 점 쿼리(point queries), 인스턴스 쿼리(instance queries), 시맨틱 표현(semantic representations)을 포함하는 계층적 중심선 표현을 도입합니다. 이러한 다중 레벨 특징들은 계층적 중심선 디코더 내에서 매끄럽게 통합 및 융합됩니다. 더 나아가, 우리는 통합된 아키텍처 내에서 세밀한 P2I 관계와 전역적 인스턴스-인스턴스(I2I) 연결을 모두 포착하는 계층적 위상 추론 모듈을 설계합니다. 이러한 새로운 구성 요소를 통해 TopoHR은 정확하고 강건한 위상 추론을 보장합니다. OpenLane-V2 벤치마크(benchmark)에서 TopoHR은 상당한 개선을 통해 최신 성능(SOTA)을 갱신했습니다. 특히, 이전 최고 결과와 비교했을 때 TopoHR은 subset_A에서 DET_l +3.8, TOP_ll +5.4를, subset_B에서 DET_l +11.0, TOP_ll +7.9를 달성하여 제안된 구성 요소의 효과를 입증했습니다. 코드는 https://github.com/Yifeng-Bai/TopoHR.git 에 공개될 예정입니다.
멀티모달 대규모 언어 모델(MLLMs)은 단일 이미지 공간 추론에서 상당한 진전을 이루었지만, 여러 관점에서의 정보 통합이 필요한 다중 이미지 공간 추론은 여전히 어려운 과제로 남아 있습니다. 인지 연구에 따르면, 인간은 두 가지 메커니즘을 통해 이러한 작업을 수행합니다. 하나는 서로 다른 뷰에서 동일한 물리적 위치에 해당하는 영역을 식별하는 뷰 간 대응(cross-view correspondence)이고, 다른 하나는 상대적인 관점 변화를 순차적으로 구성하는 단계적 관점 변환(stepwise viewpoint transformation)입니다. 그러나 기존 연구들은 이러한 메커니즘을 부분적으로, 그리고 종종 암묵적으로만 통합하고 있으며, 두 메커니즘 모두에 대한 명시적인 지도(supervision)가 부족합니다. 우리는 뷰 간 대응 및 관점 변화에 대한 인간 인식 학습(Human-Aware Training for Cross-view correspondence and viewpoint cHange, HATCH)을 제안합니다. HATCH는 두 가지 상호 보완적인 목표를 가진 학습 프레임워크입니다. (1) 공간적으로 대응하는 영역에 대해 패치 표현이 뷰 간에 정렬되도록 장려하는 패치 수준 공간 정렬(Patch-Level Spatial Alignment), (2) 최종 답변을 예측하기 전에 모델이 명시적인 관점 전환 행동을 생성하도록 요구하는 행동 후 답변(Action-then-Answer) 추론이 그것입니다. 세 가지 벤치마크에 대한 실험 결과, HATCH는 유사한 크기의 베이스라인보다 명확한 마진으로 일관되게 우수한 성능을 보이며, 단일 이미지 추론 능력을 보존하면서 훨씬 더 큰 모델과 비교해도 경쟁력 있는 결과를 달성함을 입증했습니다.
PCA는 회전 불변 특징에 활용될 수 있으며, 형상을 타원체로 근사하는 $p_{ab}=E[(x_i-E[x_a])(x_b-E[x_b])]$ 공분산 행렬로 형상을 기술하고, 그 거듭제곱의 대각합(trace)과 같은 회전 불변량을 도출할 수 있다. 그러나 실제 형상은 대개 훨씬 복잡하므로, 이를 $p_{abc}=E[(x_a-E[x_a])(x_b-E[x_b])(x_c-E[x_c])]$ 와 같은 3차 이상의 텐서를 이용한 중심 모멘트(central moments) 기술, 또는 다항식과 가우시안의 곱을 활용하여 임의로 높은 정확도의 디코딩 가능한 형상 기술자와 이에 대응하는 회전 불변량으로 확장하는 방법을 제안한다. 실용적 응용으로는 분자 형상 기술자 등 회전 동치류(modulo rotation) 기반 형상 표현을 위한 회전 불변 특징, 2D 이미지 및 3D 스캔에서의 회전 동치류 기반 물체 인식(3D 장면 이해에도 적용 가능), 그리고 회전에 대한 고비용 최적화를 피하면서 저비용으로 회전 동치류 기반 객체 비교를 가능하게 하는 형상 유사도 메트릭 등이 있다.
미지의 실내 환경에서의 객체 내비게이션은 에이전트가 부분적 관찰 상황에서 의미론적 검색을 수행하는 것을 요구합니다. 비전-언어 모델(VLM)은 이 작업을 위해 강력한 의미-공간적 사전 지식(priors)을 제공하지만, 이를 로봇 내비게이션과 인터페이스하는 방법은 여전히 어려운 과제입니다. 밀집한 VLM 추론은 비용이 많이 들며, 환경을 기호적 메모리로 추상화하는 것은 종종 고수준 추론을 이를 뒷받침하는 원시 시각적 증거와 분리시킵니다. 본 논문에서는 객체 내비게이션을 원시 관찰에 기반한 희소 결정 문제로 공식화하는 VLM 기반 프레임워크인 PIGEON(Point of Interest Guided Exploration for Object Navigation)을 제안합니다. PIGEON은 기하학적으로 실행 가능한 웨이포인트(waypoints)와 원시 자기 중심적 관찰(egocentric observations)을 결합하는 희소 시각적 결정 단위로서 관심 지점(PoIs)을 도입합니다. PIGEON은 VLM을 밀집 제어기로 사용하거나 프론티어(frontier) 순위 매기기로 제한하는 대신, VLM이 탐험 프론티어, 의심되는 대상 객체, 통과 가능한 계단, 바닥 수준 요약(floor-level summaries)을 포함한 작업 중요 PoI 중에서 선택하도록 합니다. 이와 동시에 저수준 플래너(planners)는 이들 사이의 연속적인 움직임을 실행합니다. 이러한 PoI 인터페이스는 고수준 내비게이션 결정을 검증 가능하게 만들어, 수동적인 사고의 연쇄(Chain-of-Thought) 주석 없이 로컬 VLM을 개선하는 RLVR 파이프라인을 개발할 수 있게 합니다. Habitat ObjectNav 벤치마크에 대한 광범위한 실험을 통해 PIGEON은 최첨단 제로샷(zero-shot) 성능을 달성하고, 파운데이션 모델 용량에 따라 일관되게 확장되며, 프롬프트 수정만으로 능동형 구체화 질의 응답(Active Embodied Question Answering)으로 전이됨을 보여줍니다. 실제 로봇에 대한 실제 환경 배포는 그 견고성과 효율성을 추가로 입증합니다.
임베디드 공간 지능(embodied spatial intelligence) 벤치마크 구축의 노동 집약적이고 유지보수가 어려운 문제를 해결하기 위해 Embodied-BenchClaw라는 자율적인 다중 에이전트 시스템을 제안한다. 이 시스템은 계획, 구축, 평가 에이전트가 협력하여 사용자 의도에 맞는 검증 가능하고 실행 가능한 벤치마크를 자동으로 생성하며, 다양한 영역에서 수작업을 크게 줄이면서도 고품질의 결과를 달성했다.
매뉴얼, 브로슈어, 프레젠테이션, 포스터와 같은 다중 페이지 시각 문서는 레이아웃, 색상, 아이콘 및 슬라이드 간 참조를 통해 핵심 정보를 전달합니다. 멀티모달 대규모 언어 모델(MLLM)이 문서 이해에 있어 가능성을 보여주지만, 현재 시스템은 복잡한 다중 페이지 시각 문서, 특히 요소와 페이지에 대한 세밀한(fine-grained) 추론에서 어려움을 겪고 있습니다. 우리는 SlideAgent를 소개합니다. 이는 멀티모달, 다중 페이지, 다중 레이아웃 문서, 특히 슬라이드 덱(slide decks)을 이해하기 위한 다재다능한 에이전트 프레임워크입니다. SlideAgent는 전문화된 에이전트를 활용하여 추론을 전역(global), 페이지, 요소의 세 가지 전문화된 수준으로 분해하고, 전반적인 주제와 상세한 시각적 또는 텍스트적 단서(cues)를 모두 포착하는 구조적이고 쿼리 독립적인(query-agnostic) 표현을 구축합니다. 추론(inference) 과정에서 SlideAgent는 다중 수준 추론을 위해 전문화된 에이전트를 선택적으로 활성화하고, 그 출력을 통합하여 일관되고 문맥 인식적인 답변을 생성합니다. 광범위한 실험 결과, SlideAgent는 독점 모델(proprietary models, +7.9%)과 오픈 소스 모델(+9.8%) 모두에 비해 정확도를 유의미하게 향상시키는 것으로 나타났습니다.
자율 주행 시뮬레이션은 일반적으로 소수의 도시에서 수집된 데이터나 수동으로 작성된 합성 시나리오에 의존합니다. 대시캠 영상은 드물거나 롱테일(long-tailed) 시나리오를 포함하여 훨씬 더 다양한 위치와 상황을 포괄합니다. 단안(monocular) 실제 환경 영상에서 정확한 4D 장면을 복원하기 어렵기 때문에 시뮬레이션에 활용하기 어려운 것으로 간주되어 왔습니다. 공사 구역(work zone)은 대시캠이 포착하는 롱테일 상황 중 하나입니다. 본 논문에서는 Dash2Sim이라는 프레임워크를 제안합니다. Dash2Sim은 실제 환경의 단안 대시캠 영상을 기존 시뮬레이터와 호환되는 메트릭(metric), 지리 참조(geo-referenced) 4D 주행 로그로 변환하며, 별도의 주석 없이 독립적으로 관리되는 지도를 통해 각 로그를 검증합니다. 우리는 Dash2Sim을 대규모 비디오 말뭉치에 적용하여 ROADWork4D 벤치마크 데이터셋을 구축했으며, 이 데이터셋은 17개 도시에 걸쳐 4,244개의 장면과 270만 개의 3D 객체를 포함합니다. 검증된 부분 집합인 ROADWork4D-CL(2,201개 장면)에서 특권(privileged) 정보를 사용하는 폐루프 경로 계획기(planner)를 연구한 결과, 공사 구역 시나리오가 매우 어렵다는 것을 발견했습니다. 규칙 기반(rule-based) 및 하이브리드 플래너가 학습 기반(learning-based) 플래너보다 더 잘 일반화되지만, 모두 임시 공사 구역 차로에서 요구되는 차선 변경에 실패하는 등 성능이 미흡했습니다. 경로 계획 외에도, Dash2Sim이 복원한 밀도 깊이(dense depth)는 지각적(perceptual) 메트릭에서 새로운 시점 합성(novel-view synthesis) 품질을 최대 19%까지 향상시켰습니다. 이는 단안 영상으로부터 폐루프 센서 시뮬레이션을 위한 풍부한 조건(conditioning) 정보를 제공할 잠재력을 시사합니다.
지리공간 이해는 이미지 지리적 위치 추정 및 공간 추론과 같은 작업을 위한 머신러닝 시스템 개발에 있어 중요하지만 아직 탐구되지 않은 차원입니다. 본 연구에서는 비전 전용 아키텍처(예: ViT), 비전-언어 모델(예: CLIP), 대규모 멀티모달 기반 모델(예: LLaVA, Qwen, Gemma)의 세 가지 모델 계열이 학습한 지리공간 표현을 분석합니다. 지역화 가능성(localizability) 정도에 따라 그룹화된 사람, 랜드마크 및 일상적인 물체를 포함한 이미지 클러스터에 걸쳐 평가한 결과, 공간 정확도에 있어 체계적인 격차가 존재함을 밝혀내었으며, 텍스트 감독이 지리공간 표현의 학습을 향상시킴을 확인했습니다. 이러한 발견은 공간 맥락을 인코딩하는 데 있어 언어가 효과적인 보완적 모달리티로서의 역할을 한다는 점과 지리공간 AI 발전을 위한 핵심 방향으로서 멀티모달 학습의 중요성을 시사합니다.
취약 도로 이용자(VRU)는 전 세계 도시 교통 사망자의 약 절반을 차지하며, 교차로는 이러한 사상자의 불균형적으로 높은 비율이 집중되는 장소이다. VRU 보호를 위한 감지 기술에 관한 최근 리뷰들은 수십 종의 단일 센서 및 이중 센서 배치 사례를 정리하였으나, 조사된 시스템 중 다중 모달 감지를 에지 측 아차사고(near-miss) 분석 및 양방향 차량-사물 통신(V2X)·보행자-사물 통신(P2X) 메시징과 단일 교차로 제어함 내에서 결합한 사례는 없었다. 본 논문은 신호 교차로에서의 VRU 보호를 위한 통합 프레임워크를 제시한다. 이 프레임워크는 인식 층에서 LiDAR, 레이더, RGB 카메라, 열화상 카메라를 결합하고, 연산 층에서 에지 기반 예측 및 대리 안전 분석을 수행하며, 통신 층에서 V2X 및 P2X 메시징을, 작동 층에서 적응형 신호 제어를 활용한다. 이 프레임워크는 최초로 공개된 노변 LiDAR-Visual-Thermal 데이터셋인 R-LiViT를 활용한 실증 사례 연구에 기반하며, 동 데이터셋은 독일의 세 교차로에서 수집된 200개의 다중 모달 시퀀스와 2,400개의 주석이 달린 RGB-T 프레임을 제공한다. 53,319개의 탐지 주석 분석 결과, VRU는 전체 도로 이용자 관측의 약 49%를 차지하고, 주간 대비 야간 밀도는 보행자의 경우 38%, 차량의 경우 45% 감소하는 반면 야간 분포는 근접 비율이 더 높게 나타나며, 세 교차로의 여덟 개 개별 지점에서 프레임당 근접 이벤트 횟수는 약 10배의 편차를 보이고, 보행자 바운딩 박스의 83%는 이미지 공간상 소형으로 분류되어 VRU가 단일 센서로부터 일반적으로 멀리 위치함을 나타낸다. 이러한 발견들은 균일한 단일 센서 솔루션보다 다중 모달 감지, 에지 측 분석, 그리고 적응형 맥락 인식 배치의 필요성을 뒷받침한다.
3D 장면 이해 분야의 발전에도 불구하고, 기존의 3D 대규모 멀티모달 모델들은 오프라인 환경에서 동작하며 완전한 장면 관찰 또는 사전 정의된 비디오 클립을 필요로 한다. 본 논문에서는 스트리밍 비디오로부터 실시간 공간 이해를 가능하게 하는 온라인 3D 비전-언어 모델을 제시한다. 제안하는 방법은 대규모 언어 모델(LLM)의 다음 토큰 예측 목적함수를 기반으로 응답 시점을 학습하는 자기회귀적 스트리밍 제어 모델링을 채택하고, 경량의 시각-공간 특징 통합(VSFI, Visual-Spatial Feature Integration) 모듈을 활용하여 시간적으로 정렬된 기하학적 사전 지식을 시각 스트림에 점진적으로 주입한다. 긴 컨텍스트 디코딩 오버헤드를 완화하기 위해, 효율적인 시각 토큰 압축을 위한 플러그 앤 플레이 방식의 기하학 적응형 복셀 압축(GAVC, Geometry-Adaptive Voxel Compression) 모듈을 제안한다. 스트리밍 3D-언어 데이터의 부족 문제를 해결하기 위해, 100만 개 이상의 온라인 시공간 3D QA 쌍을 구축하고 29개 태스크에 걸친 종합 벤치마크를 수립하는 확장 가능한 데이터 생성 파이프라인을 추가로 개발한다. 광범위한 실험을 통해, 제안하는 방법이 온라인 및 오프라인 3D 공간 이해, 추론, 그라운딩 태스크에서 독점 및 오픈소스 모델 모두를 크게 능가함을 보인다. 프로젝트 페이지는 https://stream3d-vlm.github.io/ 에서 확인할 수 있다.
합성개구레이더(SAR)는 종일·전천후 관측 능력으로 표적 해석에 필수적인 수단이 되었다. SAR 표적 해석에서 전자기 산란 정보는 시각적 텍스처를 넘어 물리적으로 정당화된 단서를 제공하며, 표적 해석에 널리 활용되어 왔다. 그러나 기존 방법은 여전히 국소 산란 중심 표현에 지배적이다. 이러한 순서 없고 구성요소를 구분하지 않는 표현은 항공기 표적에 대해 매우 불안정하다. 그 결과, 산란 응답이 약한 물리적으로 존재하는 구성요소가 종종 누락되어, 재구성된 위상 구조가 불완전해진다. 이 한계를 해결하기 위해, 우리는 SAR 항공기 해석을 위한 새로운 패러다임으로 의미적 산란 구조 이해(Semantic Scattering Structure Understanding)를 제안한다. 의미적 산란 키포인트(semantic scattering keypoints)를 정의하여 국소 전자기 응답을 물리적으로 의미 있는 항공기 구성요소와 연관시키고, 가시성 인식(visibility-aware) 속성을 도입하여 관측하기 어렵지만 물리적으로 존재하는 구성요소를 보존한다. 키포인트는 더 나아가 안정적인 의미적 산란 구조로 조직된다. 이를 바탕으로, 우리는 S3U-SAR을 제안한다. 이는 의미적 산란 키포인트를 국소화하고, 산란 이질성, 강체 위상, 스펙클(speckle) 불확실성을 포함하는 다차원 물리적 사전 정보(priors)의 제약 하에 완전한 표현을 구축하는 물리 기반 프레임워크이다. 또한 최적화 충돌을 완화하기 위해 신뢰도 게이트(confidence-gated) 공동 감독 전략을 도입한다. 우리는 의미적 산란 구조 이해를 위한 최초의 세밀한 벤치마크인 KP-SAR-Aircraft-1.0 데이터셋을 구축한다. 광범위한 실험 결과 S3U-SAR이 베이스라인 대비 최고 성능을 달성함을 보여준다. 카테고리 간 및 데이터셋 간 평가는 추가로 그 견고성과 전이 가능성을 검증한다.
본문은 희소(sparse) SfM, fitted depth, 의미 분할(semantic segmentation)로부터 구조화된 3D 와이어프레임 재구성을 위한 S23DR 2026 챌린지의 우승 솔루션을 제시한다. 해당 방법은 정점(vertices)을 조건부 집합으로 취급하고, Perceiver 스타일의 장면 토큰을 조건으로 하는 flow-matching DiT로 64개의 정점 토큰을 디노이즈한다. 전역 패스(global pass)가 거친 구조를 예측하고, hull-cropped 두 번째 패스가 이를 정제하며, 소규모 다중 샘플 합의(consensus) 단계가 확률적 샘플러(stochastic sampler)를 안정적으로 유지한다. 최종 시스템은 private 리더보드에서 1위를 차지했으며, HSS = 0.654를 달성했다.
컴퓨터 비전은 지속적으로 성장하고 있는 분야이다. 1인칭 시점 기술의 발전과 함께 해당 분야 내에서 새로운 개발 기회가 등장하였다. 혼합 현실은 물리적 세계의 객체를 실시간으로 표시하는 가상 환경을 제공한다. 이를 위해 시뮬레이션된 환경에서 사용자의 몰입감을 고려하는 것이 필요하며, 가능한 원하는 현실에 점점 더 가깝게 만들고자 한다. 본 논문은 가상 이미지와 실제 이미지의 결합을 용이하게 하기 위해 이미지에서 전경과 배경을 식별하는 이미지 분할을 수행하는 이미지 처리 개발을 제안한다. 이를 위해 카메라를 통해 오프하이웨이 트럭 시뮬레이터 CAT793F를 사용하는 사용자의 실제 이미지를 획득하고, 인공지능 기법으로 해당 이미지의 분할을 수행한다. 합성곱 신경망 아키텍처인 "U-net"과 "DeepLabV3+"를 이미지 분할 수행에 적용하였다. 그 결과 약 90% 정확도의 지표가 제시되었으며 최적 모델이 결정되었다.
대규모 비전-언어 모델(LVLM)은 다양한 태스크에서 뛰어난 추론 성능을 달성했다. 그러나 LVLM을 활용한 텍스트-3D 실내 장면 생성에 관한 연구는 드물다. 주요 과제는 기존 LVLM 기반 방법들이 사고의 연쇄(chain-of-thought) 순차적 의사결정 메커니즘을 채택하여 이전 결정을 수정할 수 없으며, 이로 인해 오류가 전파된다는 점이다. 본 논문에서는 이 태스크를 공간적·레이아웃 상식에 의해 제약된 계획 문제로 간주한다. 이를 해결하기 위해, 기존의 순차적 의사결정 방식과 달리 글로벌 트리와 로컬 트리를 결합한 트리 탐색 문제로 모델링한다. 글로벌 트리에서는 인간이 방을 꾸미듯 각 객체를 반복적으로 배치하고 여러 시도를 탐험(exploration)하며, 문제 공간을 트리로 표현한다. 트리를 효과적으로 탐색하기 위해 계층적 장면 표현과 PRM 기반 MCTS 방법을 제안한다. 이 표현은 장면을 방 수준, 구역 수준, 바닥 객체 수준, 지지 객체 수준으로 추상화한다. PRM 기반 MCTS 방법은 PRM을 사용해 불필요한 분기를 가지치기하고, MCTS 알고리즘으로 탐험과 활용(exploitation)을 균형 있게 조절하여 더 적은 시도로 최적해를 얻는다. 로컬 트리에서는 각 객체의 배치를 구체적인 배치 파라미터를 포함한 더 세밀한 하위 단계로 분해한다. 장면 전체의 외관을 일관되게 유지하기 위해, 사전학습된 확산(diffusion) 이미지 생성 모델을 활용하여 장면 내 모든 객체의 텍스처를 예측한다. 기존의 텍스트-3D 실내 장면 생성 벤치마크는 규모와 다양성 면에서 한계가 있으므로, 65가지 장면 유형과 다양한 크기·레이아웃·스타일을 포함한 3,250개의 지시문으로 구성된 새로운 대규모 다양성 데이터셋인 3DTindo-bench를 수집하여 최신 모델의 능력을 더 잘 평가할 수 있도록 한다. 실험 결과, 본 방법이 최신 방법들보다 더 현실적인 3D 장면을 생성함을 보인다.
모방학습(imitation learning)은 로봇이 관찰을 통해 작업을 수행하는 방법을 학습할 수 있게 한다. 그러나 가정이나 사무실과 같은 실제 환경은 공간적 규모가 크기 때문에 심각한 부분 관측(partial observability) 문제가 발생하는 경우가 많다. 또한 많은 작업은 일련의 하위 작업들로 구성되어 있어, 자율 로봇이 장기적인 시간 범위에 걸쳐 추론해야 한다. 이러한 문제를 해결하기 위해, 우리는 씬 그래프(scene graph)를 모방학습에서 명시적이고 구조화된 메모리 메커니즘으로 활용할 것을 제안한다. 객체 중심의 관계와 그 시간적 변화를 포착하는 동적 씬 그래프를 유지함으로써, 우리의 방법은 에이전트가 작업 실행 중 관련 과거 컨텍스트를 보존하여 점진적으로 누적된 씬 정보에 대해 효율적으로 추론할 수 있게 한다. 시뮬레이션 기반 모바일 조작(mobile manipulation)과 실제 환경의 테이블탑 조작(tabletop manipulation) 실험 결과, 우리의 접근 방식은 특히 장기적 추론과 부분 관측 하에서의 강건한 일반화가 요구되는 환경에서 정책(policy) 성능을 크게 향상시키는 것으로 나타났다.
체화 AI(Embodied AI)와 VR 애플리케이션에 대한 수요 증가로, 희소 입력으로부터 고품질 3D 실내 장면을 합성할 필요성이 부각되고 있다. 그러나 기존 접근법은 전역적 일관성을 유지하면서 크게 보이지 않는 영역의 방대한 결측 기하를 추론하는 데 어려움을 겪으며, 종종 국소적으로는 그럴듯하지만 전역적으로는 불일치하는 재구성을 생성한다. 우리는 명시적 3D Gaussian Splatting(3DGS)과 비디오 확산 모델의 시간적 일관성 사전(prior)을 결합하여 전체 360도 실내 환경을 재구성하는 프레임워크 Rein3D를 제안한다. 우리 접근법은 "복원-정제(restore-and-refine)" 패러다임을 따른다: 원점에서 시작하는 궤적을 따라 불완전한 파노라믹 비디오를 렌더링하는 방사형 탐험 전략을 사용하여, 거친 3DGS 초기화로부터 가려진 영역을 효과적으로 드러낸다. 이 시퀀스는 파노라믹 비디오-투-비디오 확산 모델로 복원되고, 비디오 초해상도(super-resolution)를 통해 추가로 향상되어 고충실도 기하와 텍스처를 합성한다. 마지막으로, 이렇게 정제된 비디오는 의사 정답(pseudo-ground truth)으로 작용하여 전역 3D Gaussian 필드를 갱신한다. 이 작업을 지원하기 위해, 확산 기반 장면 복원을 위한 15K개 이상의 깨끗한-열화 쌍 파노라믹 비디오 데이터셋 PanoV2V-15K를 구축한다. 실험 결과 Rein3D는 사실적인(photorealistic) 전역적으로 일관된 3D 장면을 생성하며, 기존 베이스라인 대비 장거리 카메라 탐험을 크게 개선함을 보여준다.
최근 대규모 멀티모달 모델(LMM)은 시각적 그라운딩, 문서 이해, 다이어그램 추론 과제에서 빠른 발전을 이루었다. 그러나 인쇄 회로 기판(PCB) 회로도를 기계가 판독 가능한 공간적 가중치 넷리스트 그래프—부품 속성, 연결성, 기하 정보를 통합적으로 포착하는—로 변환하는 능력은, 이러한 그래프 표현이 실용적인 전자 설계 자동화(EDA) 워크플로의 근간임에도 불구하고 아직 충분히 탐구되지 않았다. 이 격차를 해소하기 위해, 우리는 LMM의 회로도 이해 및 공간 넷리스트 그래프 구성 능력을 평가하는 최초의 종합적 벤치마크인 OmniSch를 소개한다. OmniSch는 1,854개의 실제 회로도를 포함하며 네 가지 과제로 구성된다: (1) 회로도 엔티티에 대한 시각적 그라운딩—423.4K개의 다이어그램 의미 레이블을 시각적 영역에 대응시키는 109.9K개의 그라운딩 인스턴스 포함; (2) 다이어그램-그래프 추론—다이어그램 요소 간의 위상적 관계 이해; (3) 기하 추론—각 연결에 대한 레이아웃 의존적 가중치 구성; (4) 시각적 탐험을 위한 도구 보강 에이전트 추론—외부 도구를 호출하여 (1)-(3)을 수행. 우리의 실험 결과는 현재 LMM이 회로도 엔지니어링 아티팩트를 해석하는 데 있어 신뢰할 수 없는 세밀한 그라운딩, 취약한 레이아웃-그래프 파싱, 일관되지 않은 전역 연결성 추론, 비효율적인 시각적 탐험 등 상당한 한계가 존재함을 보여준다.