PyTorchKR Papers

최신 논문

총 2,547편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.19475v2cs.CV

PRGCN: 3D 인체 자세 추정에서 시퀀스 간 패턴 재사용을 위한 그래프 메모리 네트워크

PRGCN: A Graph Memory Network for Cross-Sequence Pattern Reuse in 3D Human Pose Estimation

단안(monocular) 3D 인체 자세 추정은 2D-3D 리프팅 과정에서 발생하는 깊이 모호성으로 인해 본질적으로 불량 조건(ill-posed) 역문제로 남아 있다. 최신 비디오 기반 방법들은 시간적 컨텍스트를 활용하여 공간적 추론을 향상시키지만, 각 시퀀스를 독립적으로 처리한다는 핵심적인 패러다임 한계를 지니고 있어, 인간 동작 전반에 걸쳐 나타나는 강한 구조적 규칙성과 반복적 동작 패턴을 활용하지 못한다. 본 연구는 패턴 검색 및 적응 문제로서 자세 추정을 형식화하는 새로운 프레임워크인 패턴 재사용 그래프 합성곱 네트워크(Pattern Reuse Graph Convolutional Network, PRGCN)를 제안한다. PRGCN의 핵심은 관계형 그래프로 인코딩된 간결한 자세 프로토타입 집합을 학습하고 저장하는 그래프 메모리 뱅크로, 이를 어텐션 메커니즘을 통해 동적으로 검색하여 구조화된 사전 정보(structured priors)를 제공한다. 이러한 사전 정보는 메모리 기반 그래프 합성곱을 통해 하드코딩된 해부학적 제약과 적응적으로 융합되어 기하학적 타당성을 보장한다. 이 검색 과정을 뒷받침하는 강건한 시공간 특징을 위해, Mamba 기반 상태공간 모델의 선형 복잡도 지역 시간 모델링과 셀프-어텐션의 전역 관계 처리 능력을 시너지적으로 결합한 이중 스트림 하이브리드 아키텍처를 설계하였다. Human3.6M 및 MPI-INF-3DHP 벤치마크에 대한 광범위한 평가를 통해 PRGCN이 각각 37.1mm 및 13.4mm의 MPJPE를 달성하며 새로운 최고 성능(state-of-the-art)을 확립함과 동시에 향상된 크로스 도메인 일반화 능력을 보임을 입증하였다. 본 연구는 그동안 간과되어 온 시퀀스 간 패턴 재사용 메커니즘이 이 분야의 발전에 핵심적임을 주장하며, 패러다임을 시퀀스별 최적화에서 누적적 지식 학습으로 전환할 것을 제시한다.

arXiv:2607.06560v1cs.CV

통합 멀티모달 생성으로서의 비전

Vision as Unified Multimodal Generation

컴퓨터 비전의 이질적인 태스크들을 태스크별 아키텍처 없이 통합 멀티모달 모델(UMM)의 텍스트·이미지 생성 공간으로 표현하는 SenseNova-Vision을 제안하며, 자연어 명령어와 선택적 시각 프롬프트로 탐지, OCR, 분할(segmentation), 깊이 추정, 카메라 포즈 추정 등 다양한 시각 태스크를 단일 생성 인터페이스로 처리한다. 대규모 학습을 위해 구축한 SenseNova-Vision Corpus를 활용하여 학습한 결과, 단일 통합 모델이 구조적 시각 이해, 조밀한 기하학적 예측, 분할, 다시점 시각 기하학 전반에서 태스크 특화 시스템과 동등한 성능을 달성함을 보인다.

arXiv:2607.06337v1cs.RO

OrchardBench: 농업 로봇공학을 위한 물리 기반 GPU 병렬 사과 과수원 시뮬레이션 벤치마크

OrchardBench: A Physically-Grounded, GPU-Parallel Apple-Orchard Simulation Benchmark for Agricultural Robotics

OrchardBench은 Newton/MuJoCo-Warp 엔진 위에서 확률론적 L-시스템으로 생성된 사과나무를 오일러-베르누이 빔 이론 기반의 완전 관절 역학계로 표현하고, 가지 파단·과일 분리·이동형 잎 층 가림 현상까지 물리적으로 재현하는 GPU 병렬 농업 로봇 시뮬레이션 벤치마크이다. 8GB 랩톱 GPU에서 다수의 병렬 환경을 인터랙티브한 속도로 실행할 수 있으며, 자율 수확 기준선은 감지한 과일의 약 40%, 도달 가능한 과일의 약 12.5%만 수확해 향후 학습 기반 자율화 방법의 개선 여지를 명확히 보여준다.

arXiv:2607.05765v1cs.CV

Image2Sim: 생성적 신경 시뮬레이터를 통한 구현된 내비게이션 스케일링

Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator

RGB-D 이미지 시퀀스로부터 고품질 인터랙티브 환경을 실시간으로 구성하는 신경 시뮬레이션 프레임워크 Image2Sim을 제안하며, 3D 공간 앵커링과 포토리얼리스틱 관측 합성을 분리하는 것이 핵심 설계 원칙이다. 약 20K개의 인터랙티브 장면과 1천만 개 이상의 내비게이션 학습 샘플을 자동 생성하여, 이 신경 환경에서만 학습한 모델이 주요 벤치마크에서 성능 향상을 달성하고 실제 환경 제로샷 전이에도 효과적임을 입증했다.

arXiv:2607.05543v1cs.RO

GEM-Occ: 시각적 기하학 증거에서 구현된 에이전트의 의미론적 점유 메모리로

GEM-Occ: From Visual Geometry Evidence to Embodied Semantic Occupancy Memory

실내 에이전트의 장거리 의미론적 점유(semantic occupancy) 매핑을 위해 ScanNet, ScanNet++, Matterport3D를 통합한 계층적 벤치마크 HIOcc와, 로컬 시각적 기하학 예측을 일시적 증거로 변환해 가시성·불확실성 인식 인과 업데이트로 영속적 계층 메모리에 융합하는 GEM-Occ 프레임워크를 제안한다. HIOcc 실험에서 GEM-Occ는 기존 실내 점유 및 가우시안 기반 매핑 베이스라인 대비 로컬 점유 예측, 온라인 맵 안정성, 자유 공간 추론, 재방문 일관성, 건물 단위 확장성 전반에서 성능 향상을 달성하였다.

arXiv:2607.05467v1cs.CV

합성 안개 환경에서 UAV 탐지 및 추적의 태스크 기반 평가

A Task-Driven Evaluation of UAV Detection and Tracking under Synthetic Fog

합성 안개 환경에서 소형 UAV 탐지 및 추적 성능을 체계적으로 평가하기 위해, 단안 깊이 추정과 대기 산란 모델 기반의 안개 생성, 영상 복원, 객체 검출, 추적-by-detection을 통합한 태스크 기반 평가 파이프라인을 제안한다. 안개 포함 학습이 가장 일관된 강건성 향상을 제공하며, 복원 품질이 반드시 하위 인식 성능 향상으로 이어지지 않음을 실험적으로 입증한다.

arXiv:2607.02707v2cs.CV

VLRC: 더 나은 피드포워드 3D 사전학습을 위한 확장 가능한 신호로서의 비전-언어 재투영 일관성

VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining

피드포워드 3D 모델 학습 시 기하학적 지도 학습의 비용과 광도측정 자기지도 학습의 모호성 문제를 해결하기 위해, 동결된 비전-언어(vision-language) 모델의 표현을 다시점 간 일관성 신호로 활용하는 보조 목적 함수 VLRC(Vision-Language Reprojection Consistency)를 제안한다. VLRC는 추가 3D 어노테이션 없이 예측된 3D 구조를 통해 조밀한 비전-언어 특징을 재투영하여 일관성을 강제하며, 실내외 벤치마크에서 깊이 및 카메라 추정 정확도와 제로샷 개방형 어휘 3D 의미론적 분할 성능을 향상시켰다.

arXiv:2606.24805v2cs.CV

DDStereo: 스테레오 3D 도로 이상 검출을 위한 효율적인 이중 디코더 트랜스포머

DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection

자율주행 환경에서 배포 비용, 검출 정확도, 오픈셋 적응성을 동시에 충족하기 위해 이중 디코더 구조의 스테레오 트랜스포머인 DDStereo를 제안하며, 스테레오 시차(disparity) 특징을 활용해 3D 객체 검출과 분포 외(Out-of-Distribution) 도로 이상 검출을 단일 파이프라인에서 24ms 실시간 추론으로 통합한다. 공유 객체 쿼리 메커니즘으로 복잡한 특징 수준 융합 없이 크로스 태스크 정렬을 유지하며, AR-OoD 및 KITTI 벤치마크에서 오픈셋·클로즈드셋 프로토콜 모두 최고 수준의 정확도를 달성했다.

arXiv:2606.14048v3cs.CV

WAM4D: 공간 레지스터 토큰을 통한 빠른 4D 월드 액션 모델

WAM4D: Fast 4D World Action Model via Spatial Register Tokens

WAM4D는 기존 월드 액션 모델(WAM)이 2D 공간에서 동작하여 정밀 조작에 필요한 3D 공간 제약을 충족하지 못하는 문제를 해결하기 위해, 학습 시에만 경량 공간 레지스터 토큰을 통해 기하학적 파운데이션 모델의 사전 지식을 인과적 비디오-액션 트랜스포머로 증류하고 추론 시에는 해당 브랜치를 제거하는 방식을 제안한다. RoboTwin 2.0 및 실세계 조작 태스크 실험에서 공간적 일관성과 액션 예측 성능을 모두 향상시키면서 효율적인 추론 속도를 유지함을 검증하였다.

arXiv:2604.22851v2cs.CV

EgoDyn-Bench: 자율주행을 위한 비전 중심 파운데이션 모델의 자아 운동 이해 평가

EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving

자율주행에서 비전-언어 모델(VLM)의 자아 운동(ego-motion) 이해를 평가하는 진단 벤치마크 EgoDyn-Bench를 제안하며, 결정론적 오라클로 연속적 차량 운동학을 이산적 의미 개념에 매핑해 20개 이상의 모델을 대규모로 감사한다. 평가 결과, 현재 모델들은 물리적 추론 능력 자체보다는 시각적 관찰과의 정렬에서 구조적 결함을 보이며, 학습되지 않은 고전적 기하학적 기준선보다도 낮은 성능을 보이는 인식 병목(Perception Bottleneck) 현상이 모델 규모와 도메인 특화 학습에 무관하게 지속됨을 밝혔다.

arXiv:2603.21046v2cs.CV

SpatialFly: 연속적 UAV 비전-언어 내비게이션을 위한 암묵적 3D 사전 정보 기반 시각적 재파라미터화

SpatialFly: Implicit 3D Prior-Guided Visual Reparameterization for Continuous UAV Vision-and-Language Navigation

RGB 관측만으로 명시적 3D 재구성 없이 작동하는 SpatialFly는 기하학적 사전 정보 주입(Geometric Prior Injection)과 기하학-인식 재파라미터화(Geometry-Aware Reparameterization) 모듈을 통해 2D 시각 토큰에 암묵적 3D 구조 정보를 주입함으로써 UAV 비전-언어 내비게이션(VLN)의 2D 인식과 3D 궤적 의사결정 간 표현 불일치 문제를 해결한다. 미관측 환경에서 기존 최강 기준선 대비 항법 오차(NE)를 4.03m 줄이고 성공률(SR)을 1.27% 향상시켜 더 안정적이고 경로 정렬이 우수한 궤적을 생성함을 실험으로 입증했다.

arXiv:2601.15275v3cs.CV

RayRoPE: 멀티뷰 어텐션을 위한 투영 광선 위치 인코딩

RayRoPE: Projective Ray Positional Encoding for Multi-view Attention

멀티뷰 트랜스포머에서 SE(3) 불변성, 패치 고유성, 장면 기하학 적응성, 다중 주파수 유사도를 동시에 만족하는 위치 인코딩이 없다는 문제를 해결하기 위해, 광선(ray) 기반 투영 좌표를 활용한 RayRoPE를 제안한다. RayRoPE는 직접 지도 없이 토큰별 깊이를 예측해 위치를 결정하고 불확실성을 해석적으로 모델링하며, 새로운 시점 합성·스테레오 깊이 추정·3DGS 재구성 등 다양한 3D 비전 태스크에서 기존 인코딩 방식 대비 일관된 성능 향상(RE10K LPIPS 기준 24% 개선)을 달성했다.

arXiv:2607.04101v1cs.CV

The Multipath Blind Spot: $K$-Agnostic Robust Calibration for Sparse-Anchor Metric Depth from Frozen Foundations

단안 깊이 기반 모델(monocular depth foundation)은 도메인 일반적 상대적 깊이를 예측하지만 절대적 스케일이 없으며, 거리 센서의 소수 희소 메트릭 앵커를 활용해 메트릭 깊이로 보정하는 방식은 메트릭 지도 학습의 매력적인 대안이 된다. 그러나 기존 희소 앵커 보정 방법들은 앵커가 깨끗하다고 가정하는 반면, 실제 센서는 단순히 누락되는 것이 아니라 잘못된 값을 갖는 이상값—비행 시간 다중경로(time-of-flight multipath), 혼합 픽셀(mixed pixels)—을 생성한다. 우리는 기존의 CFA 기반 잔차 보정 방식이 이러한 이상값 하에서 무너지며, 공개 배포된 가장 강력한 방법인 VI-Depth가 구조적인 다중경로 사각지대를 가짐을 보인다: 누락된 앵커에는 강건하지만, 앵커가 존재하되 잘못된 경우 4개 데이터셋 중 3개에서 보호되지 않은 기준선보다 뒤처진다. 우리는 보정 헤드에 대한 단 한 번의 호출 전에, 기반 모델 일관성—Theil–Sen 적합 및 기반 모델 자체의 상대적 깊이 순서에 대한 중앙값 절대 편차(median-absolute-deviation) 검정—으로 앵커를 걸러내는 매개변수 없는 추론 시간 래퍼인 다중경로 강건 앵커 보정(Multipath-Robust Anchor Calibration, MRAC)을 제안한다. MRAC는 학습된 매개변수를 추가하지 않고, CPU에서 약 50μs에 선택 과정을 실행하며, 하나의 체크포인트에서 $K \in [5, 200]$의 앵커 예산을 처리한다. 동일 백본, 동일 아키텍처 대조군이 포함된 320셀 벤치마크에서, MRAC는 모든 4가지 이상값 계열에 걸쳐 동일 백본 셀의 84%에서 엄격하게 우세하며, VI-Depth 대비 모든 12개의 손상된 다중경로 셀과 모든 16개의 KITTI 셀에서 승리하고, 재학습 없이 KITTI 다중경로 AbsRel을 3.2배(0.489에서 0.151로) 감소시킨다.

arXiv:2607.04079v1cs.CV

한 번 보는 것으로 충분한가? 3D 질의응답을 위한 온라인 기하학 인식 토큰 가지치기

Seeing Once is Enough? Online Geometry-Aware Token Pruning for 3D Question Answering

최근 멀티모달 대규모 언어 모델(MLLM)은 2D 질의응답 태스크에서 뛰어난 성능을 보여왔다. 그러나 이러한 모델을 3D 질의응답으로 확장하는 것은 여전히 어려운 과제로, 일반적으로 장면의 다중 시점이 필요하여 추론 시 상당한 계산 비용이 발생한다. 이 문제를 완화하기 위해 기존 솔루션들은 전략적 프레임 선택 또는 토큰 병합 알고리즘에 의존하며, 이는 장면의 모든 프레임을 사전에 전처리하는 오프라인 방식을 필요로 한다. 이와 달리, 우리는 추가 학습 없이 더 낮은 메모리 사용량으로 현재 MLLM 모델에 원활하게 통합될 수 있는, 3D 질의응답 태스크를 위한 최초의 온라인 토큰 가지치기 방법을 제안한다. 핵심 아이디어는 깊이 정보와 카메라 포즈를 활용하여 각 입력 프레임을 공유 복셀(voxel) 공간에 투영함으로써 프레임 간 공간적으로 중복된 영역을 식별하고, 해당 중복 이미지 토큰이 언어 모델에 입력되기 전에 선택적으로 가지치기를 수행하는 것이다. 우리의 방법은 효율적인 온라인 처리를 가능하게 하면서 토큰 사용량을 최대 50%까지 줄인다. 이 접근법을 Qwen2.5-VL-7B와 Qwen3-VL-8B에 적용하여 ScanQA, SQA3D, OpenEQA-HM3D 벤치마크에서 향상된 성능을 입증하였다.

arXiv:2607.03818v1cs.CV

TRISTAR: 수색·구조 마이크로 무인항공기를 위한 삼중 신호 계단 인식 및 단안 비전 전용 실내 내비게이션

TRISTAR: Triple-Signal Stair Recognition and Vision-Only Indoor Navigation for Search-and-Rescue Micro-UAVs

실내 수색·구조(SAR) 작전은 GNSS 신호가 제공되지 않고 인간의 접근이 어렵거나 위험한 환경에서 신속한 상황 인식을 요구하는 경우가 많다. 대부분의 자율 항공 시스템은 LiDAR, 스테레오 비전, 또는 특수 깊이 카메라에 의존하지만, 이러한 솔루션은 하드웨어 복잡도와 배포 비용을 모두 증가시킨다. 본 논문은 단안 비전만을 기반으로 하는 저비용 무인항공기(UAV)를 위한 완전한 자율 실내 내비게이션 프레임워크를 제시한다. DJI Tello 플랫폼에 구현된 이 시스템은 Depth Anything V2를 이용한 단안 깊이 추정과 고전적 컴퓨터 비전 및 경량 심층 학습 모델을 결합하여 장면 이해, 피해자 탐지, 위험 요소 인식을 수행한다. 프레임워크는 두 가지 독립적 동작으로 구성된다: (i) 자동 문 탐지, 방 진입, OCR 기반 방 식별, 피해자 검사를 포함한 복도 탐험; (ii) TRISTAR(TRI-Signal STair Ascent Recognition)에 기반한 자율 계단 오르기로, 이는 구조적 단서(Sobel 필터링), 텍스처 분석(다중 스케일 Gabor 필터링), 단안 깊이 추정으로부터의 기하학적 깊이를 통합하는 새로운 삼중 센서 융합 방법이다. 평가는 대학 건물에서의 실제 실내 비행을 통해 수행되었다. 깊이 보정을 통해 상대 깊이 오차를 27.4%에서 10% 미만으로 감소시켰으며, 문 탐지 알고리즘은 정밀도 0.93, F1 점수 0.91을 달성하였다. 전용 절제 연구(ablation study)를 통해 다중 센서 융합이 개별 감지 모달리티에 비해 계단 인식 견고성을 크게 향상시킴을 확인하였으며, 실패 사례 분석은 도전적인 조명 및 반사 표면 환경에서 단안 인식의 한계를 명확히 제시한다. 결과는 자원이 제한된 플랫폼에서 전문 거리 측정 하드웨어 없이도 신뢰할 수 있는 실내 탐험과 계단 이동이 가능함을 입증하며, 신속한 SAR 배포를 위한 실용적이고 비용 효율적인 솔루션을 제공한다.

arXiv:2607.03771v1cs.CV

시점 방향 분할과 장면 완성을 활용한 도시 규모 3D 표면 재구성

City-Level 3D Surface Reconstruction with Viewpoint Orientation Partitioning and Scene Completion

다중 시점 3D 표면 재구성은 컴퓨터 비전(CV)에서 오랜 난제이다. 최근 3D Gaussian Splatting(3DGS) 기반의 대규모 재구성 방법들이 인상적인 새로운 시점 합성을 달성하고 있지만, 복잡한 기하 구조, 긴 최적화 시간, 제한된 메모리로 인해 대규모 장면에서 고품질 표면을 생성하는 것은 여전히 어렵다. 본 논문에서는 대규모 장면 표면을 효율적이고 충실하게 재구성하기 위한 새롭고 간단한 분할 방법을 제안한다. 핵심 아이디어는 시점 방향에 기반한 장면 분할 방법에 있다. 이 분할 접근법은 유사한 방향을 가진 시점들이 함께 활용되어 보다 정확한 깊이 추정이 이루어지도록 보장하며, 이를 통해 정밀한 표면 재구성과 여러 GPU에서의 균형 잡힌 병렬 연산을 가능하게 한다. 또한 희소한 시점이나 불충분한 텍스처로 인해 초기 포인트 클라우드에서 발생하는 누락 영역을 감지하고 복구하는 전략을 제안하여 기하학적 품질을 추가로 향상시킨다. GauU-Scene, MatrixCity, UrbanScene3D 데이터셋에 대한 광범위한 실험을 통해 본 방법이 대규모 장면의 표면 재구성에서 최신 기법들을 능가함을 입증한다. 프로젝트 페이지: https://hanl2010.github.io/VOP-GS.

arXiv:2607.03765v1cs.CV

법선 사전 정보를 활용한 고신뢰도 깊이 전파 기반 가우시안 스플래팅을 이용한 희소 뷰 표면 복원

Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors

희소 뷰에서의 3D 복원은 3D 컴퓨터 비전(CV)에서 어려운 과제입니다. 3D 가우시안 스플래팅(3DGS)에 관한 최근 연구들은 희소 뷰 신규 뷰 합성에서 뛰어난 성과를 거두었으나, 제한된 기하학적 단서와 가우시안의 이산성으로 인해 희소 뷰에서 고품질 기하학적 표면을 복원하는 것은 여전히 난제로 남아 있습니다. 본 논문에서는 희소 뷰로부터 고충실도 표면 복원을 위한 새로운 3DGS 기반 방법을 제안합니다. 핵심 아이디어는 법선 기반 깊이 전파 접근법을 도입하는 것으로, 이를 통해 고신뢰도 영역의 깊이 정보를 저신뢰도 영역의 깊이 추정에 제약 조건으로 확장할 수 있습니다. 또한 가우시안의 이산성으로 인한 깊이 불연속 문제를 해결하기 위해 비정상 깊이 에지 인식 정규화(regularization)를 제안합니다. DTU 및 Tanks-and-Temples 데이터셋에 대한 광범위한 실험을 통해 본 방법이 희소 뷰 표면 복원에서 최신 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://hanl2010.github.io/DP-GS.

arXiv:2607.03614v1cs.CV

IDEAL-Bench: 3D 레이아웃 추론 분석을 위한 실내 데이터셋 및 평가 모음

IDEAL-Bench: Indoor Dataset and Evaluation suite for Analyzing 3D Layout reasoning

공간 질의응답(spatial question answering)은 비전-언어 모델(VLM)의 공간 지능을 평가하는 지배적인 패러다임이지만, 공간 역량의 상보적 축인 전체론적 3D 레이아웃 추론(holistic 3D layout inference)—단일 이미지에서 모든 가시 객체의 포즈와 크기를 구조화된 형태로 예측하는 능력—은 충분히 평가되지 않고 있다. 이를 위해 우리는 IDEAL-Bench를 소개한다. 이는 VLM이 10가지 방 유형에 걸친 사실적 실내 장면에서 구조화된 3D 레이아웃을 예측하도록 요구하는 평가 모음으로, 5가지 수치 차원과 지각적 렌더링-비교(render-and-compare) 프로토콜로 채점된다. 제어된 조명과 시점 하에 완전한 에셋 치환(full asset substitution)을 적용한 의미론적으로 현실적인 장면을 활용함으로써, IDEAL-Bench는 CLEVR 방식의 단순한 기하학적 프리미티브를 넘어서, 이미지 공간에서의 불일치가 오직 공간 추론만을 반영하도록 한다. 이 벤치마크는 정답 레이아웃이 포함된 1,000개의 절차적으로 생성된 재렌더링 가능한 Blender 환경 데이터셋인 IDEAL-Scenes를 기반으로 구축된다. 15개의 주요 VLM을 평가한 결과 세 가지 발견이 도출되었다: 첫째, 이 태스크는 여전히 대부분 미해결 상태이며, 가장 강력한 모델도 전체 점수 100점 만점에 62.1점에 그쳤다. 둘째, 모든 모델은 객체 인식과 기하학적 회귀(geometric regression) 사이에서 뚜렷한 비대칭성을 보였으며, 이는 현재 VLM이 장면을 측정하기보다는 묘사하도록 학습되었음을 나타낸다. 셋째, 모델 순위가 QA 기반 및 프리미티브 재구성 벤치마크의 순위와 부분적으로 달랐다: 최상위 합의는 유지되었으나 중위권 순위는 상당히 변동되었다. 종합하면, 이러한 발견들은 IDEAL-Bench를 QA 기반 평가가 드러낼 수 없는 기하학적·구조적 역량을 겨냥한 진단 모음으로 자리매김하며, 차세대 VLM에서 공간 지능을 보다 엄밀하게 평가하는 방향을 제시한다. 이러한 발견들은 종합적으로 IDEAL-Bench를 미래의 VLM이 공간적 이해를 언어적 근사가 아닌 진정한 형태로 달성하는지를 판단하기 위한 원칙적 진단 도구로 위치시킨다.

arXiv:2607.03470v1cs.CV

PhysMirror: 물리 인식 거울 객체 생성

PhysMirror: Physics-Aware Mirror Object Generation

물리적으로 정확한 거울 반사를 합성하는 것은 현대 텍스트-이미지 확산 모델에서 여전히 근본적인 과제이며, 이는 구현된 AI와 로봇 인식을 위한 합성 학습 데이터 생성에 점점 더 중요해지고 있습니다. 이러한 모델들은 일반적으로 엄격한 기하학적 제약을 처리하는 데 어려움을 겪어, 합성 데이터의 유용성을 저하시키는 환각을 유발합니다. 이를 해결하기 위해, 우리는 명시적 3D 공간 사전 정보를 통해 사영 기하학을 원천적으로 적용하는 새로운 엔드-투-엔드 물리 인식 생성 프레임워크인 PhysMirror를 소개합니다. 우리의 방법은 프롬프트된 객체를 자동으로 3D 메시로 변환하고, 시뮬레이션 환경 내에서 수학적으로 정확한 경량 거울 장면을 구성합니다. 이 명시적 3D 장면을 렌더링함으로써, 깊이 맵과 분할 맵과 같은 정밀한 2D 조건 요소를 추출하여 하위 확산 모델을 위한 강력한 가이딩 신호로 활용하고, 모델이 물리적으로 올바른 거울 반사가 있는 이미지를 생성하도록 유도합니다. 또한, 우리는 밀집 특징 매칭과 소실점 수렴을 사용하여 물리적 정확성을 정량화하는 참조 불필요, 완전 자동화된 지표인 Mirror Consistency Score(MCS)를 도입합니다. 새롭게 구축된 MirrOB 데이터셋에 대한 실험 결과는 우리의 접근 방식이 반사 정확도와 물리적 사실성에서 최신 기준 모델들을 능가하는 동시에 강력한 텍스트-이미지 의미 정렬을 유지하며, 구현된 AI 데이터 생성을 위한 신뢰할 수 있는 파이프라인을 제공함을 보여줍니다. 소스 코드는 https://duyphuc0701.github.io/PhysMirror 에서 공개되었습니다.

arXiv:2607.03247v1cs.CV

SPAD 기반 LiDAR 플레어 억제 학습

Learning to Suppress SPAD-based LiDAR Flare

단일광자 눈사태 다이오드(SPAD) 기반 광 검출 및 거리 측정(LiDAR)은 높은 민감도와 정밀한 깊이 감지 능력으로 자율주행차 분야에서 부상하고 있다. 그러나 과도한 광자 반사 또는 파일업(pile-up) 효과로 인한 플레어(flare)는 잘못된 깊이 추정과 포인트 클라우드의 과장된 경계를 초래하여 기하학적 측정값에 심각한 왜곡을 야기하며, 이로 인해 안전 필수 응용에서 플레어 억제가 필수적이다. 기존의 플레어 완화 방법은 주로 하드웨어 또는 신호 처리 수준에서 동작한다. 특정 구성 하에서는 효과적이지만, 대부분 규칙 기반이며 구성 의존적이어서 다양한 감지 시나리오에 걸쳐 일반화되는 학습 가능한 표현이 부족하다. 본 연구에서는 플레어 억제를 시맨틱 분할(semantic segmentation) 문제로 재정식화하여, SPAD 측정값으로부터 기하학적 및 광도적 단서를 데이터 기반으로 학습할 수 있도록 한다. 먼저 새롭게 구축한 SPAD 플레어 데이터셋에서 대표적인 분할 모델들을 벤치마크하고, 이들이 SPAD 신호의 고유한 다중 에코 특성을 활용하는 데 어려움을 겪는다는 점을 관찰하였다. 이 관찰에 착안하여, 첫 번째 및 두 번째 에코를 주변 조도와 함께 별개의 모달리티로 처리하고, 에코 간 정보를 집계하면서 기하학적 및 광도적 특징을 공동으로 인코딩하는 학습 기반 접근법인 물리 정보 기반 LiDAR 플레어 분할(PILF, Physically-Informed segmentation for LiDAR Flare)을 제안한다. 다수의 실제 장면에 걸친 실험 결과, PILF는 비교 대상 분할 모델들을 크게 능가하여 최대 79.32% mIoU를 달성하며, SPAD 기반 LiDAR 플레어 억제를 위한 효과적인 솔루션을 제공한다.