PyTorchKR Papers

최신 논문

총 2,547편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22277v1cs.AI

시각장애인 다중모달 이동 보조를 위한 저렴한 AI 통합 스마트 지팡이

An Affordable AI-Integrated Smart Cane for Multimodal Mobility Assistance of Visually Impaired Users

전 세계 22억 명 이상이 시각장애를 겪고 있으나, 기존 흰 지팡이는 높이 있는 위험 요소를 감지하거나 의미론적 환경 맥락을 제공할 수 없다. 기존 AI 보조 내비게이션 시스템은 일반적으로 고가의 하드웨어 또는 클라우드 연결에 의존하여, 자원이 제한된 환경에서의 접근성을 제한한다. 본 논문은 초저전력 Raspberry Pi Zero 2W에서 다중모달 이동 보조를 위해 설계된 저렴한(88 USD) 완전 오프라인 AI 통합 스마트 지팡이를 제안한다. 시스템은 RGB 비전 감지와 Time-of-Flight(ToF) 거리 추정을 융합하고, INT8 양자화 SSD MobileNet V1 모델을 거리 인식 진동 촉각 피드백 및 실시간 오디오 알림과 결합한다. 제한된 하드웨어에서의 운영 견고성을 위해, 멀티프로세싱 아키텍처가 센서 획득, 신경망 추론, 햅틱 피드백을 장애 안전 센싱 지원과 함께 독립 프로세스로 분리한다. 실내 이동 시나리오에 걸친 실험 평가는 macro-averaged F1-score 0.82(정밀도: 0.85, 재현율: 0.81), 평균 end-to-end 지연 330 ms, 최대 전력 소모 2.8 W를 보여준다. 12명 참가자(SUS: 78.5, NASA-TLX)를 대상으로 한 예비 사용성 연구는 긍정적인 사용자 인식과 향상된 장애물 인식을 보여주었다. 제안된 프로토타입은 비용에 민감한 이동 보조를 위한 프라이버시 보존형 엣지 네이티브 보조 지능 배포의 타당성을 검증한다.

arXiv:2607.11498v2cs.RO

로봇처럼 보기: VLA 모델을 위한 로봇 중심 포인트맵

See like a Robot: Robot-Centric Pointmaps for VLA Models

비전-언어-행동(VLA) 모델은 3D 공간 추론이 필요하지만, RGB 관측은 로봇-객체 기하를 암묵적으로만 인코딩한다. 카메라 내부 파라미터로 깊이를 리프팅하면 이 기하를 밀집하고 이미지에 정렬된 포인트맵(pointmap)으로 명시화할 수 있으나, 카메라 프레임 좌표는 카메라 배치에 따라 달라진다. 우리는 포인트맵을 엔드 이펙터(end-effector) 원점과 로봇 베이스에 정렬된 축을 갖는 로봇 중심 좌표계로 변환하는 SeeR-VLA를 제안한다. 사전학습된 RGB 가중치로 초기화한 인코더가 포인트맵 특징을 추출하고, 토큰 수를 늘리지 않은 채 대응하는 RGB 토큰에 더한다. 24개 RoboCasa 태스크와 4개의 실세계 태스크에서 SeeR-VLA는 RGB만 사용하는 $\pi_{0.5}$ 대비 평균 성공률을 각각 6.4 및 32.5퍼센트포인트 향상시킨다. 또한 평가한 3D 보강 기준선 중 최강인 PointVLA를 각각 3.5 및 23.7퍼센트포인트 능가한다. 이러한 향상 외에, ablation을 통해 좌표 선택이 VLA 성능에 미치는 영향을 밝혔으며, 엔드 이펙터 중심화는 로봇 베이스 정렬 축과 함께할 때 가장 효과적임을 보였다. 학습 시점(viewpoint)이 다양해질수록 이점이 커지며, 다양한 카메라 구성에서 학습할 때 로봇 프레임 포인트맵을 사용하는 것이 중요함을 강조한다.

arXiv:2609.24981v1cs.CV

GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습

GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation

우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.

arXiv:2609.24825v1cs.CV

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2609.24595v1cs.CV

신경 세포자동기(NCA)의 응용: 최신 동향, 과제 및 기회

Applications of Neural Cellular Automata: State of the Art, Challenges and Opportunities

신경 세포자동기(NCA)는 극히 작은 모델 크기에서도 정확하고 견고한 추론을 가능하게 하는 새로운 유형의 신경망 아키텍처이다. 최근 NCA는 이미지 분석, 합성 이미지 생성, 시뮬레이션 등 다양한 작업에서 합성곱 및 어텐션 기반 아키텍처에 대한 흥미로운 저자원 대안으로 발전해 왔다. 급속한 발전과 연구 관심의 증가는 이 신흥 기술에 대한 포괄적인 검토를 필요로 한다. 본 리뷰는 NCA의 기초, 의료 영상에 대한 응용, 그리고 최신 동향에 대한 통찰을 개괄적으로 제공한다. 우리는 최초로 제안된 NCA 아키텍처에 대한 최근 수정 사항을 효율성과 정확도 측면에서 분석한다. 또한 의료 영상 분석, 세분화(segmentation), 분류, 정합(registration), 깊이 추정, 이미지 합성에 초점을 맞추어 실제 시나리오에서의 실용적 응용을 검토한다. 마지막으로 NCA의 여러 장점과 연구 공백을 식별하고, 제한된 환경이거나 견고성 또는 효율적인 데이터 처리에 특별한 요구가 있는 영역에서의 의료 응용을 위한 NCA의 미래 기회를 분석하며 결론을 내린다.

arXiv:2609.24494v1cs.CV

CMAMBADEPTH: 채널 맘바와 하이브리드 어텐션을 활용한 자기지도 단안 깊이 추정

CMAMBADEPTH: Self-supervised Monocular Depth Estimation with Channel Mamba and Hybrid Attention

정확한 단안 깊이 추정(monocular depth estimation)은 단일 카메라 장면 이해를 위한 핵심적인 조력자 역할을 합니다. 그러나 기존의 자기지도 단안 깊이 추정 방법들은 일반적으로 비효율적인 교차 스케일 정보 상호작용과 국소(local) 및 전역(global) 공간 모델링의 균형을 맞추기 어렵다는 병목 현상을 겪고 있습니다. 본 논문에서는 채널별 선택적 상태 전파를 통해 효율적인 다중 스케일 특징(feature) 융합과 세밀한 문맥 모델링을 달성하는 자기지도 프레임워크인 CMambaDepth를 제안합니다. 구체적으로, 양방향 채널 맘바(Bidirectional Channel Mamba, Bi-CMamba)는 스케일에 걸쳐 인코더 특징을 정렬하고 순서화된 스케일 그룹 간의 양방향 정보 교환을 가능하게 합니다. 단방향 채널 맘바(Unidirectional Channel Mamba, Uni-CMamba)는 디코더 특징을 점진적으로 집약하고 후속 융합을 위한 그룹 선택 메커니즘을 통해 세밀한 스케일 그룹을 유지합니다. 나아가, 상호보완적인 공간 모델링을 위해 대형 커널(kernel) 국소 문맥과 맨해튼 자기 어텐션(Manhattan self-attention)을 결합하는 하이브리드 어텐션 모듈(Hybrid Attention Module, HAM)을 도입합니다. 실험 결과는 본 제안 방법이 매우 경쟁력 있는 성능을 달성함을 입증합니다. 구체적으로, 본 모델(model)은 KITTI에서 0.094의 AbsRel과 4.156의 RMSE를 기록하고, DDAD에서 0.140의 AbsRel을 달성합니다. NYUv2에서의 제로샷(zero-shot) 교차 데이터셋(dataset) 일반화 테스트에서는 0.232의 AbsRel을 달성하여 기준선(baseline)인 RA-Depth보다 7.2% 향상된 성능을 보입니다.

arXiv:2609.24424v1cs.CV

비전 트랜스포머를 활용한 카메라 공간 내 정확한 손 자세 추정

Estimating Accurate Hand Pose in Camera Space with Vision Transformer

단안 RGB 기반 손 자세 추정은 컴퓨터 비전(CV) 분야에서 중요한 핵심 연구 분야로 떠올랐습니다. 로컬 손 자세 추정 방법은 손목을 기준으로 손 자세를 예측하는 반면, 글로벌 손 자세 추정은 카메라 좌표계에서 손목의 위치까지 추정해야 합니다. 그러나 이러한 카메라 공간 추정은 두 가지 근본적인 문제에 직면합니다. (1) 단안 환경에서의 깊이 모호성, 그리고 (2) 원근 투영에서 손의 로컬 자세와 글로벌 손목 위치 간의 결합 효과(coupling effect)입니다. 특히 이러한 결합은 원근 투영이 손의 로컬 자세, 손목 위치, 카메라 내부 파라미터(intrinsics)에 의해 공동으로 결정된다는 점을 반영합니다. 이러한 문제를 극복하기 위해, 본 프레임워크는 주류 인코더-디코더 아키텍처 내에 통합된 두 가지 핵심 혁신을 제안합니다. 바로 손 깊이 정보 추출을 위한 변환-동형 감독(Transformation-Isomorphism Supervision)과 로컬 자세 및 손목 위치 간의 상기 결합 효과를 해결하기 위한 원근 정보 임베딩(Perspective Information Embedding)입니다. 아울러 순차적 자세 정제를 위한 프레임 레이트 인식 다중 데이터셋 학습 전략을 새롭게 제안합니다. 완전히 통합된 본 접근 방식은 HO3D에서 기존 SOTA 대비 CS-MJE 기준 최대 37.1%의 우수한 성능을 달성합니다. 프로젝트 페이지: https://github.com/Mine268/CS-ViT.

arXiv:2609.24312v1cs.CV

AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.

arXiv:2609.24187v1cs.RO

StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA

StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses

자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.

arXiv:2609.23961v1cs.CV

Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성

Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video

단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.

arXiv:2609.23796v1cs.CV

Mira-Scene: 생성형 3D 장면을 위한 픽셀 정렬 레이아웃

Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene

단일 이미지 기반 3D 객체 생성은 이제 고충실도(high-fidelity) 에셋을 생성할 수 있지만, 이들을 일관된 장면 레이아웃 내에 정확하게 배치하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 객체 레이아웃을 표현하는 방식에 있습니다. 전체론적(holistic) 방식은 배치를 장면 수준의 생성 프로세스에 흡수시켜 객체 수준의 세부 표현을 희생합니다. 구성적(compositional) 방식은 기하학적 구조(geometry)와 레이아웃을 분리하여 객체 충실도를 보존하지만, 일반적으로 레이아웃을 희소하고 경계가 없는(unbounded) 포즈 변수로 매개변수화하므로 학습(training)하기 어렵고 희소한 장면 수준 지도하에서는 일반화 성능이 떨어집니다. 우리는 희소한 포즈 회귀를 조밀하고 유계된(bounded) 대응 관계 복원으로 대체하는 구성적 3D 장면 재구성 프레임워크인 Mira-Scene을 제시합니다. 그 핵심에는 가시적인 각 객체 픽셀을 객체의 유계된 표준 공간(canonical space) 내 표면 좌표로 매핑하는 픽셀 정렬 필드인 Canonical Coordinate Map(CCM)이 있습니다. 단안 기하학 추정에서 얻은 장면 공간 포인트 클라우드 맵(PCM)과 결합될 때, CCM은 강건한 기하학적 정렬(alignment)을 통해 객체 변환을 복원할 수 있는 조밀한 표준-장면 대응 관계를 유도합니다. CCM은 유계된 표준 공간에서 작동하기 때문에, 장면 수준의 레이아웃 주석 없이도 확장 가능한 객체 수준 3D 데이터로부터 학습할 수 있는 안정적인 예측 대상을 제공합니다. 나아가 Mira-Scene은 기하학-레이아웃 일관성을 촉진하기 위해 공유 어텐션(attention) 및 위치 인코딩을 갖춘 모달리티별 전문가 스트림을 사용하여 객체 기하학적 구조와 CCM을 공동으로 생성하는 멀티모달 디퓨전 트랜스포머(transformer)를 도입합니다. 실내, 실외, 합성 및 야생(in-the-wild) 장면에 대한 실험에 따르면, Mira-Scene은 제한된 오픈소스 학습 데이터를 사용하면서도 SAM3D 대비 3D-IoU에서 39.8%, 2D-IoU에서 16.5%의 상대적 향상을 달성하며 레이아웃 정확도 면에서 강력한 베이스라인들을 크게 능가함을 보여줍니다.

arXiv:2609.23733v1cs.CV

VGGT-Prime: 효율적 Visual Geometry Transformer를 위한 연산 적응형 Mixture-of-Heads

VGGT-Prime: Compute-Adaptive Mixture-of-Heads for Efficient Visual Geometry Transformers

최근 Visual Geometry Grounded Transformer(VGGT)와 같은 순전파(feed-forward) 시각 기하 모델이 다시점(multi-view) 이미지로부터 직접 3D 재구성을 가능하게 하였다. 유망한 성능에도 불구하고, 이러한 모델은 전역 어텐션(global attention) 메커니즘으로 인해 입력 뷰 수에 대해 이차적으로 스케일링되어, 긴 시퀀스 입력에서 상당한 지연(latency)을 초래한다. VGGT 가속을 위한 최근 연구들이 있으나, 주로 토큰 병합(token merging)이나 key/value 희소화(sparsification)를 통해 토큰 중복(token redundancy)을 줄이는 데 초점을 맞춘다. 본 연구는 시각 기하 트랜스포머의 구조적 중복(architectural redundancy)을 조사함으로써 다른 관점에서 이 병목을 해결한다. VGGT의 전역-어텐션 레이어에 있는 multi-head 어텐션 모듈에 상당한 구조적 중복이 있으며, 일부 헤드(head)만이 핵심 기하 정보를 담고 있음을 보인다. 이에 따라 VGGT-Prime을 제안한다. VGGT-Prime은 연산 적응형 mixture-of-heads 모델로, 구조적 중복을 제거하여 시각 기하 트랜스포머를 가속하면서도 경쟁력 있는 재구성 품질을 유지한다. VGGT-Prime의 핵심 아이디어는 경량 라우터(router)로 각 전역-어텐션 헤드에 적절한 연산 수준을 추정한 뒤, 각 헤드를 서로 다른 연산 모드에 동적으로 할당하는 것이다. 여러 데이터셋에 대한 광범위한 실험에서 VGGT-Prime이 VGGT 대비 8× 추론 가속을 달성하면서 카메라 포즈, 깊이, 포인트 클라우드 예측에서 경쟁력 있는 성능을 유지함을 보여준다. 또한 VGGT-Prime이 토큰 병합과 같은 기존 가속 방법과 상보적(complementary)이며, VGGT 대비 최대 14×까지 추론 속도를 더 향상시킴을 보인다. 본 연구 개요는 https://vggt-prime.github.io 프로젝트 페이지에서 확인할 수 있다.

arXiv:2609.23566v1cs.CV

G6D: 로봇 조작을 위한 기하학 기반 학습 불필요 RGB-D 6D 자세 솔버

G6D: Geometric Learning-Free RGB-D 6D Pose Solver for Robotic Manipulation

6D 객체 자세 추정은 로봇 조작 및 자동화의 기초이다. 최근 제로샷(zero-shot) 방법은 보지 못한 객체에 대한 일반화를 크게 개선했지만, 대부분은 여전히 상당한 GPU 연산 및 메모리 요구가 따르는 대규모 사전학습(pre-training) 모델에 의존한다. 이러한 요구사항은 인식, 계획, 제어가 제한된 연산 자원을 공유하는 로봇 플랫폼에서의 배포를 복잡하게 하며, 학습된 중간 표현은 과제별 적응을 위한 기하학적 해석 가능성을 제한적으로만 제공한다. 이러한 한계를 해소하기 위해 학습 불필요·기하학 주도 RGB-D 6D 자세 솔버인 G6D를 제안한다. RGB-D 관측, 객체 인스턴스 마스크, 카메라 내부 파라미터, CAD 모델이 주어지면 G6D는 템플릿 기반 기하학적 매칭으로 자세 가설을 생성하고 실루엣 및 �depth 일관성을 이용해 이를 정제하여 순수 기하학 주도 자세 추정 패러다임을 형성한다. 이 패러다임은 사전학습된 시각 모델도, 대상별 학습도 필요로 하지 않으며, 자세 추정 전 과정에서 해석 가능한 기하학적 표현을 유지한다. 더욱이 조절 가능한 가설 개수는 유연한 정확도-연산 trade-off를 제공하며, CPU 전용 구성은 GPU 자원 없이도 배포를 지원한다. LineMOD 및 BOP19 데이터셋 다섯 개에 대한 실험은 우수한 성능을 보여준다. 실세계 pick-and-place 실험은 로봇 조작에 대한 G6D의 적용 가능성을 추가로 보여준다. 전체 프로젝트는 https://ai4control.github.io/G6D-Project-Page 에서 공개되어 있다.

arXiv:2609.23442v1cs.CV

PhysReflect: 물리적으로 타당한 거울 반사를 위한 기하학 및 지각 유도 확산 모델

PhysReflect: Geometry and Perception Guided Diffusion for Physically-Plausible Mirror Reflections

확산 모델(diffusion model)은 고품질 이미지를 생성하지만, 거울 반사를 지배하는 물리 법칙을 흔히 위반한다. 반사는 위치 오프셋, 방향 불일치, 비율 불균형, 구조적 왜곡 등 기하학적 수차(aberration)를 자주 겪는다. 이러한 실패는 최신 최첨단 생성 시스템에서도 여전히 뚜렷하게 나타난다. 기존 방법들은 합성 데이터 스케일링(scaling)이나 보조적인 깊이(depth) 조건화를 통해 이 문제를 완화하지만, 잠재 공간(latent-space) 노이즈 재구성 손실을 암묵적 지도(supervision)로만 의존함으로써 반사 특유의 기하학적·지각적 제약을 직접적으로 강제하지 못한다. 이러한 격차를 메우기 위해, 우리는 매 학습 단계마다 예측된 클린 잠재(latent)를 픽셀 공간으로 디코딩하고 두 가지 상호 보완적인 미분 가능 목적함수를 통해 어닐링된(annealed) 지도를 적용하는 기하학 및 지각 유도 확산 프레임워크인 PhysReflect를 제안한다. 기하학적 손실(Geometric Loss)은 희소한 에피폴라(epipolar) 대응과 조밀한 경계 투영 정렬을 통해 거울에 의해 유도되는 공간적 일관성을 강제하며, 이때 SAM2 기반의 TwinTrack 메커니즘이 경계 인식 지도를 위한 안정적인 거울 내부 위치 추정을 제공한다. 지각적 손실(Perceptual Loss)은 DINOv2 특징을 통해 반사된 정체성과 외형을 유지하는 의미적 일관성 손실(Semantic Consistency Loss)과, 단안(monocular) 기하학 사전(prior) 하에서 깊이, 표면 법선(surface-normal), 조명 일관성을 정규화하는 조명 일관성 손실(Lighting Consistency Loss)을 결합하여 반사된 외형을 보존한다. 합성 및 실세계 벤치마크(benchmark) 실험 결과, PhysReflect는 기하학적, 지각적, 물리적 타당성 지표뿐만 아니라 정성적 시각 결과에서도 기존 거울 반사 방법들을 능가하는 것으로 나타났다.

arXiv:2609.23436v1cs.CV

GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택

GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting

희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.

arXiv:2609.23425v1cs.CV

교실 내 CFD 기반 기류 분석을 위한 360도 비디오 기반 실내 형상 반자동 복원

Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms

전산유체역학(CFD)은 재실 건물의 환기 및 오염 물질 이송을 평가하는 데 널리 사용되지만, 값비싼 스캐닝 하드웨어나 수동 CAD 모델링 없이 실내 형상을 획득하는 문제, 장면을 개별적으로 조작 가능한 객체로 분해하는 문제, 그리고 실내를 다시 촬영하지 않고도 대체 레이아웃에 맞춰 해당 객체들을 재구성하는 문제라는 세 가지 병목 현상으로 인해 대규모 배포가 제한됩니다. 본 연구에서는 단일 360도 실내 비디오를 개별 편집 및 시뮬레이션이 가능한 형상 에셋으로 변환하는 반자동 워크플로우를 제시합니다. 뉴럴 래디언스 필드(NeRF)를 사용해 조밀한 포인트 클라우드를 복원하고, 텍스트 프롬프트 기반 SAM 3 세그멘테이션으로 얻은 2D 인스턴스 마스크를 다중 뷰 일관성 및 심도 대역 필터링을 통해 3D로 투영합니다. 포인트들은 옥트리(octree)를 통해 객체 인스턴스로 분리되며, 가려짐으로 인한 결손 영역은 연결성 그래프를 통해 보충됩니다. 의자 템플릿은 ICP(Iterative Closest Point) 정렬을 통해 피팅되고, 테이블 형상은 절차적으로 생성됩니다. 브라우저 기반 에디터는 품질 보증과 대체 레이아웃 구성의 신속한 구축을 지원합니다. 이후 정상 상태 레이놀즈 평균(Reynolds-averaged) OpenFOAM 솔루션이 비정상 수동 스칼라 이송을 구동하며, 해당 설정은 격자 민감도 연구를 통해 검증되고 IEA Annex 20 벤치마크를 바탕으로 유효성이 입증됩니다. 본 워크플로우를 두 곳의 대학교 강의실과 계단식 계단 강의실에 적용했습니다. 캡처에서 형상 생성까지의 과정은 소비자용 워크스테이션에서 실당 2~5시간이 소요됩니다. 한 강의실에서 진행된 제어된 장애물 추가 시퀀스에서 가구가 추가됨에 따라 모델링된 반감 제거 시간(half-clearance time)은 비단조적으로 변하며, 공간 간 비교 결과 제거 특성을 공간 간에 신뢰성 있게 외삽할 수 없음을 보여줌으로써 공간별 형상 획득의 필요성을 입증합니다. 본 워크플로우는 이러한 형상 획득을 저비용으로 가능하게 함으로써 교실과 같은 공간에 대해 형상이 상세히 반영된 비교 환기 연구를 실용적으로 수행할 수 있도록 합니다.

arXiv:2609.23003v1cs.CV

M3GA-Wild: 산림 환경에서의 멀티모달 멀티세션 지상-항공 장소 인식을 위한 대규모 데이터셋 및 벤치마크

M3GA-Wild: A Large-Scale Dataset and Benchmark for Multi-Modal Multi-session Ground-to-Aerial Place Recognition in Forests

본 논문에서는 산림 환경에서의 멀티모달(multi-modal), 멀티세션(multi-session) 지상-항공 장소 인식(ground-to-aerial place recognition)을 위한 최초의 벤치마크인 M3GA-Wild를 제시한다. M3GA-Wild는 기존의 산림 위치 추정(localization) 데이터셋을 통합 및 확장하여, 36km에 달하는 지상 주행 경로에서 동기화된 RGB 영상 및 LiDAR, 370헥타르를 포괄하는 정렬된 고해상도 항공 영상 및 다중 고도 LiDAR, 그리고 정밀한 평가를 위한 정확한 지리 참조(geo-referenced) 6-DoF 포즈를 제공하는 포괄적인 벤치마크이다. M3GA-Wild는 다양한 시점, 차폐, 환경 조건을 지닌 다채로운 산림 장면을 포착하여 시각(visual), LiDAR, 교차 모달(cross-modal) 및 멀티모달 방법론에 대한 체계적인 평가를 가능하게 한다. 기준선(baseline) 실험 결과에 따르면 극심한 시점 차이가 존재하는 상황에서 LiDAR 기반 접근법이 비전 전용 방법보다 성능이 현저히 우수했던 반면, 현재의 멀티모달 융합 전략은 미흡한 교차 모달 정렬로 인해 이득이 제한적인 것으로 나타났다. 또한, M3GA-Wild는 항공 RGB 영상과 지리 참조된 항공 LiDAR를 결합함으로써 산림 영상으로부터 3D 기하 정보를 얻는 저비용 원천으로서의 단안 깊이 추정(monocular depth estimation) 기반 파운데이션 모델(foundation model) 평가를 가능하게 하며, 초기 실험을 통해 현재 방법들의 한계를 밝혀냈다. 이러한 결과는 모달리티 불일치 및 극심한 도메인 격차(domain gap)를 포함한 크로스 플랫폼 위치 추정의 핵심 과제들을 부각한다. M3GA-Wild는 비정형 자연 환경에서의 강건한 멀티모달 위치 추정 및 장기 자율성을 위한 연구를 지원하는 새로운 벤치마크를 정립한다. 데이터셋과 코드는 논문 채택 시 공개될 예정이다.

arXiv:2609.22941v1cs.CV

D3GS: 희소 뷰 재구성을 위한 깊이, DINO, RGB 디퓨전 공동 가이드 3D 가우시안 스플래팅

D3GS: Depth, DINO, and RGB Diffusion Co-Guided 3D Gaussian Splatting for Sparse-View Reconstruction

희소 입력으로부터의 새로운 시점 합성(novel view synthesis)은 모호한 기하 구조, 뷰 간 불일치, 그리고 제약이 부족한 영역에서의 디테일 누락으로 인해 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)에서 여전히 어려운 과제이며, 이는 재구성 품질 저하와 불안정한 렌더링으로 이어진다. 이러한 문제를 해결하기 위해, 우리는 기하 구조와 외형(appearance)을 동시에 개선하는 Depth-DINO-Diffusion 가이드 기반 희소 뷰 가우시안 재구성 프레임워크인 D$^{3}$GS를 제안한다. D$^{3}$GS는 먼저 디퓨전 기반 완성(completion)과 DPT(Dense Prediction Transformer) 정제(refinement)를 통해 고해상도의 미터법(metric) 깊이 맵을 복원하여, 강건한 가우시안 초기화와 기하학적 제약을 제공한다. 이어서, DINO 기반 뷰 일관성 학습(view-consistent learning)을 도입하여 가우시안 속성(attribute)에 구조적 특징을 추가함으로써 다중 뷰 일관성을 향상시킨다. 마지막으로, 디퓨전 기반 가우시안 정제 모듈이 생성적 사전 정보(generative prior)를 반복적 최적화(iterative optimization) 전략에 주입하여, 가우시안 표현 내의 고주파 기하 및 외형 디테일을 향상시킨다. DTU, LLFF, Mip-NeRF 360 데이터셋(dataset)에서의 실험 결과, D$^{3}$GS는 강력한 베이스라인(baseline) 대비 일관되고 상당한 성능 향상을 달성하였으며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성과 상호 보완적 역할이 검증되었다.

arXiv:2609.22896v1cs.CV

학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합

Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation

개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.

arXiv:2609.22857v1cs.CV

레이더-이미지 융합을 이용한 이미지 프레임 동적 객체 분할 및 자기 운동 추정

Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion

동적 객체 분할(dynamic object segmentation)과 자기 운동 추정(ego-motion estimation)은 자율주행에서 긴밀하게 결합된 문제이다. 정확한 자기 운동 추정에는 일반적으로 정적 장면 관측이 필요한 반면, 정적 관측을 식별하기 위해서는 자기 운동에 대한 정보가 필요하기 때문이다. 우리는 이러한 결합 문제를 해결하기 위해 레이더 도플러(Doppler) 측정값을 활용하는 레이더-RGB 프레임워크인 Radar-Dot을 제시한다. 먼저 레이더 반사 신호를 선형 도플러 제약(linear Doppler constraint)을 통해 자기 속도(ego velocity) 추정에 사용하며, 잔차 기반 정적/동적 분할(residual-based static/dynamic segmentation)과 로버스트 추정(robust estimation)을 사용하여 이동 객체의 영향을 줄인다. 추정된 운동 정보는 이후 메트릭 깊이(metric depth) 및 밀집 광학 흐름(dense optical flow)과 결합되어, 관측된 움직임이 경직 장면 운동(rigid scene motion)과 일치하지 않는 이미지 영역을 식별하는 데 사용된다. nuScenes 장면 10개(nuscenes-mini의 일부)에 대한 실험 결과, 제안된 기하학적 파이프라인은 394개의 프레임 쌍에 대해 20.24%의 동적 IoU와 33.67%의 F1-score를 달성하였으며, 레이더 기반 정적 포인트 필터링(static-point filtering)은 모든 레이더 반사 신호를 사용하는 경우에 비해 자기 속도 추정을 향상시켰다. 이러한 결과는 레이더가 자기 운동 추정과 동적 객체 분할을 동시에 개선할 수 있는 모달리티(modality)로서의 잠재력을 보여준다.