arXiv:2607.20748v1 cs.RO

A real-time RGB-D perception pipeline for autonomous impact hammers in mining: self-filtering, rock segmentation and rock-breaking poses generation

Martín Gallegos, Francisco Leiva, Patricio Loncomilla, Michelle Cortés, Javier Ruiz-del-Solar

제출 2026-07-22

원문 초록

Impact hammers, also known as rock-breakers, are essential machines in mining operations, where they perform secondary reduction. In underground mining, these machines are typically teleoperated, limiting operational efficiency. This paper presents a real-time RGB-D perception pipeline as a step towards automating the operation of hydraulic impact hammers used in mining. The proposed system simultaneously generates operationally feasible rock-breaking poses and a robot-free 3D representation of the workspace. The proposed approach combines image-based instance segmentation with geometric point cloud processing, and operates on embedded hardware at approximately 10 Hz with a total latency of around 675 ms, enabling responsive closed-loop behavior when integrated with a control system. Experimental results in a representative scaled scenario demonstrate that the proposed system is suitable for real-time autonomous impact hammer operation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.20748v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01286v1cs.CV공통 태그 Instance Segmentation, Pose Estimation, 3D Reconstruction, Depth Estimation, Scene Understanding

Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성

Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models

Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.

arXiv:2609.27509v1cs.CV공통 태그 Instance Segmentation, Pose Estimation, Depth Estimation, Scene Understanding

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2609.23425v1cs.CV공통 태그 Instance Segmentation, 3D Reconstruction, Depth Estimation, Scene Understanding

교실 내 CFD 기반 기류 분석을 위한 360도 비디오 기반 실내 형상 반자동 복원

Semi-automated reconstruction of indoor geometry from 360-degree video for CFD-based airflow analysis in classrooms

전산유체역학(CFD)은 재실 건물의 환기 및 오염 물질 이송을 평가하는 데 널리 사용되지만, 값비싼 스캐닝 하드웨어나 수동 CAD 모델링 없이 실내 형상을 획득하는 문제, 장면을 개별적으로 조작 가능한 객체로 분해하는 문제, 그리고 실내를 다시 촬영하지 않고도 대체 레이아웃에 맞춰 해당 객체들을 재구성하는 문제라는 세 가지 병목 현상으로 인해 대규모 배포가 제한됩니다. 본 연구에서는 단일 360도 실내 비디오를 개별 편집 및 시뮬레이션이 가능한 형상 에셋으로 변환하는 반자동 워크플로우를 제시합니다. 뉴럴 래디언스 필드(NeRF)를 사용해 조밀한 포인트 클라우드를 복원하고, 텍스트 프롬프트 기반 SAM 3 세그멘테이션으로 얻은 2D 인스턴스 마스크를 다중 뷰 일관성 및 심도 대역 필터링을 통해 3D로 투영합니다. 포인트들은 옥트리(octree)를 통해 객체 인스턴스로 분리되며, 가려짐으로 인한 결손 영역은 연결성 그래프를 통해 보충됩니다. 의자 템플릿은 ICP(Iterative Closest Point) 정렬을 통해 피팅되고, 테이블 형상은 절차적으로 생성됩니다. 브라우저 기반 에디터는 품질 보증과 대체 레이아웃 구성의 신속한 구축을 지원합니다. 이후 정상 상태 레이놀즈 평균(Reynolds-averaged) OpenFOAM 솔루션이 비정상 수동 스칼라 이송을 구동하며, 해당 설정은 격자 민감도 연구를 통해 검증되고 IEA Annex 20 벤치마크를 바탕으로 유효성이 입증됩니다. 본 워크플로우를 두 곳의 대학교 강의실과 계단식 계단 강의실에 적용했습니다. 캡처에서 형상 생성까지의 과정은 소비자용 워크스테이션에서 실당 2~5시간이 소요됩니다. 한 강의실에서 진행된 제어된 장애물 추가 시퀀스에서 가구가 추가됨에 따라 모델링된 반감 제거 시간(half-clearance time)은 비단조적으로 변하며, 공간 간 비교 결과 제거 특성을 공간 간에 신뢰성 있게 외삽할 수 없음을 보여줌으로써 공간별 형상 획득의 필요성을 입증합니다. 본 워크플로우는 이러한 형상 획득을 저비용으로 가능하게 함으로써 교실과 같은 공간에 대해 형상이 상세히 반영된 비교 환기 연구를 실용적으로 수행할 수 있도록 합니다.

arXiv:2609.23796v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Depth Estimation, Scene Understanding

Mira-Scene: 생성형 3D 장면을 위한 픽셀 정렬 레이아웃

Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene

단일 이미지 기반 3D 객체 생성은 이제 고충실도(high-fidelity) 에셋을 생성할 수 있지만, 이들을 일관된 장면 레이아웃 내에 정확하게 배치하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 객체 레이아웃을 표현하는 방식에 있습니다. 전체론적(holistic) 방식은 배치를 장면 수준의 생성 프로세스에 흡수시켜 객체 수준의 세부 표현을 희생합니다. 구성적(compositional) 방식은 기하학적 구조(geometry)와 레이아웃을 분리하여 객체 충실도를 보존하지만, 일반적으로 레이아웃을 희소하고 경계가 없는(unbounded) 포즈 변수로 매개변수화하므로 학습(training)하기 어렵고 희소한 장면 수준 지도하에서는 일반화 성능이 떨어집니다. 우리는 희소한 포즈 회귀를 조밀하고 유계된(bounded) 대응 관계 복원으로 대체하는 구성적 3D 장면 재구성 프레임워크인 Mira-Scene을 제시합니다. 그 핵심에는 가시적인 각 객체 픽셀을 객체의 유계된 표준 공간(canonical space) 내 표면 좌표로 매핑하는 픽셀 정렬 필드인 Canonical Coordinate Map(CCM)이 있습니다. 단안 기하학 추정에서 얻은 장면 공간 포인트 클라우드 맵(PCM)과 결합될 때, CCM은 강건한 기하학적 정렬(alignment)을 통해 객체 변환을 복원할 수 있는 조밀한 표준-장면 대응 관계를 유도합니다. CCM은 유계된 표준 공간에서 작동하기 때문에, 장면 수준의 레이아웃 주석 없이도 확장 가능한 객체 수준 3D 데이터로부터 학습할 수 있는 안정적인 예측 대상을 제공합니다. 나아가 Mira-Scene은 기하학-레이아웃 일관성을 촉진하기 위해 공유 어텐션(attention) 및 위치 인코딩을 갖춘 모달리티별 전문가 스트림을 사용하여 객체 기하학적 구조와 CCM을 공동으로 생성하는 멀티모달 디퓨전 트랜스포머(transformer)를 도입합니다. 실내, 실외, 합성 및 야생(in-the-wild) 장면에 대한 실험에 따르면, Mira-Scene은 제한된 오픈소스 학습 데이터를 사용하면서도 SAM3D 대비 3D-IoU에서 39.8%, 2D-IoU에서 16.5%의 상대적 향상을 달성하며 레이아웃 정확도 면에서 강력한 베이스라인들을 크게 능가함을 보여줍니다.

arXiv:2609.24825v1cs.CV공통 태그 Instance Segmentation, 3D Reconstruction, Depth Estimation, Scene Understanding

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Depth Estimation, Scene Understanding

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.