arXiv:2409.18101

AI-Powered Augmented Reality for Satellite Assembly, Integration and Test

Alvaro Patricio, Joao Valente, Atabak Dehban, Ines Cadilha, Daniel Reis, Rodrigo Ventura

제출 2024-09-26

원문 초록

The integration of Artificial Intelligence (AI) and Augmented Reality (AR) is set to transform satellite Assembly, Integration, and Testing (AIT) processes by enhancing precision, minimizing human error, and improving operational efficiency in cleanroom environments. This paper presents a technical description of the European Space Agency's (ESA) project "AI for AR in Satellite AIT," which combines real-time computer vision and AR systems to assist technicians during satellite assembly. Leveraging Microsoft HoloLens 2 as the AR interface, the system delivers context-aware instructions and real-time feedback, tackling the complexities of object recognition and 6D pose estimation in AIT workflows. All AI models demonstrated over 70% accuracy, with the detection model exceeding 95% accuracy, indicating a high level of performance and reliability. A key contribution of this work lies in the effective use of synthetic data for training AI models in AR applications, addressing the significant challenges of obtaining real-world datasets in highly dynamic satellite environments, as well as the creation of the Segmented Anything Model for Automatic Labelling (SAMAL), which facilitates the automatic annotation of real data, achieving speeds up to 20 times faster than manual human annotation. The findings demonstrate the efficacy of AI-driven AR systems in automating critical satellite assembly tasks, setting a foundation for future innovations in the space industry.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10754v1cs.CV공통 태그 Pose Estimation, Object Recognition

TriCons-Pose: 카테고리 수준 객체 자세 추정을 위한 삼각형 불변 기하학적 일관성 학습

TriCons-Pose: Triangle-Invariant Geometric Consistency Learning for Category-Level Object Pose Estimation

카테고리 수준 객체 자세 추정(category-level object pose estimation)은 학계와 산업계 모두에서 중요하면서도 어려운 과제로, 키포인트 기반 대응 패러다임을 활용하여 눈부신 성과를 거두어 왔다. 그러나 기존 방법들의 대부분은 더 강력한 특징(feature) 학습에 점점 더 의존하면서, 확립된 대응 관계가 다양한 변형에 걸쳐 기하학적으로 안정적인지 여부를 간과하는 경향이 있다. 이로 인해 클래스 내 형상 변화 및 가림(occlusion) 상황에서 취약한 자세 복원이 초래되는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 안정적인 키포인트를 고정하고 자세 불변 단서를 집계하여 신뢰할 수 있는 정준 매핑(canonical mapping)과 정확한 자세 추정을 달성하는 새로운 삼각형 불변 기하학적 일관성 학습 기반 카테고리 수준 객체 자세 추정 방법인 TriCons-Pose를 개발한다. 구체적으로, 정규화된 쌍별 거리 매칭을 통해 교차 시점 구조적 일관성을 강제함으로써 강건한 키포인트를 식별하는 구조 일관성 키포인트 검출기(Structure-Consistent Keypoint Detector, SCKD)를 설계한다. 또한, 삼각형 기반 자세 불변 디스크립터를 지역-전역 어텐션(attention) 메커니즘에 주입하여 키포인트 표현을 보강하는 자세 불변 기하학적 집계기(Pose-Invariant Geometric Aggregator, PIGA)를 제안한다. 제안된 프레임워크는 표준 목적 함수를 사용하여 최적화되며, 추가적인 기하학적 일관성 손실(loss)을 통합한다. REAL275, CAMERA25, HouseCat6D 데이터셋에 대한 광범위한 실험을 통해 제안된 방법의 효과를 입증한다.

arXiv:2607.02360v4cs.CV공통 태그 6D Pose Estimation, Pose Estimation

GAP-GDRNet: 합성 기하학적 지도를 활용한 우주선의 기하학 인식 단안 6D 자세 추정

GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision

단안 우주선 6D 자세 추정은 약한 텍스처, 얇은 구조물, 조명 변화, 폐색(occlusion) 환경에서 여전히 어렵다. 이 논문은 단일 대상 합성 우주선 벤치마크를 위해 GDR-Net 기반으로 구축된 기하학 인식 RGB 프레임워크인 GAP-GDRNet을 제안한다. 이 방법은 기하학 기반 회귀 파이프라인을 두 지점에서 강화한다. 첫째, AFR을 밀집 기하학적 예측 이전에 배치하여 전역 구조적 어텐션과 지역적 약한 텍스처 향상을 결합한다. 둘째, PGSA를 Patch-PnP에 삽입하여 최종 자세 회귀 전에 다운샘플링된 기하학적 영역들을 연관짓는다. 밀집 지도(supervision)는 마스크, 모델 좌표 맵, 카메라 내부 파라미터, 6D 자세 레이블을 제공하는 Blender 기반 렌더링 및 어노테이션 과정에서 획득한다. 자체 구축한 우주선 데이터셋에서 GAP-GDRNet은 회전 오차 1.96°, 이동 오차 0.0165 m, [email omitted] m 95.16%를 달성하며, 재현된 GDR-Net 기준선 대비 3.88 퍼센트 포인트 향상된 성능을 35.97 FPS로 구현한다. T-LESS 및 LM-O에 대한 테스트에서도 텍스처가 없거나 폐색된 비우주선 객체에 대해 재현된 기준선 대비 일관된 성능 향상을 보인다.

arXiv:2607.09260v1cs.CV공통 태그 Pose Estimation, Object Recognition

AnythingReality: 오픈-어휘 VR 장면 탐험을 위한 강건한 온라인 Gaussian Splatting SLAM

AnythingReality: Robust Online Gaussian Splatting SLAM for Open-Vocabulary VR Scene Exploration

우리는 강건한 온라인 3D Gaussian splatting, 실시간 VR 탐험, 음성 기반 비전-언어 모델(Vision-Language-Model) 상호작용을 위한 새로운 통합 아키텍처를 제안한다. 깨끗한 깊이 정보나 외부 포즈를 가정하는 방법들과 달리, 우리 시스템은 잡음이 있는 실세계 데이터에 대해 ORB-SLAM3 기반 포즈 추정과 온라인 Gaussian 재구성을 결합한다. VR 파이프라인은 점진적 재구성의 몰입형 탐험을 가능하게 하며, 의미론적 모듈은 음성 명령을 텍스트로 변환하고, 장면 설명을 생성하며, 관심 지점을 기록한다. 최신 온라인 Gaussian splatting 방법들과 비교하여, 우리 데이터셋에서 이미지 품질이 향상되었으며(PSNR +14.5%, SSIM +8.6%, LPIPS -14.3%), TUM-RGBD 데이터셋에서도 마찬가지였다(PSNR +11.7%, SSIM +7.8%, LPIPS -21.6%). 품질-속도 구성을 통해 비교 가능하거나 우수한 프레임 레이트를 달성하였으며, VLM 객체 인식률 88%를 기록하였다.

arXiv:2607.03614v1cs.CV공통 태그 Pose Estimation, Object Recognition

IDEAL-Bench: 3D 레이아웃 추론 분석을 위한 실내 데이터셋 및 평가 모음

IDEAL-Bench: Indoor Dataset and Evaluation suite for Analyzing 3D Layout reasoning

공간 질의응답(spatial question answering)은 비전-언어 모델(VLM)의 공간 지능을 평가하는 지배적인 패러다임이지만, 공간 역량의 상보적 축인 전체론적 3D 레이아웃 추론(holistic 3D layout inference)—단일 이미지에서 모든 가시 객체의 포즈와 크기를 구조화된 형태로 예측하는 능력—은 충분히 평가되지 않고 있다. 이를 위해 우리는 IDEAL-Bench를 소개한다. 이는 VLM이 10가지 방 유형에 걸친 사실적 실내 장면에서 구조화된 3D 레이아웃을 예측하도록 요구하는 평가 모음으로, 5가지 수치 차원과 지각적 렌더링-비교(render-and-compare) 프로토콜로 채점된다. 제어된 조명과 시점 하에 완전한 에셋 치환(full asset substitution)을 적용한 의미론적으로 현실적인 장면을 활용함으로써, IDEAL-Bench는 CLEVR 방식의 단순한 기하학적 프리미티브를 넘어서, 이미지 공간에서의 불일치가 오직 공간 추론만을 반영하도록 한다. 이 벤치마크는 정답 레이아웃이 포함된 1,000개의 절차적으로 생성된 재렌더링 가능한 Blender 환경 데이터셋인 IDEAL-Scenes를 기반으로 구축된다. 15개의 주요 VLM을 평가한 결과 세 가지 발견이 도출되었다: 첫째, 이 태스크는 여전히 대부분 미해결 상태이며, 가장 강력한 모델도 전체 점수 100점 만점에 62.1점에 그쳤다. 둘째, 모든 모델은 객체 인식과 기하학적 회귀(geometric regression) 사이에서 뚜렷한 비대칭성을 보였으며, 이는 현재 VLM이 장면을 측정하기보다는 묘사하도록 학습되었음을 나타낸다. 셋째, 모델 순위가 QA 기반 및 프리미티브 재구성 벤치마크의 순위와 부분적으로 달랐다: 최상위 합의는 유지되었으나 중위권 순위는 상당히 변동되었다. 종합하면, 이러한 발견들은 IDEAL-Bench를 QA 기반 평가가 드러낼 수 없는 기하학적·구조적 역량을 겨냥한 진단 모음으로 자리매김하며, 차세대 VLM에서 공간 지능을 보다 엄밀하게 평가하는 방향을 제시한다. 이러한 발견들은 종합적으로 IDEAL-Bench를 미래의 VLM이 공간적 이해를 언어적 근사가 아닌 진정한 형태로 달성하는지를 판단하기 위한 원칙적 진단 도구로 위치시킨다.

arXiv:2606.22076v2cs.CV공통 태그 6D Pose Estimation, Pose Estimation

단일 참조 미관측 객체 자세 추정을 위한 교차 뷰 의미적 사전 학습

Learning Cross-View Semantic Priors for Single-Reference Unseen Object Pose Estimation

단일 참조 미관측 객체 6D 자세 추정은 하나의 참조 뷰만으로 임의의 새로운 객체의 자세를 추정하여 객체 온보딩(onboarding)을 줄인다. 최근 대응(correspondence) 기반 파이프라인은 비전 기반 모델(VFM) 특징으로 견고한 성능을 달성했다. 그러나 이들은 일반적으로 이러한 특징을 뷰 내(intra-view) 기술자(descriptor)로 취급하여, 기하학적 디코딩 전에 외관, 구조, 문맥을 포함한 밀집된 시각-의미 단서가 뷰 간에 충분히 교환되지 않게 남긴다. 그 결과 디코딩된 점(point) 특징은 의미적·기하학적 변별력을 함께 갖추지 못할 수 있어, 어려운 경우에 대응 추정이 여전히 어렵다. 특징을 독립적으로 처리하는 대신, 우리는 초기 교차 뷰 의미적 사전(prior)을 중심으로 대응 파이프라인을 구성한다. 구체적으로, 교차 뷰 의미적 상호작용(CVSI)은 밀집된 쿼리 및 참조 VFM 토큰이 의미적 문맥을 교환하고 교차 뷰 사전을 형성하도록 한다. 그럼에도 직접적인 CVSI는 VFM 토큰 구조를 교란할 수 있으며, 그로 인해 형성된 의미적 사전은 여전히 강체(rigid) 대응을 위해 3D 표현 일관성이 필요하다. CVSI 사전을 3D 대응 학습에 신뢰할 수 있게 만들기 위해, 우리는 두 가지 상보적인 학습 시점 제약을 도입한다: 뷰 내 구조 보존(IVSP) 손실은 상호작용 중 원래의 뷰 내 토큰 친화도(affinity) 구조를 보존하고, 참조 고정 기하학적 일관성(RAGC) 손실은 디코딩된 점 특징의 공간 표현 일관성을 강제한다. 최종 자세는 학습된 대응으로부터 가중 SVD를 통해 복원된다. 또한 YCB-V 및 TUD-L BOP Challenge 데이터셋으로부터 어려운 매칭 시나리오에서의 견고성을 평가하기 위해 도전적인 뷰 쌍(view-pair) 프로토콜을 구성한다. 서로 다른 뷰 쌍 설정 하에서 6개 벤치마크에 대한 광범위한 실험은 우리 방법이 비슷한 추론 속도를 유지하면서 최첨단(state-of-the-art) 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.