Training Datasets Generation for Machine Learning: Application to Vision Based Navigation
원문 초록
Vision Based Navigation consists in utilizing cameras as precision sensors for GNC after extracting information from images. To enable the adoption of machine learning for space applications, one of obstacles is the demonstration that available training datasets are adequate to validate the algorithms. The objective of the study is to generate datasets of images and metadata suitable for training machine learning algorithms. Two use cases were selected and a robust methodology was developed to validate the datasets including the ground truth. The first use case is in-orbit rendezvous with a man-made object: a mockup of satellite ENVISAT. The second use case is a Lunar landing scenario. Datasets were produced from archival datasets (Chang'e 3), from the laboratory at DLR TRON facility and at Airbus Robotic laboratory, from SurRender software high fidelity image simulator using Model Capture and from Generative Adversarial Networks. The use case definition included the selection of algorithms as benchmark: an AI-based pose estimation algorithm and a dense optical flow algorithm were selected. Eventually it is demonstrated that datasets produced with SurRender and selected laboratory facilities are adequate to train machine learning algorithms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
DL-VINS-Factory: 비주얼-관성 SLAM의 학습 기반 비주얼 프론트엔드를 위한 모듈형 프레임워크
DL-VINS-Factory: A Modular Framework for Learned Visual Front-Ends in Visual-Inertial SLAM
딥러닝 특징(feature)은 시각적 매칭에서 뛰어난 성능을 보이지만, 긴밀하게 결합된 비주얼-관성 SLAM(VI-SLAM)에서의 실질적인 가치는 아직 충분히 규명되지 않았다. 본 논문에서는 학습 기반 특징 추출기(ALIKED, RaCo, SuperPoint, XFeat)를 Lucas–Kanade(LK) 옵티컬 플로우 추적 또는 LightGlue(LG) 디스크립터 매칭과 통합하는 통합 프레임워크 DL-VINS-Factory를 제안한다. 모든 프론트엔드는 슬라이딩 윈도우 Ceres 백엔드를 공유하며, 선택적으로 AnyLoc DINOv2-VLAD 루프 클로저와 4-DoF 포즈 그래프 최적화를 지원한다. 실내, 비정형 실외, 급격한 움직임, 시각적으로 열화된 환경을 포괄하는 4개의 데이터셋에서 시스템을 벤치마크하였다. 결과에 따르면 학습 기반 프론트엔드는 실시간 임베디드 VI-SLAM에 적용 가능하지만, 고전적인 추적 방식에 비해 보편적으로 우월하지는 않다. GFTT+LK 기준선(baseline) 대비 ALIKED+LG는 단안 오도메트리에서 EuRoC ATE를 5%, 루프 클로저를 적용한 스테레오에서 7% 감소시킨다. 급격한 공중 움직임으로 인해 프레임 간 시점 변화가 큰 NTU-VIRAL에서는 ALIKED+LG 스테레오가 루프 클로저 ATE를 12% 감소시킨다. Botanic Garden 데이터셋에서는 옵티컬 플로우 추적이 더 선호되지만, 학습 기반 키포인트는 기준선 GFTT보다 여전히 향상된 성능을 보이며, SuperPoint+LK는 그레이스케일 카메라 ATE를 29%, RaCo+LK는 RGB 카메라 ATE를 38% 감소시킨다. SubT-MRS에서는 학습 기반 프론트엔드가 개별 케이스에 따라 다양한 수준의 성능 향상을 보인다. Jetson AGX Orin에서 TensorRT 가속을 적용하면, EuRoC 및 NTU-VIRAL 데이터셋 기준으로 유효한 모든 구성이 단안 모드에서 29–47 FPS, 스테레오 모드에서 18–33 FPS로 실시간 동작한다. AnyLoc은 BRIEF+DBoW2 대비 약 2–7배 더 많은 유효 루프를 탐지함을 추가로 확인하였다. 구현 코드는 https://github.com/limshoonkit/DL-VINS-Factory-ROS2/ 에 오픈소스로 공개되어 있다.
모든 보행을 따라: 비디오 기반 파킨슨병 회전 보행 수 계수
Every Step of the Way: Video-based Parkinsonian Turning Step Counting
파킨슨병(PD)의 두드러진 증상인 회전 장애는 회전 각도, 지속 시간, 특히 회전을 완료하는 데 필요한 보행 수와 같은 매개변수로 평가되며, 이는 운동 기능 장애를 직접 반영한다. 정확한 보행 수 계수는 실제 환경에서의 회전 동작 변동성과 파킨슨성 보행의 비전형적 끌기(shuffling) 패턴으로 인해 어렵다. 기존 방법은 대부분 웨어러블 기반으로, 사용자가 전용 기기를 착용하고 관리해야 하며, 이는 지속적인 일상 사용에 불편할 수 있다. 이를 해결하기 위해, 우리는 다양한 동작 표현을 사용하여 거친-세밀(coarse-to-fine) 방식으로 보행 수를 추정하는 수동적(passive) 비디오 기반 프레임워크를 제안한다. 구체적으로, 3D 인체 메시 복원에서 도출된 발 움직임 신호로부터 초기 보행 수를 추정하여 고수준 동작 구조를 제공한다. 세밀한 동작 세부 정보를 반영하기 위해, 모션 인코더가 메시와 optical flow로부터 상보적인 보행 역학을 학습하여 초기 추정치를 정제한다. 이 과정에서, 거친 발 움직임 신호가 크로스 어텐션(cross attention)을 통해 픽셀 수준의 동작 단서를 조회하여 미묘한 파킨슨성 보행 역학을 포착한다. 가변적인 비디오 길이를 처리하기 위해, 각 비디오를 클립으로 분할하고 다중 인스턴스 학습(MIL)을 통해 클립별 동작 임베딩을 통합하여 보행 수 잔차 예측을 수행한다. 광범위한 실험 결과, 우리 방법은 실제 PD 회전 데이터셋에서 기존 보행 수 계수 방법들보다 지속적으로 우수한 성능을 보인다.
OrthoTrack: 공개 정사항공사진에 기반한 연속적 6-DoF 무인항공기 궤적 추정
OrthoTrack: Continuous 6-DoF UAV Trajectory Estimation Anchored in Public Orthophotos
연속적 6-DoF(6자유도) 자세 추정은 자율 무인항공기(UAV) 운용에 필수적이다. 그러나 기존의 시각적 오도메트리(visual odometry) 및 SLAM 방법은 드리프트(drift)가 누적되어 상대적이고 스케일이 불확정된 궤적만을 생성한다. 단일 프레임 지리적 위치 추정(geo-localization)은 시간적 연속성을 버리고 실시간 사용에 너무 느리다. 우리는 공개적으로 이용 가능한 정사항공사진(orthophoto)과 표면 모델만을 지도 사전 정보로 사용하여 연속적인 6-DoF UAV 궤적을 추정하는 학습(training) 없는 시스템인 OrthoTrack을 제시한다. OrthoTrack은 키프레임(keyframe)을 정사항공사진과 매칭하고, 표면 모델을 통해 대응점을 미터 단위의 3D 공간으로 변환한다. 이후 광학 흐름(optical flow)을 이용해 이러한 지도 기준 대응점을 중간 프레임으로 전파함으로써, GPS나 사후 정렬 없이 모든 프레임에서 절대적이고 미터 스케일로 정규화된 자세를 생성한다. 또한 우리는 포토리얼리스틱(photorealistic) UAV 시퀀스와 밀집 6-DoF 정답 데이터 및 다중 시기 정사항공사진을 포함한 공동 등록된 다중 모달 지리 데이터를 쌍으로 구성한 대규모 벤치마크인 MovingDrone 데이터셋을 소개한다. MovingDrone과 실세계 벤치마크에서 OrthoTrack은 단일 GPU로 실시간 동작한다. 오라클 스케일 및 정렬을 제공받는 기준선(baseline)을 포함한 모든 기준선을 큰 마진(margin)으로 능가한다. 공개된 지리 데이터에 의존함으로써 OrthoTrack은 지역별 적응 없이도 새로운 지역에 배포할 수 있다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.