Virtual-to-Real-World Transfer Learning for Robots on Wilderness Trails
원문 초록
Robots hold promise in many scenarios involving outdoor use, such as search-and-rescue, wildlife management, and collecting data to improve environment, climate, and weather forecasting. However, autonomous navigation of outdoor trails remains a challenging problem. Recent work has sought to address this issue using deep learning. Although this approach has achieved state-of-the-art results, the deep learning paradigm may be limited due to a reliance on large amounts of annotated training data. Collecting and curating training datasets may not be feasible or practical in many situations, especially as trail conditions may change due to seasonal weather variations, storms, and natural erosion. In this paper, we explore an approach to address this issue through virtual-to-real-world transfer learning using a variety of deep learning models trained to classify the direction of a trail in an image. Our approach utilizes synthetic data gathered from virtual environments for model training, bypassing the need to collect a large amount of real images of the outdoors. We validate our approach in three main ways. First, we demonstrate that our models achieve classification accuracies upwards of 95% on our synthetic data set. Next, we utilize our classification models in the control system of a simulated robot to demonstrate feasibility. Finally, we evaluate our models on real-world trail data and demonstrate the potential of virtual-to-real-world transfer learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기후 인식 디지털 트윈을 위한 물리정보 신경망 기반 희소 관측 대기 열 예측
Sparse-Observation Atmospheric Thermal Forecasting with Physics-Informed Neural Networks for Climate-Aware Digital Twins
기후 인식 디지털 트윈 시스템을 지원하려면 단기 대기 온도 예측이 필요하지만, 열 관측이 불완전한 곳에서도 그러한 예측을 생성해야 한다. 본 연구는 위치온도(potential temperature) 예측을 위해 압력 좌표 열역학적 이류-원(source) 방정식과, 직전 12시간 구간에서 적합한 후 미래 시점 학습 전에 고정(freeze)한 비단열(diabatic) 원 폐쇄(closure)로 제약하는 물리정보 신경망(physics-informed neural network)을 평가한다. 세 개 압력 레벨에서 시간별 ERA5 재분석을 사용하여, 모델은 1·2·3시간 선행(lead time)에서 지속(persistence), 국지 추세(local-trend), 그리고 동일한 미래 기상 forcing을 PINN과 같이 받는 신경망 기준선 하나를 포함한 두 개의 대응(match) 신경망 기준선과 비교하는 조건부 후향 예측(hindcast)으로 평가되어, 물리적 제약과 미래 forcing 접근의 효과를 구분하는 데 도움이 된다. 오클라호마 개발 사례에서 가장 강한 기준선 대비 평균 RMSE 개선은 1시간에서 8.1%에서 3시간에서 23.8%까지 증가했으며, 후보 위치의 5%까지 관측 밀도 스weep을 내린 희소성 조건에서도 3시간 우위는 14.6–16.9%로 유지되었고, 밀도가 낮을수록 성능이 개선된다는 증거는 없었다. 알abama 열 이벤트로 고정 프로토콜을 이전하고 세 가지 가상 관측 배치를 적용한 경우, 3시간 개선은 19.7–24.4% 범위였고 origin 수준에서 일관된 우위가 있었다. 고정 압력 레벨이 복잡 지형과 교차하는 몬타나 스트레스 테스트에서는 3시간 성능이 대략 17.5% 악화되어, 해당 formulation의 지형 관련 적용 한계를 드러냈다. 종합하면, 물리 제약의 이점은 예측 horizon이 길어질수록 커지고, 심각한 관측 희소성에서도 유지되며, 지역 간 전이되지만, 복잡 지형 위에서 고정 수직 좌표 표현의 타당성에 의해 한계가 있으며, 이는 기후 인식 예측 및 디지털 트윈 시스템의 물리 제약 구성요소와 관련된 근거이다.
Facial Beauty Analysis Using Distribution Prediction and CNN Ensembles
A Semi-supervised Deep Transfer Learning Approach for Rolling-Element Bearing Remaining Useful Life Prediction
In-Car driver response classification using Deep Learning (CNN) based Computer Vision
FrImCla: A Framework for Image Classification Using Traditional and Transfer Learning Techniques
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.