arXiv:2405.10087

Continuous Transfer Learning for UAV Communication-aware Trajectory Design

Chenrui Sun, Gianluca Fontanesi, Swarna Bindu Chetty, Xuanyu Liang, Berk Canberk, Hamed Ahmadi

제출 2024-05-16

원문 초록

Deep Reinforcement Learning (DRL) emerges as a prime solution for Unmanned Aerial Vehicle (UAV) trajectory planning, offering proficiency in navigating high-dimensional spaces, adaptability to dynamic environments, and making sequential decisions based on real-time feedback. Despite these advantages, the use of DRL for UAV trajectory planning requires significant retraining when the UAV is confronted with a new environment, resulting in wasted resources and time. Therefore, it is essential to develop techniques that can reduce the overhead of retraining DRL models, enabling them to adapt to constantly changing environments. This paper presents a novel method to reduce the need for extensive retraining using a double deep Q network (DDQN) model as a pretrained base, which is subsequently adapted to different urban environments through Continuous Transfer Learning (CTL). Our method involves transferring the learned model weights and adapting the learning parameters, including the learning and exploration rates, to suit each new environment specific characteristics. The effectiveness of our approach is validated in three scenarios, each with different levels of similarity. CTL significantly improves learning speed and success rates compared to DDQN models initiated from scratch. For similar environments, Transfer Learning (TL) improved stability, accelerated convergence by 65%, and facilitated 35% faster adaptation in dissimilar settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27833v1cs.LG공통 태그 Deep Reinforcement Learning, Transfer Learning

추론 문자열에서 부분 순서로: 몫 정책 최적화를 통한 검증기 인증 규칙 전이

From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization

많은 계산은 독립적인 하위 목표나 서로 겹치지 않는 상태 갱신이 교환 가능(commute)하기 때문에 여러 개의 유효한 실행 순서를 허용한다. 검증 가능한 보상을 사용하는 강화학습(reinforcement learning with verifiable rewards)은 보통 성공한 각 궤적(trace)을 서로 별개의 토큰 시퀀스로 취급하므로, 직렬화(serialization) 선택이 논리적 의존성으로 오인될 수 있다. 우리는 인접한 연산 쌍을 네이티브 검증기(native verifier)로 재실행하는 Verifier-Certified Rule Transport(VCRT)를 제안한다. 두 순서가 모두 수용되고 동일한 정규 상태(canonical state)에 도달하는 쌍은 교환 인증서(commutation certificate)를 제공하며, 거부되거나 상태가 바뀌는 역순은 반다이아몬드(anti-diamond)를 제공한다. VCRT는 반다이아몬드를 사용하여 진정한 선행 조건을 보존하고, 인증된 각 궤도(orbit)의 전체 확률 질량에 정책 크레딧을 할당한다. 또한 교환 후 일관성, 원본 유지(source retention), 정책 드리프트(policy drift)를 제약한다. 우리는 공유된 익명화 관계 그래프 인터페이스를 통해 ProofWriter, CLRS, Lean 전반에서 하나의 환경을 제외하는(leave-one-environment-out) 전이를 평가한다. 모든 학습과 체크포인트 결정은 홀드아웃 평가 이전에 고정되며, 홀드아웃 평가는 탐색이나 검증기 피드백 없이 항목당 하나의 그리디 궤적을 사용한다. VCRT는 가장 강력한 대응 기준선의 64.53%에 비해 77.60%의 매크로 통과율을 달성하였으며, 이는 13.06%p의 짝지은(paired) 향상이다(95% 부트스트랩 신뢰구간 [12.58, 13.54]). 이 향상의 대부분은 33.49%p를 기록한 Lean에서 나오며, ProofWriter와 CLRS는 평균 2.85%p 향상된다. 메커니즘 테스트는 일관되게 반다이아몬드 지도(supervision)를 지지하는 반면, No-Orbit은 전체 VCRT와 통계적으로 구별되지 않는다. 이 증거는 정확한 궤도 집계(exact orbit aggregation)가 전반적인 이점을 준다는 점을 입증하지 못한다.

arXiv:2609.26704v1cs.CL공통 태그 Deep Reinforcement Learning, Transfer Learning

반복 샘플링을 넘어서: LLM 추론을 위한 탐색 정책 학습

Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning

대규모 언어 모델(LLM)은 테스트 시간 연산(test-time compute)을 더 많이 투입하여 고난도 추론 문제를 점진적으로 해결하고 있지만, 여전히 지배적인 전략은 단순 반복 샘플링(naive repeated sampling)에 머물러 있습니다. 즉, 다수의 독립적인 해결책을 생성하고 그중 하나가 정답이기를 기대하는 방식입니다. 이러한 샘플링은 국소적 디코딩 노이즈(local decoding noise)만을 통해 탐험(exploration)을 수행하므로, 진정으로 차별화된 아이디어보다는 거의 중복에 가까운 시도를 다수 생성하는 경향이 있습니다. 본 연구에서는 문제별 개념, 힌트 또는 전략을 먼저 샘플링한 다음 이에 기반하여 답변 생성을 조건화함으로써 시맨틱 수준에서 탐험을 유도할 수 있는지 질문을 던집니다. 이를 단일 궤적(single trajectory) 내에서 다양하고 많은 개념을 도출하는 단순하면서도 더욱 탐험적인 절차로 구체화하고, 반복 샘플링이 어려움을 겪는 고난도 문제에서 이를 평가합니다. 나아가 개념 생성을 학습 가능하도록 발전시킵니다. 즉, 강화학습(reinforcement learning)을 통해 소형 개념 생성 모델을 최적화하여, 이 모델이 생성한 개념이 동결된(frozen) 더 큰 답변 생성 모델의 다운스트림 성공을 극대화하도록 합니다. 고난도 수학 추론 문제에서, 학습된 개념 생성 모델은 동일한 답변 생성 연산량 할당 하에서 단순 반복 샘플링 대비 답변 생성 모델의 pass@k를 실질적으로 향상시키고, 튜닝되지 않은 훨씬 더 큰 모델에서 추출한 개념의 성능을 능가하며, 학습 과정에서 접하지 않은 다른 계열의 모델을 포함한 답변 생성 모델로도 전이됩니다. 따라서 소형 모델을 훨씬 더 큰 모델을 위한 효과적이고 재사용 가능한 탐색 정책(search policy)으로 학습시킬 수 있습니다.

arXiv:2609.07780v3cs.CV공통 태그 Transfer Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2609.24937v3cs.CV공통 태그 Transfer Learning

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.