이동 플랫폼 착륙을 위한 마스크 조건부 시각 강화학습에서 프롬프트 재지정과 표적 마스크의 가용성
Prompt Re-Specification and Target-Mask Availability in Mask-Conditioned Visual Reinforcement Learning for Moving-Platform Landing
한국어 초록
드론을 이동 플랫폼에 착륙시키는 시각 강화학습(RL) 정책은 착륙 패드의 외형이 학습에 사용한 것과 다르면 실패할 수 있다. 이진 표적 마스크를 시각 입력으로 사용하면 표적의 공간 표현을 유지하면서 대부분의 픽셀 수준 외형 정보를 제거하고, 텍스트 프롬프트로 표적을 지정할 수 있다. 시뮬레이션에서 가중치를 고정한 마스크 기반 DrQ-v2 정책이 미세조정된 SAM 3 탐지기의 프롬프트만 바꿔 새로운 패드에 대응할 수 있는지 시험한다. 바나나를 테마로 한 패드에서는 착륙 성공률이 75.6%에서 12.0%로 떨어졌으며, 기존 프롬프트로는 SAM 3이 패드를 거의 탐지하지 못했다. 후보 여러 개를 시험해 고른 새 프롬프트는 가중치 갱신 없이 성공률을 68.4%까지 회복시켰다. 정답 마스크로 학습한 정책을 사용한 별도 실험에서는 패드가 보이는데도 누락된 마스크를 채우는 것이 평가한 마스크 중심점 보정이나 면적 보정보다 착륙에 훨씬 큰 도움이 됐다. 시간에 걸쳐 패드를 추적하면 더 자주 마스크가 제공됐으며, 렌더링된 이미지에 패드가 없다고 확인한 뒤에도 마스크가 계속 생성됐다. 그러나 추적이 착륙 성공률을 신뢰할 만큼 개선하지는 못했다. 따라서 정책에 쓸 수 있는 마스크가 전달되는지 자체가 이 접근법의 중요한 제약 요인으로 보인다.
원문 초록
Visual reinforcement learning (RL) policies that land a drone on a moving platform can fail when the landing pad looks different from the one used in training. Using binary target masks as the visual input removes most pixel-level appearance information while preserving the spatial representation of the target, and lets a text prompt specify the target. In simulation, we test whether a frozen (fixed-weight) mask-based DrQ-v2 policy can handle a new pad when only the prompt of its fine-tuned SAM 3 detector changes. A banana-themed pad lowered landing success from 75.6% to 12.0%, and SAM 3 rarely detected it under the original prompt. A revised prompt, chosen after testing several candidates, restored success to 68.4% with no weight updates. In a separate experiment with a policy trained on ground-truth masks, filling in masks that were missing while the pad was visible helped landing far more than the tested mask-centroid and area corrections. Tracking the pad over time supplied masks more often and also kept producing them after the pad was confirmed absent from the rendered image, but it did not establish a reliable improvement in landing success. Whether a usable mask reaches the policy at all thus appears to be an important limiting factor for this approach.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20075v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.