CoverShare를 이용한 새순 생장기 감 과수원 정찰을 위한 상호 보완적 경로 학습
Learning Complementary Routes for Scouting Persimmon Orchards during Shoot Growth with CoverShare
연구 대상 과수원에서 감나무 새순 생장기의 정찰은 잎 색 변화, 잎 면적, 마디 간 길이에 초점을 맞춘다. 여러 경로가 하나의 진입 통로를 공유할 수 있지만, 각 경로는 다른 경로가 놓치는 열 구간의 시야를 제공할 수 있다. 본 연구는 고정된 행동 예산 하에서 상호 보완적인 경로를 학습하기 위한 CoverShare를 소개한다. 병렬 상태 엔트로피 최대화를 위한 정책 경사(Policy Gradient for Parallel State Entropy maximization, PGPSE) 내에서 CoverShare는 각 정책이 제외될 때 상실되는 상태 커버리지와 각 상태를 방문하는 정책의 수에 따라 보조 보상을 재분배한다. 이는 통합 엔트로피 목적과 총 보조 보상을 보존한다. 5개 구역에 걸쳐 관측 가능한 107개의 감 정찰 단위가 있는 6.7ha 부지의 주석 처리된 도로망을 시뮬레이션하였다. 경로당 40회 행동에서 여섯 개의 서로 다른 정책은 점검당 평균 17.84개 단위를 커버한 반면, 하나의 정책을 독립적으로 여섯 번 실행한 경우는 8.28개였으며, 이는 여덟 개의 학습 시드에 대한 평균이다. 동일한 정책을 40회 행동 경로로 학습시킨 상태에서 각 점검 경로를 80회와 120회 행동으로 늘리면 커버리지는 22.52개와 28.38개 단위로 상승했다. 일곱 개의 공개 이산 상태 과제 전반에서 CoverShare는 팀 엔트로피 기준선 대비 상태 지지 집합을 평균 16.29% 증가시켰다. 통제된 절제 실험은 정책 하나를 제외한 커버리지가 이러한 향상의 주요 기여 요인임을 확인하였다.