arXiv:2107.03685

Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning

Nicolò Botteghi, Luuk Grefte, Mannes Poel, Beril Sirmacek, Christoph Brune, Edwin Dertien, Stefano Stramigioli

제출 2021-07-08

원문 초록

Inspection and maintenance are two crucial aspects of industrial pipeline plants. While robotics has made tremendous progress in the mechanic design of in-pipe inspection robots, the autonomous control of such robots is still a big open challenge due to the high number of actuators and the complex manoeuvres required. To address this problem, we investigate the usage of Deep Reinforcement Learning for achieving autonomous navigation of in-pipe robots in pipeline networks with complex topologies. Moreover, we introduce a hierarchical policy decomposition based on Hierarchical Reinforcement Learning to learn robust high-level navigation skills. We show that the hierarchical structure introduced in the policy is fundamental for solving the navigation task through pipes and necessary for achieving navigation performances superior to human-level control.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22644v1cs.AI공통 태그 Reinforcement Learning, Deep Reinforcement Learning, Hierarchical Reinforcement Learning

DocHRL: 비용 최적화 문서 분류를 위한 계층적 강화학습 프레임워크

DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification

실제 문서 분류 파이프라인은 일반적으로 복잡도나 유형과 관계없이 들어오는 모든 문서에 동일한 모델 시퀀스를 적용한다. 이로 인해 연산 자원과 인적 자원이 비효율적으로 사용된다: 단순한 문서는 과도하게 처리되는 반면, 어려운 문서는 충분한 검토를 받지 못할 수 있다. 우리는 문서별로 가장 비용 효율적인 분류 정책을 적응적이고 동적으로 선택하는 방법을 학습하는 계층적 강화학습 프레임워크인 DocHRL을 제안한다. DocHRL은 문서 분류를 2단계 정책 계층을 갖는 순차적 의사결정 문제로 공식화한다: 상위 수준 정책은 광범위한 옵션(비전 분류기, LLM, OCR, 인간 개입 검토) 중에서 선택하고, 옵션별 하위 정책은 호출할 구체적인 모델이나 도구를 선택한다. 보상 신호는 추론 비용, 오분류 비용, 인간 라벨링 비용을 포착하는 총 기대 비용의 음수이다. RVL-CDIP 벤치마크에서 Proximal Policy Optimisation으로 학습된 DocHRL은 16개 문서 클래스에 걸쳐 macro F1 0.973을 달성하는 동시에, 고정된 독립형 분류기가 발생시키는 훨씬 높은 비용과 비교하여 문서당 평균 비용을 2.74 정규화 단위로 줄인다. 우리 결과는 비용 인식 강화학습이 문서 이해 시스템에서 분류 성능과 운영 효율성을 동시에 향상시킬 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.