arXiv:2302.10446

Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging

Yuhong Deng, Chongkun Xia, Xueqian Wang, Lipeng Chen

제출 2023-02-21

원문 초록

Object rearranging is one of the most common deformable manipulation tasks, where the robot needs to rearrange a deformable object into a goal configuration. Previous studies focus on designing an expert system for each specific task by model-based or data-driven approaches and the application scenarios are therefore limited. Some research has been attempting to design a general framework to obtain more advanced manipulation capabilities for deformable rearranging tasks, with lots of progress achieved in simulation. However, transferring from simulation to reality is difficult due to the limitation of the end-to-end CNN architecture. To address these challenges, we design a local GNN (Graph Neural Network) based learning method, which utilizes two representation graphs to encode keypoints detected from images. Self-attention is applied for graph updating and cross-attention is applied for generating manipulation actions. Extensive experiments have been conducted to demonstrate that our framework is effective in multiple 1-D (rope, rope ring) and 2-D (cloth) rearranging tasks in simulation and can be easily transferred to a real robot by fine-tuning a keypoint detector.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28085v1cs.LG공통 태그 Deep Reinforcement Learning, Graph Neural Network

잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝

Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling

잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.

arXiv:2607.21831v1cs.LG공통 태그 Deep Reinforcement Learning, Graph Neural Network

이질적 도로 네트워크에서 교통 신호를 위한 그래프 기반 제어 인터페이스

A Graph-Based Control Interface for Traffic Signals on Heterogeneous Road Networks

우리는 공유 그래프 신경망(GNN)이 개별 교통 이동(movement)에 점수를 할당하는 교통 신호 제어 인터페이스를 제안한다. 각 교차로는 결정론적 incidence matrix를 사용하여 이러한 점수를 자체적인 가변 크기의 합법적 신호 위상(phase) 집합으로 변환한다. 방향성 회랑(corridor) 노드는 교통 맥락을 제공하고, 이동 노드는 교차로를 통과하는 제어되는 입출력 경로를 나타낸다. 타입별 평균 집계(typed mean aggregation)는 이동당 하나의 스칼라를 생성하며, 위상 정의와 신호 타이밍은 학습된 신경망 외부에 남아 있다. 이로 인해 그래프 크기와 교차로별 행동 수는 학습된 매개변수 형태와 독립적이다. PPO 실험은 보지 못한 합성 격자 지형, 변경된 신호 커버리지, 다섯 개의 이질적 도시 그래프에서 이 인터페이스를 평가한다. 정책(policy)은 합성 격자 계열 내 보지 못한 지형에서 성능을 유지했지만, 신호 커버리지 변경은 신호 커버리지 분포 이동(distribution shift)에 대한 민감성을 드러냈다. 단일 학습된 도시 정책 인스턴스가 다섯 도시 그래프 모두에서 실행되어 이질적인 결과를 보였다. 이러한 결과는 임의의 도로 네트워크로의 전이(transfer)에 대한 일반적 추정이라기보다 실현 가능성 증거를 제공한다.

arXiv:2607.22356v1cs.LG공통 태그 Deep Reinforcement Learning, Graph Neural Network

심층 강화학습을 활용한 라스트마일 픽업 통합 주문 배차 및 경로 최적화

Integrated Order Dispatching and Routing for Last-Mile Pickup via Deep Reinforcement Learning

최근 몇 년간 라스트마일 픽업 운영의 복잡성이 증가하면서 물류 플랫폼에서 빠르고 정확한 의사결정에 대한 필요성이 커졌다. 이 과제는 근본적으로 두 가지 핵심적이고 긴밀히 결합된 의사결정 과정, 즉 주문 배차와 경로 최적화에 의해 촉발된다. 이들을 개별적으로 해결하면 상호 의존성을 간과하게 되며, 완전한 end-to-end 학습은 희소 보상(sparse reward)으로 인해 대규모이고 가변적인 규모의 인스턴스에서 불안정하고 비용이 많이 든다. 이 문제를 해결하기 위해, 학습된 경로 오라클(routing oracle)과 실시간 배차 휴리스틱을 결합하는 통합 최적화 프레임워크를 제안한다. 경로 최적화 하위 문제에 대해서는 Look-Ahead Courier-Personalized 디코더를 갖춘 Dynamic-Residual Graph Attention Network 인코더를 개발한다. 배차 하위 문제에 대해서는 경로 오라클이 지도하는 국소 탐색(local search) 기반 배차 휴리스틱을 개발하며, 오라클은 실시간 확장성을 유지하면서 후보 배송 기사를 선택하기 위한 근최적 해를 제공한다. Cainiao Logistics의 실제 데이터셋을 활용한 광범위한 실험을 통해 오프라인 평가와 온라인 롤링 호라이즌(rolling-horizon) 시뮬레이션을 포함하여 접근법의 성능을 검증했다. 실험 결과, 제안 방법은 해 품질과 해결 시간 측면에서 다른 벤치마크를 능가하며, 실시간 대규모 라스트마일 픽업 문제 해결에 물류 기업을 효과적으로 지원할 수 있음을 보여준다.

arXiv:2607.14093v1cs.AI공통 태그 Deep Reinforcement Learning, Graph Neural Network

수색·구조를 위한 자율 UAV 군집의 지능형 3계층 학습 아키텍처

Intelligent Three Level Learning Architecture for Autonomous UAV Swarms in Search and Rescue

본 논문은 수색·구조 작업을 수행하는 자율 UAV 군집을 위한 새로운 3계층 계층적 학습 아키텍처를 제안한다. 모든 계층 수준에 단일 학습 패러다임을 적용하는 기존 접근과 달리, 제안 아키텍처는 반사(reflexes), 기술(skills), 추론(reasoning)의 생물학적 계층에 대응하는 세 가지 질적으로 다른 학습 메커니즘을 통합한다: 개별 에이전트 적응을 위한 Hebbian 신경가소성, 전술적 협조를 위한 그래프 신경망(GNN)과 행동 트리(Behavior Trees)를 활용한 다중 에이전트 강화학습(MARL), 그리고 전략적 의사결정을 위한 BDI 추론과 디지털 트윈을 갖춘 모델 불변 메타 학습(model-agnostic meta learning). 아키텍처는 BDI, Behavior Trees, GNN, MARL, Neuroplasticity, Meta Learning 등 6개 구성요소에 걸쳐 22개의 아키텍처 계약으로 형식화되며, 이들은 안전성, 예산 정확성, 최적성, 활성(liveness), 기아(starvation) 자유, 계층 간 일관성과 같은 6가지 형식적 보장 클래스를 공동으로 제공한다. 우리는 3개 수준 전체의 구조화된 상호작용에서 발생하는 조합적 속성인 군집 메타 인지(Swarm Meta Cognition)를 도입하여, 군집이 자신의 인지 상태를 모니터링하고 인지 전략 간 전환을 가능하게 한다. SAR 작업 유형에 대한 5가지 구성적 진행 함수는 추상적 최적화 이론과 구체적 운용 시나리오 사이의 간극을 메운다. 주요 통합 정리는 모든 계약이 충족될 때 하이브리드 신경-기호 시스템이 6가지 보장 클래스를 모두 보존함을 확립한다. 능동 학습(active learning)이 포함된 동적 경우에 대해 5개의 새로운 계약이 프레임워크를 확장하여 인지적 회복력, 우아한 성능 저하(graceful degradation), 단조 메타 개선(monotonic meta improvement)의 3가지 추가 보장을 제공한다. 이론적 분석은 해당 아키텍처가 기존 계층적 RL 접근법의 5가지 근본적 한계를 해결함을 보여준다.

arXiv:2607.11607v2cs.AI공통 태그 Deep Reinforcement Learning

학습된 불확실성은 언제 신뢰할 수 있는가? 분포적 강화학습에 대한 감사

When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning

많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.