PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.11103v3cs.RO

심층 강화학습에서 SO(3) 동작 표현 입문

A Primer on SO(3) Action Representations in Deep Reinforcement Learning

많은 로봇 제어 과제는 정책이 방향(orientation)에 대해 동작하기를 요구하지만, SO(3)의 기하학은 이를 단순하지 않게 만듭니다. SO(3)는 전역적이고 매끄럽고 최소적인 파라미터화를 허용하지 않기 때문에, 오일러 각, 쿼터니언, 회전 행렬, Lie 대수 좌표 등 흔한 표현은 각각 서로 다른 제약과 실패 모드를 도입합니다. 이러한 트레이드오프는 지도 학습에서 충분히 연구되었지만, 강화학습에서 동작에 대한 그 영향은 여전히 불분명합니다. 우리는 dense 및 sparse 보상 하에서 세 가지 표준 연속 제어 알고리즘인 PPO, SAC, TD3에 대해 SO(3) 동작 표현을 체계적으로 평가합니다. 경험적 연구를 통해 표현이 탐험을 어떻게 형성하고, 엔트로피 정규화와 어떻게 상호작용하며, 학습 안정성에 어떤 영향을 미치는지 비교하고, 유클리드 네트워크 출력에서 유효한 회전을 얻기 위한 서로 다른 투영의 영향을 분석합니다. 일련의 로봇 벤치마크에서 이러한 선택의 실질적 영향을 정량화하고, 회전 동작을 선택하고 사용하기 위한 간단하고 구현에 바로 적용 가능한 지침을 정리합니다. 우리 결과는 표현이 유도하는 기하학이 탐험과 최적화에 강하게 영향을 미친다는 점을 강조하고, 국소 좌표계에서 동작을 접공간 벡터로 표현하는 것이 알고리즘 전반에서 가장 신뢰할 수 있는 결과를 낸다는 것을 보여줍니다. 프로젝트 웹페이지와 코드는 amacati.github.io/so3_primer에서 제공됩니다.