기존 확산 모델 기반 오프라인 강화학습이 다중 에이전트 환경의 안전성 문제를 다루지 못하는 점을 해결하기 위해, 신경망 기반 개별 제어 장벽 함수를 확산 모델에 통합하여 궤적 생성 시 안전성을 강화하는 알고리즘을 제안합니다. 제안된 방법은 다양한 벤치마크에서 경쟁력 있는 보상을 유지하면서도 안전성을 크게 향상시킵니다.
로봇 모방 학습(imitation learning)에서 비최적 데이터의 활용성을 높이기 위해 노이즈 의존적 데이터 사용 방식을 도입한 Ambient Diffusion Policy를 제안한다. 이 방법은 비최적 데이터의 기여를 확산 시간의 높고 낮은 구간으로 제한하여 Open X-Embodiment 데이터셋에서 기존 방법 대비 최대 33% 향상된 성능을 보였다.
시각 정보 없는 정교한 파악을 위해 실제 촉각 신호를 재현하는 Real2Sim 보정 파이프라인과 레이아웃 인식 촉각 인코더를 결합한 프레임워크를 제안한다. 이 방법은 보정된 시뮬레이터에서 학습된 강화학습 전문가들을 촉각 조건부 디퓨전 정책으로 통합하여 실제 환경에서 27%의 파악 성공률을 달성했다.
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 실제 환경과 유사한 공간에서 자연어 지시를 따라 탐색하도록 요구한다. 대부분의 VLN-CE 접근법은 3단계 프레임워크를 채택한다: 웨이포인트 예측기가 이동 가능한 웨이포인트를 제안하고, 내비게이터가 최적 웨이포인트를 선택하며, 저수준 컨트롤러가 해당 웨이포인트로의 이동을 실행한다. 그러나 이러한 분리된 패러다임은 도달 불가능한 웨이포인트를 생성하거나 계획과 제어 간의 불일치를 초래하는 경우가 많다. 본 연구에서는 고립된 웨이포인트를 예측하는 대신, 각 후보 웨이포인트를 실행 가능한 궤적에 기반하는 궤적 웨이포인트(Trajectory Waypoint)라는 새로운 패러다임을 제안한다. 이를 실현하기 위해, TSDF 기반 확산 정책(diffusion policy)으로 정식화된 궤적 웨이포인트 예측기를 설계하였으며, 이는 궤적 생성 시 장애물을 회피하도록 유도함으로써 예측된 웨이포인트의 도달 가능성을 본질적으로 보장한다. 나아가, 관련 궤적을 계획의 추가 정보로 주입하는 궤적 강화 내비게이터를 제안하여 고수준 의미론적 결정과 저수준 실행 간의 엄격한 일관성을 가능하게 한다. VLN-CE 벤치마크에 대한 광범위한 실험 결과, 궤적 웨이포인트 패러다임이 기준 모델 대비 우수한 성능을 달성함을 보인다.
이산적 선택과 연속적 매개변수를 결합한 하이브리드 행동 공간은 로봇 제어 및 게임 AI 등의 분야에서 널리 활용된다. 그러나 하이브리드 이산-연속 행동 공간을 효율적으로 모델링하고 최적화하는 것은 여전히 근본적인 과제로, 이는 주로 정책 표현력의 한계와 고차원 환경에서의 낮은 확장성에서 비롯된다. 이 문제를 해결하기 위해, 우리는 하이브리드 행동 공간 문제를 완전 협력 게임으로 바라보고, 이를 해결하기 위한 \textbf{협력적 하이브리드 확산 정책(Cooperative Hybrid Diffusion Policies, CHDP)} 프레임워크를 제안한다. CHDP는 각각 이산 확산 정책과 연속 확산 정책을 활용하는 두 협력 에이전트를 사용한다. 연속 정책은 이산 행동의 표현(representation)에 조건부로 작동하여 양자 간의 의존 관계를 명시적으로 모델링한다. 이러한 협력적 설계는 확산 정책이 각자의 행동 공간에서 복잡한 분포를 포착하는 데 표현력을 최대한 활용할 수 있도록 한다. 협력 환경에서 동시에 정책을 업데이트할 때 발생하는 업데이트 충돌을 완화하기 위해, 공동 적응을 촉진하는 순차적 업데이트 방식을 채택한다. 또한, 고차원 이산 행동 공간에서의 학습 시 확장성을 향상시키기 위해, 행동 공간을 저차원 잠재 공간(latent space)으로 임베딩하는 코드북(codebook)을 구성한다. 이 매핑을 통해 이산 정책은 압축되고 구조화된 공간에서 학습할 수 있다. 마지막으로, 학습 과정에서 코드북의 임베딩을 이산 정책의 표현과 정렬하기 위해 Q-함수 기반 안내 메커니즘을 설계한다. 도전적인 하이브리드 행동 벤치마크에서 CHDP는 최신 기법 대비 성공률을 최대 $19.3\%$까지 능가한다.