PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2405.04118v4cs.LG공식 코드 · Papers with Code

언어 병목을 활용한 정책 학습

Policy Learning with a Language Bottleneck

자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.