PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15969v1cs.AI

PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성

PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination

다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.

arXiv:2610.02170v1cs.RO

관찰하고, 추론하고, 협력하라: 제로샷 협력을 위한 로봇 파트너의 제약 조건 추론

Watch, Infer, Coordinate: Inferring Robot Partner Constraints for Zero-Shot Coordination

물리적 세계에서 작동하는 로봇은 다른 로봇과 협력해야 할 필요성이 점점 더 커질 것이며, 특히 물체가 너무 크거나 무거워 단일 로봇이 혼자 운반할 수 없는 조작(manipulation) 작업에서 더욱 그러합니다. 하드웨어 성능 저하나 액추에이터 결함으로 인한 물리적 한계는 로봇이 안정적으로 수행할 수 있는 동작을 제한할 수 있지만, 이러한 한계는 파트너 로봇에게 알려지지 않을 수 있습니다. 본 연구에서는 보조 로봇(helper)이 다른 로봇과 협력하는 파트너 로봇을 관찰함으로써 해당 로봇의 물리적 제약 조건을 추론하고, 추론된 능력을 바탕으로 동일한 파트너와 새로운 작업에서 협력할 수 있는지를 탐구합니다. 이는 시연(demonstration) 데이터가 제약이 있는 로봇이 '무엇을 했는지'만 보여줄 뿐, '무엇을 할 수 있었는지'는 보여주지 않기 때문에 어렵습니다. 또한 물리적으로 결합된 작업에서는 다른 로봇이 이러한 한계를 보완해 줄 수 있어, 제약이 있는 로봇의 행동만으로는 한계를 식별하기 어렵습니다. 우리의 핵심 통찰은 이러한 제약 조건이 팀의 공동 행동(joint behavior)을 형성하므로, 두 로봇의 행동 모두가 제약이 있는 파트너의 능력에 대한 유용한 정보를 제공한다는 점입니다. 본 논문에서는 물리적으로 결합된 세 가지 조작 환경을 아우르는 벤치마크인 'Watch, Infer, Coordinate'와 함께, 관찰된 공동 행동을 활용해 후보 제약 조건에 점수를 매기는 추론 접근법을 소개합니다. 세 가지 환경 모두에서 우리의 방법은 제약 조건 추론 및 제로샷(zero-shot) 협력 성능을 크게 향상시키며, 실제 제약 조건에 접근할 수 있는 오라클(oracle) 수준에 근접합니다.