PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38516v2cs.MA

솔로 학습에서 소셜 학습으로: LLM의 재귀적 사회적 개선 특성화

From Solo to Social Learning: Characterizing Recursive Social Improvement in LLMs

대규모 언어 모델(LLM)은 이제 자신이 따르는 지침을 수정함으로써 스스로를 개선할 수 있으며, LLM 에이전트는 복잡한 문제를 함께 해결하도록 점점 더 많이 조율되고 있다. 그러나 자기개선 방법은 일반적으로 한 번에 하나의 시스템만을 최적화하며, 멀티에이전트 프레임워크에서는 흔히 모든 모델이 공유된 목표를 향해 작업한다. 우리는 다른 질문을 던진다. 각 에이전트가 자신만의 보상을 추구할 때, 자기개선형 LLM들이 전체 집단을 개선할 수 있을 만큼 서로로부터 잘 학습할 수 있는가? 우리는 이러한 능력을 재귀적 사회적 개선(recursive social improvement)이라고 부른다. 우리는 스킬 파일을 수정하고, 누구로부터 언제 복제할지, 그리고 복제할지 여부를 선택하는 집단을 연구한다. 독립적 탐색, 동료로부터의 학습, 그리고 행동은 모두 하나의 토큰 예산을 공유한다. 통제된 환경에서, 기존에 확립된 소셜 러닝 알고리즘은 동료로부터 이득을 얻지만, 세 개의 LLM은 그렇지 않다. 이들은 솔로 학습자보다 토큰당 더 적은 보상을 얻으며, 지나치게 좁게 탐색하거나 행동하기 전에 토큰이 소진된다. 이후 우리는 모델들이 자신의 스킬을 직접 작성하고 수정하도록 한다. 동료를 관찰하는 것은 이들이 개선하는 방식을 변화시켜, 한 모델은 유용한 스킬을 더 빨리 찾도록 돕고 다른 모델은 개인 탐색에 더 적은 비용을 쓰도록 돕는다. 그러나 둘 다 동일한 비용에서 독립적 학습자보다 더 나은 성과를 내지는 못한다. 스킬은 복제되고, 수정되고, 전달되므로, 하나의 발견이 추가 탐색의 씨앗이 될 수 있다. 그러나 이러한 교환은 집단을 더 적은 수의 독립적 발견 주변으로 집중시킨다. 종합적으로, 이러한 결과는 LLM이 동료로부터 복제함으로써 학습을 더 효율적으로 만들 수 있지만, 아직 더 효과적으로 만들지는 못한다는 것을 보여준다.

arXiv:2606.18537v2cs.LG

로마에 가면 로마법을 따르라: 이종 에이전트로부터 보편적 행동 학습하기

Do as the Romans Do: Learning Universal Behaviors from Heterogeneous Agents

인간은 타인을 관찰함으로써 새로운 기술을 습득하곤 하는데, 관찰된 행동이 환경(environment) 내에서 합리적으로 행동하는 방법을 암묵적으로 드러내기 때문입니다. 그러나 이종 집단에서 수집된 관찰 결과는 상충하는 행동 신호를 유입시켜 어떤 행동을 모방할 가치가 있는지 판단하기 어렵게 만듭니다. 우리는 서로 다른 목표를 추구하는 실증자(demonstrator)들의 이종 집단으로부터 보편적으로 유용한 행동을 추출하는 사회적 학습 방식인 GRID(General Reward Inference and Disentanglement)를 통해 이러한 과제를 해결합니다. GRID는 정보 병목(information bottleneck)을 활용하여 에이전트(agent)별 보상(reward) 함수를 모든 에이전트 간에 공유되는 행동을 포착하는 일반 보상과, 개별 선호 및 목표를 포착하는 특정 보상으로 분해합니다. 일반 보상만으로 학습(training)하는 방식은 제너럴리스트 사전학습의 새로운 패러다임을 제공합니다. 이는 기존의 실증 기반 학습(learning from demonstration) 기법들을 저해하는 모드 평균화 바이어스(mode-averaging bias) 없이, 안전성 및 기본 과업 숙련도와 같은 보편적인 환경 역량을 내재화한 제너럴리스트 에이전트를 산출합니다. 이 제너럴리스트는 학습 과정에서 보지 못한 선호를 포함한 다운스트림 과업으로의 미세조정(fine-tuning)을 위한 강력한 사전 분포(prior) 역할을 합니다. 합성 기저 함수 분해, 멀티 에이전트 Craftax, 연속 제어 과업(MuJoCo Gym) 및 자율주행 시뮬레이터(Highway-Env) 전반에 걸친 실험을 통해 GRID가 의미론적으로 유의미한 방식으로 보상 구조를 성공적으로 얽힘 해제(disentangle)하고, 표준 실증 기반 학습 베이스라인들을 능가하며, 더욱 효율적이고 안정적인 특화(specialization)를 가능하게 함을 확인했습니다.