PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28433v1cs.LG

포지션: 강화학습 연구자들은 시뮬레이터 풀기와 시뮬레이터를 프록시로 사용하는 것을 구분해야 한다

Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy

강화학습(RL) 연구의 목표 중 하나는 범용 순차적 의사결정을 이해하는 것이며, 이를 위해 벤치마크 시뮬레이터를 배포 환경에서의 학습에 대한 프록시로 활용한다. 그러나 실험을 수행하는 과정에서, 시뮬레이터에서 높은 성능을 달성하려는 목표가 시뮬레이터 자체를 푸는 데에만 집중하는 방향으로 변질될 수 있다. 높은 점수를 달성하기 위해 연구자들은 에이전트가 시뮬레이터 외부에 배포된 상태에서의 학습보다는 시뮬레이터 풀기에만 특화된 솔루션을 채택할 수 있다. 시뮬레이터 풀기 자체도 탐구할 가치가 있지만, 이는 근본적으로 다른 강화학습 연구 질문이다. 본 논문에서는 강화학습 연구자들이 시뮬레이터의 두 가지 활용 방식, 즉 시뮬레이터 풀기와 배포 환경에서의 학습을 위한 프록시로의 시뮬레이터 사용을 구분해야 한다고 주장한다. 먼저 이 두 가지 활용 방식이 에이전트의 시뮬레이터 사용 제약 조건, 적합한 알고리즘, 적절한 평가 지표 측면에서 어떻게 중요하게 다른지 논의한다. 이어서 이 두 설정의 구분을 명확히 하지 않을 경우 발생할 수 있는 여러 문제점과 오해를 불러일으키는 결론들을 예시와 간단한 실험을 통해 제시한다. 본 연구는 연구자들이 자신의 연구에서 시뮬레이터를 어떻게 활용하고 있는지 명확히 구분하기 시작하고, 각 설정에서 어떤 실증적 관행이 가장 효과적인지에 대한 추가 논의를 촉진하기를 촉구하는 커뮤니티에 대한 요청이다.