PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04235v1cs.CL

짚을 금으로: 성공적인 시연을 위한 LLM 에이전트 궤적의 사후 재레이블링

Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

대규모 언어 모델(LLM) 에이전트는 부분 관측 가능하고 장기간에 걸친 환경에서 동작하며, 지도 신호를 확보하는 것이 주요 병목으로 남아 있다. 우리는 기존 사후 학습 방법에서 간과된 지도 신호 원천, 즉 에이전트 롤아웃에 내재된 의도치 않았지만 성공적인 목표를 활용함으로써 이 문제를 해결한다. 구체적으로, 보조 LLM이 완료된 각 궤적을 검토하여 에이전트가 실제로 달성한 모든 자연어 목표로 재레이블링하는 사후 지도 학습(HSL, Hindsight Supervised Learning)을 제안한다. HSL은 이후 궤적과 재레이블링된 목표를 쌍으로 구성하고, 이 쌍을 추가 미세조정에 활용한다. 재레이블링된 데이터의 준최적성을 완화하기 위해, 관련 없는 행동 마스킹(irrelevant-action masking)과 샘플 재가중(sample reweighting)이라는 두 가지 학습 기법을 HSL에 제안한다. 실험 결과, HSL은 유연하며 기존 사후 학습 파이프라인과 호환됨을 보인다. SFT와 DPO 모두를 개선하며, 목표 공간이 더 다양한 장기간 과제에서 더 큰 성능 향상을 달성한다. 또한 HSL은 샘플 효율적이다: ALFWorld에서 실측 시연의 4분의 1만 사용하면서도 전체 데이터셋으로 학습한 기준선을 능가한다.