hotmail.gr

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.17803v1cs.LG

경량 경험 기반 잠재 기억을 통한 지속적 자기 개선

Continual Self-Improvement with Lightweight Experiential Latent Memories

대규모 언어 모델(LLM)은 추론 시간 연산을 확장하여 강력한 추론 성능을 달성하지만, 근본적으로 상태가 없어(stateless) 이 과정에서 생성된 풍부한 자가 생성 추론 흔적을 버립니다. 우리는 모델이 외부 감독이나 미래 데이터에 대한 접근 없이, 이러한 경험으로부터 온라인으로 학습하여 일시적인 연산(추론 흔적)을 지속적이고 재사용 가능한 지식으로 변환할 수 있는지 조사합니다. 우리는 원시 추론 흔적에 대한 문맥 내 학습(ICL)이 일반화에 실패함을 보여주며, 이는 토큰 수준 재사용의 근본적인 한계를 반영합니다. 즉, 개별 흔적은 정제(예: 자기 성찰) 후에도 전이에 필요한 추상화가 부족합니다. 대조적으로, 비지도 강화학습에 대한 최근 연구에서 영감을 받아, 우리는 자가 생성 테스트 시간 신호(다수결 투표)를 보상으로 사용하는 경량의 인스턴스별 학습이 상당한 이득을 가져옴을 발견했습니다. 이는 종종 전체 데이터셋 오프라인 학습을 능가하여, 원시 흔적에서 학습된 잠재 표현으로의 전환을 유도합니다. 이 통찰을 바탕으로, 우리는 마주친 문제에 소비된 추론 시간 연산을 기본 추론 구조를 포착하는 압축된 모듈식 잠재 기억으로 증류하는 온라인 방법을 제안합니다. 이 기억들은 미래의 입력을 위해 저장 및 검색되며, 모듈식 설계를 통해 재앙적 망각을 방지하면서 지속적인 개선을 가능하게 합니다. 중요하게도, 우리의 방법은 매우 효율적이며, 모델 파라미터의 약 0.001%에 불과한 극도로 가벼운 소프트 프롬프트 기억으로 파라미터화되고 단 몇 번의 그래디언트 스텝으로만 학습되지만, 전체 파라미터 업데이트 및 오프라인 학습과 경쟁하는 성능을 달성합니다. 도전적인 수학적 추론 벤치마크 전반에서, 우리의 접근 방식은 제로샷 및 원시 데이터 ICL 기준선을 상당히 능가하며, 데이터셋 간에 효과적으로 전이됩니다.