Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs
한국어 초록
대규모 언어 모델(LLMs)의 장기 기억이 필요하고 따라서 긴 맥락 추론을 요구하는 작업, 예를 들어 대화 설정에서의 능력을 평가하는 것은 기존의 벤치마크로 인해 어려움을 겪고 있습니다. 이러한 벤치마크는 종종 서사적 일관성이 결여되어 있고, 좁은 영역만을 다루며, 단순한 회상 중심의 작업만을 테스트합니다. 본 논문은 이러한 문제에 대한 포괄적인 해결책을 제시합니다. 첫째, 우리는 최대 10M 토큰의 긴, 일관된, 주제적으로 다양한 대화를 자동으로 생성하는 새로운 프레임워크를 소개하며, 이는 다양한 기억 능력을 겨냥한 질문을 포함합니다. 이를 통해 100개의 대화와 2,000개의 검증된 질문으로 구성된 BEAM이라는 새로운 벤치마크를 구축합니다. 둘째, 모델 성능을 향상시키기 위해 우리는 인간 인지에서 영감을 받은 LIGHT라는 프레임워크를 제안합니다. 이 프레임워크는 LLM에 장기 에피소드 기억, 단기 작업 기억, 그리고 중요한 사실을 축적하기 위한 스크래치패드를 포함한 세 가지 보완적인 기억 시스템을 제공합니다. BEAM에 대한 우리의 실험 결과, 1M 토큰 맥락 창을 가진 LLM(검색 증강 여부에 관계없이)은 대화가 길어질수록 어려움을 겪는 것으로 나타났습니다. 반면, LIGHT는 다양한 모델에서 일관되게 성능을 향상시켜, 가장 강력한 기준선에 비해 평균 3.5%-12.69%의 개선을 달성했습니다. 추가적인 제거 연구는 각 기억 구성 요소의 기여를 더욱 확실히 확인합니다.
요약
대규모 언어 모델(LLMs)의 장기 기억 및 긴 맥락 추론 능력은 대화와 같은 복잡한 상황에서 필수적인 요소로, 이를 효과적으로 평가하기 위한 기존 벤치마크의 한계가 존재합니다. 기존의 벤치마크는 내러티브 일관성이 부족하고, 좁은 도메인에 국한되며, 단순한 회상 작업만을 테스트하는 경향이 있습니다. 이러한 문제를 해결하기 위해 새로운 접근법이 필요하며, 본 연구는 이를 위한 포괄적인 솔루션을 제시합니다. 연구의 첫 번째 주요 기여는 최대 10M 토큰으로 구성된 일관되고 주제적으로 다양한 대화를 자동으로 생성하는 새로운 프레임워크를 개발한 것입니다. 이 프레임워크는 다양한 기억 능력을 평가하기 위한 질문을 포함하여, 100개의 대화와 2,000개의 검증된 질문으로 구성된 새로운 벤치마크인 BEAM을 구축합니다. BEAM은 LLM의 장기 기억 능력을 보다 정교하게 평가할 수 있는 기초 자료로 활용될 수 있습니다. 두 번째 기여는 인간의 인지에서 영감을 받은 LIGHT 프레임워크를 제안하여 LLM에 세 가지 보완적 기억 시스템을 통합한 것입니다. 이 시스템은 장기 에피소드 기억, 단기 작업 기억, 그리고 중요한 사실을 축적하기 위한 스크래치패드를 포함하여, LLM의 성능을 향상시키는 데 기여합니다. 실험 결과, LIGHT 프레임워크는 다양한 모델에서 일관되게 성능을 개선하며, 평균적으로 3.5%-12.69%의 성능 향상을 달성했습니다. 이 연구는 LLM의 장기 기억 능력을 평가하고 향상시키기 위한 새로운 방법론을 제시하며, BEAM 벤치마크와 LIGHT 프레임워크는 향후 연구에 중요한 기초 자료로 활용될 것입니다. 이러한 기여는 LLM의 실제 성능을 보다 정확하게 반영하고, 복잡한 대화 상황에서의 활용 가능성을 높이는 데 기여할 것으로 기대됩니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.