LLM은 꿈을 꿀 수 있는가? 텍스트 기억을 가진 에이전트에서 과적합된 뇌 가설 검증
Can an LLM dream? Testing the overfitted brain hypothesis on an agent with text memory
한국어 초록
Hoel(2021)은 뇌가 최근 사건에 과적합되지 않도록 꿈이 재생되는 경험을 왜곡한다고 제안하였다. 우리는 이 가설을 학습한 내용을 텍스트 기억에 저장하고 매일 밤 그날의 대화 기록으로 그 기억을 다시 쓰는 LLM 에이전트(Claude Opus 5.5)에서 검증한다. 에이전트는 LongMemEval을 바탕으로 구성된 10일간의 모의 대화를 거친다. 매일 밤 기억을 다시 쓰기 전에 대화 기록의 턴 중 5, 10, 20 또는 40퍼센트를 두 가지 방식 중 하나로 손상시킨다. 세부 정보 손상은 한 턴의 한두 가지 세부 정보를 그럴듯하지만 틀린 것으로 바꾸거나, 해당 턴을 이전 날의 같은 화자의 턴으로 대체한다. 무작위 텍스트 손상은 선택된 턴의 절반을 『모비 딕』의 한 구절로 대체하고 나머지 절반에는 『모비 딕』의 단어를 삽입한다. 인간의 자유 회상 데이터를 바탕으로 설정한 기억 크기 제한은 열흘 밤 동안 19,500토큰에서 117,000토큰으로 증가하며, 이로 인해 에이전트는 망각하게 된다. 그 결과, 30회 실행(열 가지 조건, 세 가지 서로 다른 대화 이력)에서 손상이 에이전트가 이전 대화에서 학습한 내용을 새로운 과제에 적용하는 데 도움이 되지 않았음을 확인하였다. 턴의 40퍼센트에서 세부 정보를 대체하자 회상률이 76퍼센트에서 60퍼센트로 낮아졌다. 무작위 텍스트는 모델이 이를 손상된 것으로 인식하여 기억에서 제외하였기 때문에 회상에 일관된 영향이 없었으며, 40퍼센트에서 짝지은 차이는 0 $\pm$ 2 포인트였다. 대체된 세부 정보는 올바른 값을 담은 다른 턴이 있는 경우에도 사실로 저장되었으며, 에이전트는 해당 질문의 40퍼센트에 정답을 냈는데, 손상이 없는 경우에는 75퍼센트였다. 이러한 결과는 사전학습된 모델이 손상된 텍스트를 실제 사건과 구분할 수 있음을 시사하므로, 공정한 검증에는 이러한 구분을 쉽게 하지 못하는 학습자, 예를 들어 손상된 날들로 미세조정된 모델이나 가상의 세계에서 하루하루가 진행되는 에이전트가 필요하다.
원문 초록
Hoel (2021) proposed that dreams distort replayed experience so that the brain does not overfit to recent events. We test this hypothesis on an LLM agent (Claude Opus 5.5) that stores what it learns in a text memory and rewrites that memory each night from the day's conversation transcript. The agent goes through ten simulated days of conversation built from LongMemEval. We corrupt 5, 10, 20 or 40 percent of the transcript's turns before each nightly rewrite in one of two ways. Detail corruption changes one or two details in a turn to plausible wrong ones, or replaces the turn with one by the same speaker from an earlier day. Random-text corruption replaces half of the selected turns with a passage of Moby-Dick and inserts Moby-Dick words into the other half. A size limit on the memory, rising from 19,500 to 117,000 tokens over ten nights, set from human free-recall data, forces it to forget. We learned that corruption did not help the agent apply what it learned in earlier conversations to new tasks in any of 30 runs (ten conditions, three different conversation histories). Replacing details in 40 percent of turns lowered recall from 76 to 60 percent. Random text had no consistent effect on recall, with a paired difference of 0 $\pm$ 2 points at 40 percent, because the model recognized it as corrupted and left it out of memory. Replaced details were stored as fact even when another turn held the correct value, and the agent answered 40 percent of those questions correctly, compared with 75 percent without corruption. These results suggest that a pretrained model can separate corrupted text from real events, so a fair test needs a learner that cannot make this separation as easily, such as a model fine-tuned on the corrupted days or an agent whose days take place in an invented world.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21648v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.