고정 크기의 순환 메모리는 추론(inference) 중 저장 공간의 증가를 제한하지만, 성공적인 인출은 태스크와 학습(training)에 따라 달라집니다. 본 연구에서는 시퀀스당 32개의 새로운 키-값 쌍을 기억하도록 학습된, 고정 토큰별 키 편향(key bias)을 갖는 소형 DeltaNet 변형을 살펴봅니다. 32 KiB의 순환 행렬 상태만으로, 시퀀스의 값들 중에서 선택할 때 세 가지 학습 시드에 걸쳐 99.95%의 평균 정확도를 달성합니다. 쌍을 추가하지 않고 필러(filler)를 통해 쿼리 전 컨텍스트를 1,798개 토큰까지 확장해도 인출 능력은 거의 완벽하게 유지됩니다. 첫 번째 메모리 블록을 0으로 설정하면 이러한 인출 능력이 사라집니다. 탐색적인 48쌍 테스트는 주요 학습 예산의 4분의 1 이후에도 무작위 선택(chance) 수준에 머물며 용량 한계를 특정하지 못합니다. 추가적인 학습 탐색을 거친 트랜스포머(Transformer)를 포함하여, 매개변수 수를 맞춘 벡터 및 트랜스포머 기준선(baseline) 모델들은 무작위 수준에 머뭅니다. 이처럼 해결되지 않은 기준선 모델의 실패로 인해 메모리 효율성 비교는 수행할 수 없습니다.
본 연구에서는 대화형 유머 분야에서 언어 모델을 학습시키기 위한 자동화된 보상을 조사하며, 보상 악용(reward exploit)과 그 대응책에 초점을 맞춥니다. 두 가지 접근 방식은 이해 가능한 놀라움(understandable surprise)과 예측된 청중의 즐거움을 포착하는 것을 목표로 합니다. 통제된 테스트 결과, 임베딩(embedding) 기반의 놀라움 보상은 재치 있는 답변뿐만 아니라 단어가 무작위로 섞인 답변도 동일하게 수용하는 것으로 나타났습니다. 유창성 필터는 단어가 섞인 경우를 탐지하지만, 결합된 보상은 일부 재치 있는 답변까지 거부하며 추가 검증에 실패합니다. 반면 청중 모델이 예측한 웃음은 두 화자 중 어느 쪽의 메시지에든 존재하는 웃음 단서에 취약합니다. 화자 전반에 걸쳐 이러한 단서를 정규화하면 다뤄진 공격을 차단할 수 있지만, 대응되지 않은 표현은 여전히 악용 가능한 상태로 남습니다. 연속적인 보상 수정을 거친 학습을 평가하기 위해 세 번의 강화학습(RL) 실험을 수행했습니다. 최종 실험에서는 결합 평가 점수가 0.0903 향상되고 점수가 0점인 세션이 40% 감소했으나, 유머에 특화된 개선은 사전 등록된 목표치에 미치지 못했습니다. 이러한 발견은 자동화된 보상 설계가 직면한 더 광범위한 과제를 보여줍니다. 즉, 대응책은 보상이 장려하고자 했던 본래의 행동을 보존하면서도 악용 가능한 지름길(shortcut)을 차단해야 한다는 점입니다.