코딩 에이전트는 한 종류의 기억만 갖추고 출시된다: 문서. 지시 파일, 계획 산출물, 자동 기록된 메모리 디렉터리는 의도적으로 작성되고 의도적으로 검색된다. 에이전트는 이를 쓰기로 선택하고 다시 읽기로 선택해야 한다. 인간의 전문성은 결코 기록되지 않는 두 번째 층위에서 작동한다. 작업의 부수 효과로 인코딩되고, 상황이 단서를 제공할 때 비자발적으로 검색되는 상황에 묶인 운영적 사실(함정, 위치, 지역적 관례)이다. 우리는 이 두 번째 층위가 장기 실행 에이전트에 있어 부하를 지탱하는 핵심이며, 에이전트의 선택이 아니라 하네스 속성이 되어야 한다고 주장한다. 우리의 기여는 다음과 같다. (1) 인지 문헌의 기억 오프로딩, 부수적 인코딩, 사건 기반 전향적 기억에 기반한 이중 층위 설계 이론으로, 각각을 아키텍처 요구사항에 매핑한 것. (2) 기억이 구성 가능한 어휘(경로, 심볼, 의미, 사건, 시간)에 걸친 일급 트리거 조건을 지니고, 하네스에 의해 결정적으로 평가되는 단서 고정형 기억 모델로, 조사한 학술·상용 시스템 어디에도 없는 구성. (3) 실제 코딩 작업에 대한 통제된 평가로, 사전 시드된 저장소가 있어도 자발적 기억 사용은 거의 0(114턴 중 0회 메모리 연산)이며, 결정적 주입은 모든 시드 실행에서 오경보 0으로 전달되었고, 세션 내 재읽기의 39%가 압축 경계 이전에 이미 지불한 내용을 다시 구매함을 보여준 것. (4) 반복 압축 감쇠 탐침: 대화에만 보관된 열 가지 사실은 첫 요약에서 사라지고 108회 압축 중 106회에서 계속 없으며, 박탈된 에이전트는 하네스 자체 세션 파일을 grep하여 이를 재구성하는 반면, 하네스 소유 저장소에서 주입된 동일 사실은 최종 요약에 아무것도 담기지 않음에도 138회의 compact-resume 전체를 무손실로 통과한다. 전달이지 저장이 아니다, 이것이 핵심이다. 에이전트를 위한 신뢰할 수 있는 기억 채널은 에이전트가 전혀 생각할 필요가 없는 채널이다.
언어 에이전트의 추론 루프 내부에서 매 단계마다 메모리를 읽고 쓰는 "루프 내 메모리(memory in the loop)" 체계를 연구하며, 기존의 지연 시간 문제가 네트워크 기반 저장소의 특성에서 비롯됨을 지적하고 인-프로세스 저장소(~100µs)를 활용해 이를 해소할 수 있음을 실험적으로 입증한다. GPT-5급 모델 실험에서 인-프로세스 메모리 적용 시 재현율이 0/5에서 3.6–4.8/5로 향상되었으며, 저장소 응답 속도만 변화시켜도 중복 행동 발생률이 단조적으로 달라진다는 인과 관계를 확인했다.
작업 기억은 뇌가 최근 과거의 정보를 유지하여 진행 중인 행동을 안내할 수 있게 요구한다. 뉴런은 시간에 걸쳐 입력을 천천히 적분함으로써 이 능력에 기여할 수 있으며, 이는 원래 자극이 사라진 뒤에도 남는 지속적 활성을 만든다. 그러나 이러한 천천히 적분하는 뉴런이 계층적으로 조직되면 누적 지연이 발생하며, 이는 학습에 근본적인 난제를 제기한다. 행동이 옳았는지 그른지를 나타내는 교수 신호가 그것이 지시하려는 신경 활동과 동기가 맞지 않은 채 도착하기 때문이다. 여기서 우리는 적응 전류가 강화된 뉴런이 이러한 지연을 보상할 수 있음을 보인다. 외부 자극에 전향적으로(prospectively) 반응하여—사실상 미래 입력을 예측함으로써 그것들과 동기를 맞추는 방식으로 말이다. 먼저, 이러한 전향적 뉴런이 계층적 네트워크를 통해 오류 신호를 전파하는 다양한 학습 알고리즘에서 교수 신호 동기화를 가능하게 함을 보인다. 둘째, 이것이 천천히 적분하는 뉴런의 학습을 성공적으로 안내하여 장시간에 걸친 기억의 형성과 회상을 가능하게 함을 입증한다. 우리는 전향적 코딩 메커니즘에 대한 수학적 분석과 운동 제어 과제에서의 학습 실험으로 이 결과를 뒷받침한다. 종합하면, 우리의 결과는 신경 적응이 중요한 타이밍 문제를 어떻게 해결하고 동적 환경에서 효율적인 학습을 가능하게 할 수 있는지를 밝힌다.
추론과 도구 사용을 번갈아 수행하는 언어 에이전트는 각 개별 단계가 쉬운데도 추론 체인이 길어질수록 성능이 급격히 저하된다. 이를 컨텍스트 희석(context dilution)으로 귀인한다. 에이전트의 조사 상태(확인한 내용, 의심하는 내용, 아직 필요한 내용)가 점점 커지는 컨텍스트 윈도우에 암묵적으로만 존재하며, 초기 발견이 이후 검색 결과 아래에 묻혀 버리기 때문이다. 우리는 SLEUTH를 제안한다. 이는 구조화된 인식론적 작업 기억(epistemic working memory)을 통해 이 상태를 명시적이고 실행 가능하게 만든다. 에이전트는 출처에 그라운딩된 확인된 사실(Confirmed Facts), 증거에 따라 순위가 매겨진 활성 가설(Active Hypotheses), 다음 행동을 직접 이끄는 미해결 질문(Open Questions)을 유지한다. 5개의 다중 홉 벤치마크와 5개의 기존 베이스라인에 걸쳐, SLEUTH의 이점은 난이도가 높아질수록 커져 HotpotQA에서 +5점, 4-hop 체인에서 +11점에 이르며, 여러 에피소드 없이 Reflexion을 능가한다. 남은 격차가 어디에 있는지 분석한 결과, 증거 충분성 문제(evidence sufficiency problem)를 확인했다. 에이전트는 종종 답을 찾지만 확정(commit)하지 못하고, 불필요한 검증에 예산을 소진한다. 경량 확정 트리거가 이를 해결하지만, 에이전트가 이미 구조화된 상태를 유지할 때에만 효과가 있다. 동일한 트리거를 비구조화 에이전트에 적용하면 개선이 없어, 조직화된 인식론적 상태가 효과적인 확정의 필요 조건임을 분리해 보여준다. 마지막으로, 더 약한 모델에 프로토콜 준수를 강제하면 가장 어려운 문제에서 최대 +19점까지 회복되며, 다중 홉 추론을 확장하는 핵심 요소는 원시 모델 역량이 아니라 에이전트가 추론을 조직하는 방식임을 보여준다.
이산 확산 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성한다. 그러나 표준 dLLM은 각 디노이징 단계에서 현재의 하드 마스킹된 시퀀스만을 조건으로 삼으며, 중간 연속 표현은 샘플링 및 재마스킹 후 폐기된다. 우리는 이 병목 현상을 **정보 고립(Information Island)** 문제라 명명한다: 연속적 정보는 개별 디노이징 단계 내에 고립된 채로 머물며 전체 궤적에 걸쳐 전파되지 못한다. 이 병목은 특히 추론에 해롭다. 추론은 여러 디노이징 단계에 걸쳐 중간 추론 상태가 보존되고 갱신될 것을 요구하기 때문이다. 이 한계를 해결하기 위해 우리는 **MetaState**를 제안한다. MetaState는 동결된 dLLM 백본에 영속적이고 고정 크기의 작업 메모리를 부여하는 경량 순환 증강 기법이다. MetaState는 공유 시간 컨디셔너를 가진 세 모듈로 구성된다: 백본 활성화를 메모리 슬롯으로 읽어들이는 크로스 어텐션 **Mixer**, 단계 간 정보를 통합하는 GRU 방식의 **Updater**, 그리고 갱신된 메모리를 백본에 다시 기록하는 크로스 어텐션 **Injector**이다. 우리는 이 모듈들을 다단계 동역학 학습을 위한 전용 $K$-스텝 언롤링 파이프라인으로 학습시킨다. MetaState는 백본을 동결한 상태에서 학습 가능한 파라미터를 약 0.6%만 추가하면서, 수학적 추론 및 코드 생성 벤치마크에서 동결 기준선 대비 추론 성능을 일관되게 향상시키며, 전체 평가에서 평균 4.5 퍼센트포인트의 성능 향상을 달성한다.
컨텍스트 엔지니어링은 모델이 어떤 정보를 이어받을지를 결정하며, 현재의 설계들은 이를 토큰 단위로 계량한다: 과거를 제한된 순환 상태로 압축하거나, 모든 토큰에 대해 키-값 항목을 유지하거나, 윈도우나 축출 규칙을 통해 고정 예산을 부과하는 방식이다. 세 가지 방식 모두 스트림이 중복적이고 태스크가 스트림이 담고 있는 고유 정보에 의존하는 경우에도 토큰을 메모리의 단위로 삼는다. 입력 키가 새로운 경우에만 캐시 슬롯을 열어 메모리가 토큰 수가 아닌 고유 항목 수에 따라 확장되도록 하는 관련 메커니즘 논문을 기반으로, 우리는 해당 신규성 기반 할당(allocate-on-novelty) 캐시를 작업 메모리 구성요소로 발전시키고, 태스크가 과거에 의존하는 방식에 따라 컨텍스트를 구성한다: 회상(recall)으로 전달되는 정보는 내용 주소 지정 방식의 신규성 캐시에, 요약으로 전달되는 정보는 순환 상태에, 지역성으로 전달되는 정보는 최신성 윈도우에 배치된다. 이 주장은 실증적이며 제한적이다. 매칭된 문자 수준 제어 실험에서, 신규성 게이팅 어텐션은 약 절반의 토큰만을 처리하면서 전체 어텐션 수준의 성능에 도달하며, 캐시와 상태공간 요약을 결합하면 해당 절감된 비용으로 전체 어텐션 결합과 동등한 성능을 달성한다; 이 이점은 컨텍스트가 길어질수록 증가하는 반면, 슬라이딩 윈도우는 짧고 지역성이 지배적인 구간에서 더 유리하다. 합성 Medicare 청구 데이터에 대한 다음 코드 예측에서, 결합 구성요소는 천 개 이벤트 수평에서 전체 어텐션 및 모든 고정 예산 축출 정책을 능가하는 반면, 동일 스트림에 대한 비용 예측은 요약으로 전달되어 캐시는 중립적이다. 유지된 메모리는 불투명한 상태가 아니라 템플릿, 코드, 약물 또는 장소의 검사 가능한 테이블이다. 실험은 소규모이며 공개 데이터만을 사용하며, 컨텍스트가 토큰이 아닌 고유 정보에 따라 확장될 수 있고 내용 주소 지정 방식으로 감사 가능한 작업 메모리에서 이를 구현할 수 있다는 기본 원리를 확립한다.
NEST(Nested Episodic State Topology)는 인지를 구조화된 상태 형성 및 변환으로 모델링하기 위한 그래프 이론적 표현 온톨로지로, 개념·에피소드·지각·태스크 컨텍스트를 인과·포함·시간·연관·증거·공간의 6가지 관계 클래스로 타입화된 재귀적 가중치 그래프로 표현한다. 지속적 믿음 그래프와 용량 제한적 작업 기억 그래프를 분리하고, ACT-R·Soar·Global Workspace Theory 등 주요 인지 아키텍처를 단일 표현 언어의 제약된 영역으로 통합하는 호환성 매핑을 제시한다.