DuoMem은 대형 교사 모델의 절차적 메모리 능력을 소형 학생 모델로 전이하기 위해 컨텍스트 공간 증류(교사 생성 메모리를 학생 입력에 직접 제공)와 매개변수 공간 증류(LoRA 파인튜닝)를 결합한 이중 공간 지식 증류 프레임워크다. ALFWorld 벤치마크에서 4B 모델의 과제 성공률을 4.3%에서 77.9%로 끌어올리며 72B 교사 모델(87.1%)과의 격차를 대부분 좁혔고, 72B 모델 대비 3배 이상 빠른 추론 속도로 엣지 디바이스 배포에 적합한 성능을 달성했다.
스크래치패드(scratchpad)에 기록된 중간 상태가 모델의 실제 계산에 인과적으로 연결되어 있는지 검증하기 위해, 알려진 전이 규칙을 가진 유한 상태 추적 태스크에서 스크래치패드 텍스트는 고정한 채 내부 표현만 편집하는 활성화 패칭(activation patching) 실험을 수행했다. 중간 상태를 기록하도록 파인튜닝된 Qwen2.5-Coder-7B 모델은 편집된 상태로부터 올바른 다음 상태를 80~91%의 정확도로 예측하여, 기록된 상태가 단순한 텍스트가 아닌 실제 계산 레지스터(register)로 기능함을 보였다.
표 형식 기반 모델(tabular foundation models)의 데이터 생성 사전 분포(data-generating prior)를 아키텍처 및 학습 프로토콜과 독립적으로 비교하기 위해, 저자들은 TabPFNv1, TabICL, TICL, TabForestPFN 및 실제 데이터 기반 사전 분포를 통합 인터페이스로 구현하고 동일한 nanoTabPFN 아키텍처와 고정된 학습 프로토콜 하에 평가하는 통합 파이프라인을 제안한다. 실험 결과, 사전 분포마다 다운스트림 동작 프로파일이 상이하며, 데이터 수준의 통계적 유사성만으로는 다운스트림 예측 성능을 완전히 설명하기 어렵다는 점이 확인되었다.
테이블형 파운데이션 모델은 해당 시스템을 지배하는 규칙에 접근하지 않고서는 실행 중인 시스템이 생성한 데이터에 대해 추론할 수 없다. 우리는 이 진술을 반증 가능하게 만든다. 운영 튜링 테스트(Operational Turing Test, OTT)는 1-방향 및 2-방향 열-값 주변 분포가 전체 변동 <0.02로 일치하는 합법적인 데이터베이스 상태와 규칙 위반 데이터베이스 상태의 쌍을 구성하며, 르 캄 보조 정리(Le Cam's lemma)는 값만 사용하는 임의의 분류기의 베이즈 오차를 ≥0.49로 제한한다. 값만 사용하는 세 가지 기준선(XGBoost, TabICL, TabPFN)은 이 경계에 정확히 도달하고(정확도 0.50, 사전 등록된 양측 단측 검정(TOST) p<0.002), 원시 행 수준 접근은 도움이 되지 않으며, 관계형 값 일관성을 노출하면 대부분의 격차가 줄어들고, 7개의 실행 가능한 규칙 유도 감사로 입력된 분류기만이 분류 정확도 1.00에 도달한다. 100개 상태를 갖는 세 가지 매칭된 프론티어 대규모 언어 모델(LLM) 실행에서, 스키마, 트리거 소스, 규칙 테이블, 상태 파일을 제공받은 모델들은 최대 2/50의 합법적인 상태만을 LEGAL로 분류하며, GPT-5.5는 더 높은 추론 노력과 구조화 질의 언어(SQL) 실행기를 제공받더라도 0/50의 합법적인 상태를 수용한다. 접근 사다리 패턴은 구조적으로 상이한 규칙 군(은행 원장: 행 간 잔액, 누적 집계)을 갖는 두 번째 스키마에서도 나타난다. 이 장벽은 식별 가능성(identifiability)의 문제이지 용량의 문제가 아니다: 규모, 데이터, 더 풍부한 특징만으로는 운영적 그라운딩(operational grounding) 없이 이를 극복할 수 없다.
검색-증강 생성(RAG)은 외부 컨텍스트에 생성을 그라운딩함으로써 언어 모델을 개선한다. 그러나 검색된 컨텍스트가 모델의 파라메트릭 지식과 충돌할 때 취약해질 수 있다. 이러한 충돌은 신뢰할 수 있는 증거, 부분적으로 신뢰할 수 있는 증거부터 적대적 컨텍스트까지 신뢰성 스펙트럼에 걸쳐 있다. 기존 방법들은 이러한 이질적 충돌을 레짐 비인식 감독으로 처리하는 경우가 많아, 신뢰성 레짐 전반에 걸쳐 양립 불가능한 학습 신호를 혼재시킬 수 있다. 이러한 신호를 분리하기 위해, 우리는 두 가지 상호 보완적 단위에서 충돌을 해결하는 레짐 인식 피어 특화 프레임워크인 RAPS-DA를 제안한다. 샘플 수준에서 충돌은 그라운딩(Grounding), 중재(Arbitration), 저항(Resistance)의 세 가지 레짐으로 구분되며, 공유된 기반 모델로부터 레짐별로 동일 규모의 피어 전문가 모델이 하나씩 학습된다. 각 샘플은 온-정책(on-policy) 역방향 KL 감독을 위해 해당 레짐에 일치하는 피어로 하드 라우팅된다. 토큰 수준에서 이중 층(dual-layer) 선택기는 교사 간 불일치, 학생-교사 발산, 학생 엔트로피를 활용하여 비정보적이거나 불안정한 토큰을 걸러내고, 확실하게 잘못 정렬된 토큰의 가중치를 높이며, 학생이 성숙해짐에 따라 점차 고충돌 토큰에 감독을 집중시킨다. 성능 향상은 더 강력한 교사가 아닌 고정된 모델 규모에서의 특화에서 비롯되며, 피어 전문가들은 학습 중에만 존재하므로 배포된 학생 모델은 레짐 레이블이나 피어 접근이 필요하지 않다. 다섯 가지 충돌 시나리오와 두 가지 분포 외(out-of-distribution) 벤치마크에 대한 실험에서 RAPS-DA는 모든 프롬프팅, 디코딩, 미세조정(fine-tuning), 강화학습(RL), 단일 교사 기준선을 능가함을 보인다.
전통적인 어텐션 메커니즘의 이차적 연산 비용은 대규모 언어 모델(LLM)의 확장성과 실용적 배포, 특히 장문맥 시나리오에서 주요 병목으로 작용한다. 효율성을 높이기 위해 기존 접근법들은 로컬 어텐션 윈도우와 같은 엄격한 구조적 제약을 적용하는 경우가 많다. 그러나 이러한 전략들은 정밀한 장거리 재현율(recall)을 요구하는 태스크에서 상당한 성능 저하를 초래하는 경향이 있다. 본 연구에서는 효율적인 검색 시스템을 통해 동적으로 통합되는 문맥 내 정보로 희소화된 어텐션 메커니즘을 보강하는 확장 가능하고 효율적인 프레임워크 MATCH를 제안한다. 실험 결과, MATCH는 합성 태스크와 실세계 자연어 처리(NLP) 태스크 모두에서 희소 어텐션 모델의 성능을 크게 향상시키는 것으로 나타났다. 이러한 결과는 희소 어텐션 아키텍처의 효율성 이점을 유지하면서 문맥 내 검색 능력을 향상시키는 범용 접근법으로서 MATCH의 다재다능함을 보여준다.
대규모 언어 모델(LLM)은 정적 솔버로서 뛰어난 성능을 발휘하지만, 이를 자율 에이전트로 전환하는 것은 여전히 어렵다. 이 전환을 위해서는 지속적인 환경 상호작용이 필요하지만, 현재의 에이전트는 필수적인 지속적 절차적 메모리가 부족하다. 기존 접근법은 주로 검색-증강 생성(RAG)을 활용하여 명시적인 텍스트 가이드라인을 모델 컨텍스트에 주입한다. 그러나 기호적 지시문에만 의존하면 텍스트-행동 불일치가 발생할 수 있으며, 올바른 태스크 수행에 필요한 내부 표현을 활성화하는 데 자주 실패한다. 이를 해결하기 위해 본 논문은 명시적 지시문 대신 암묵적 활성화 조종을 통해 에이전트 메모리를 표현하는 학습 불필요 프레임워크인 신경 절차적 메모리(NPM, Neural Procedural Memory)를 제안한다. NPM은 과거 대조 경험으로부터 절차적 기술을 증류하여 활성화 공간의 조종 벡터로 변환함으로써, 태스크 관련 신경 메커니즘을 직접 활성화하여 태스크 수행을 안내한다. 네 가지 에이전트 벤치마크에 대한 평가 결과, NPM은 명시적 텍스트 지시문을 사용하는 기준 모델과 비슷한 성능을 보인다. 또한, 암묵적 조종과 명시적 워크플로우를 결합하면 상호 보완적 이점을 제공하여 더 강건한 태스크 수행으로 이어짐을 결과가 보여준다. 표현 분석에 따르면 이러한 조종 벡터는 일관된 태스크 논리를 인코딩하며, 활성화 공간 내에 조직화된 구조를 형성한다. 이러한 발견은 암묵적 활성화 조종이 에이전트 메모리 관리를 위한 유망한 접근법임을 시사한다.
성인은 언어적 또는 문서화된 지시를 받은 후 첫 시도에서 새로운 과제를 올바르게 수행하는 경우가 많다. 이러한 빠른 지시 기반 과제 학습(RITL, rapid instructed task learning)은 인간 인지 유연성의 핵심적 특징이지만, 그 메커니즘과 인공 시스템과의 유사성은 여러 학문 분야에 걸쳐 충분히 탐구되지 않았다. 이 포지션 페이퍼에서 우리는 인간이 진화된 지시 수행 바이어스(instruction-following bias)를 보유하고 있다고 주장한다. 이는 언어적 지시를 해석하고 실행하도록 진화에 의해 형성된 귀납적 바이어스로, 언어로부터 행동의 빠른 일반화를 핵심적으로 가능하게 한다. 이 바이어스는 대규모 언어 모델(LLM)이 지시 미세조정을 활용하여 제로샷 과제 수행을 달성하는 방식과 유사하게 기능한다. 우리는 이 가설을 뒷받침하기 위해 인지과학, 신경과학, 기계학습 연구의 증거를 종합한다. AI에서의 지시 수행은 현재 특화된 학습 프로토콜을 통해 달성되는 반면, 인간에서는 선천적인 인지 아키텍처 특징으로 발생한다고 우리는 주장한다. 우리는 검증 가능한 예측들을 제시하고, 자연 및 인공 신경망 모두에서 빠른 과제 학습을 가능하게 하는 통합 메커니즘으로서의 지시 수행(Instruction-Following)을 탐구하기 위한 학제 간 연구를 촉구한다.
클라우드 API로 데이터를 전송할 수 없는 조직들은 점점 더 다음과 같은 질문을 제기하고 있다: 모델이 온프레미스에서 오픈 웨이트로 실행되어야 할 때 Text-to-SQL의 성능은 얼마나 좋은가, 그리고 널리 사용되는 정확도 "레시피" 중 어떤 것이 연산 비용 대비 가치가 있는가? 우리는 BIRD 개발 분할(n=1534, 실행 정확도(Execution Accuracy))에 대해 정직하고 완전히 재현 가능한 벤치마크로 이에 답한다. 두 세대에 걸친 세 가지 오픈 모델 패밀리—Qwen2.5-Coder (7B/14B/32B), CodeLlama-Instruct (7B/13B/34B), Llama-3.x (8B, 70B)—를 동일한 프로토콜 하에 평가하고, 모델 비의존적 레시피(스키마 링킹, 자기수정(self-correction), 자기일관성(self-consistency)) 구성 요소를 하나씩 제거하며, 모든 차이는 대응 McNemar 검정으로 검증했다. 네 가지 주요 발견이 두드러진다. (i) 세대가 단순한 크기보다 더 중요하며, 레시피는 패밀리에 걸쳐 강건하다: Qwen2.5-Coder는 동일 크기에서 구세대 CodeLlama를 압도하지만(7B에서 39.1 대 20.9), 현대적인 비Qwen 모델(Llama-3.3-70B, 동일 서빙 조건에서 49.2)은 경쟁력이 있으므로, CodeLlama의 약점은 2023년 세대를 반영하는 것이지 "비Qwen = 약함"을 의미하지 않는다. (ii) 자기수정은 강건하고 거의 비용 없는 성능 향상으로, 개선 여지가 있는 세 패밀리 모두에서 유의미하다. (iii) 스키마 링킹은 도움이 되지 않으며, 더 강력한 링커도 이를 구제하지 못한다: 골드 테이블 재현율 96.5%의 검색/임베딩 링커는 링킹을 사용하지 않는 것과 통계적으로 구분할 수 없어, 세 패밀리 모두에서 "약한 어휘 허수아비" 반론을 배제한다. (iv) 자기일관성은 가성비가 낮다(~5배 토큰 대비 +0.13 pp, 유의미하지 않음). 실제 단계별 비용(쿼리 1,000건당 달러)을 보고하고, 모든 코드, 예측 결과, 요약을 공개한다; 보관된 코드 및 데이터: https://doi.org/10.5281/zenodo.20952794
자동 프롬프트 최적화는 소규모 언어 모델을 활용한 에피소딕 퓨샷 관계 추출(relation extraction) 분야에서 아직 충분히 탐구되지 않았다. 본 연구에서는 추론 기반 프롬프트 최적화와 그래디언트 기반 프롬프트 최적화를 결합한 2단계 프레임워크를 제안한다. 첫 번째 단계에서는 임의의 추론 기반 옵티마이저를 사용하여 자연어 수준에서 광범위한 프롬프트 개선을 수행한다. 두 번째 단계에서는 손실 및 그래디언트 신호를 활용하여 영향력이 높은 프롬프트 구간을 식별하고 국소적 편집으로 이를 정제하는 GradPO를 적용한다. FS-TACRED와 FS-FewRel에 대한 실험 결과, 국소적 정제가 대부분의 경우 첫 번째 단계에서 찾은 프롬프트를 개선하며, GradPO가 가장 일관성 있는 정제기임을 보인다. 제안 프레임워크는 Qwen3-4B를 사용하여 FS-TACRED에서 최첨단 성능을 달성하고, FS-FewRel에서도 경쟁력 있는 성능을 유지한다.
장황한 컨텍스트 문제(verbose context problem)는 구조화된 개념이 토큰 비효율적인 텍스트 표현을 가질 때 발생한다. 이 병목 현상은 인구 보건(population health) 분야에서 특히 심각한데, 종단 환자 기록(longitudinal patient records)의 코호트 수준 분석은 수천 개의 의학적으로 코딩된 이벤트에 대한 추론을 필요로 하며, 총 토큰 수가 40만 개를 초과하는 경우가 많다. 우리는 종단 환자 기록 그룹에 대한 계산 태스크를 통해 이 문제를 분리하는 벤치마크인 PopMedQA를 제시한다. 이 벤치마크는 인공 환자 기록의 언어 제어 생성을 위한 새로운 라이브러리인 neopatient를 사용하여 구축하였다. 프롬프팅 전략, 프롬프트 압축, 에이전트 분해(agentic decomposition)를 포함한 광범위한 에블레이션을 통해, 도메인 독립적 방법은 장황한 컨텍스트 문제를 완화하는 데 실패함을 발견하였다. 인구 규모 추론(population-scale reasoning)을 위해 언어 모델 입력에서 도메인 특화 구조를 활용할 수 있는 상당한 기회가 여전히 남아 있다.
정보 추출(IE) 분야에서 고급 대규모 언어 모델(LLM)의 능력을 탐구하는 관심이 증가하고 있으며, 특히 개체명 인식(NER) 및 관계 추출(RE) 관련 태스크에 초점이 맞춰지고 있다. 연구자들이 LLM과 함께 문맥 내 학습(ICL)을 통한 퓨샷 정보 추출 활용을 탐구하고 있지만, 시연에 올바른 예시나 긍정적 예시만을 사용하는 경향이 있으며, 학습 과정에 잘못된 예시나 부정적 예시를 통합하는 잠재적 가치는 간과하고 있다. 본 논문에서는 문맥 내 학습 시연을 구성하기 위해 올바른 샘플과 잘못된 샘플 구성을 모두 활용하는 새로운 퓨샷 기법인 LC-ICL을 제안한다. 이 접근법은 오류 원인 레이블로 주석된 부정 샘플과 긍정 샘플을 결합하여 LLM이 개체와 관계를 추출하는 능력을 향상시킨다. 이러한 레이블은 오류 예시 내의 더 상세한 오류 특징을 드러내어, 모델이 유사한 예측이 왜 실패하는지 이해하고 추론 시 동일한 오류를 반복하지 않도록 한다. 구체적으로, 제안하는 방법은 어려운 부정 샘플과 테스트와 가장 가까운 긍정 이웃의 내재적 문맥 정보 및 가치 있는 정보를 활용한 뒤, LLM 기반의 문맥 내 학습 시연을 적용한다. 다양한 데이터셋에 대한 실험 결과, LC-ICL은 기존 퓨샷 문맥 내 학습 방법을 능가하며 광범위한 관련 태스크에 걸쳐 성능을 실질적으로 향상시킨다. 이러한 향상은 다양한 시나리오에서 우리 접근법의 범용성을 보여주는 주목할 만한 결과이다.
추론 대규모 언어 모델(LLM)은 최근 내부 추론(또는 사고)을 활용하여 해결책 생성을 유도함으로써 복잡한 문제 해결에서 괄목할 만한 발전을 이루었다. 그러나 동기강화상담(MI)을 활용하는 기존 LLM 기반 상담 에이전트는 사고를 상담 기법과 명시적으로 정렬하지 않은 채 응답을 생성하므로 그 효과가 제한된다. 우리는 MI 상담 에이전트가 전략을 선택하고 응답을 생성하도록 안내하는 치료적 사고를 생성하는 경량 사고 모델인 MIThinker를 제안한다. 주석이 달린 사고 데이터의 부재를 극복하기 위해, 우리는 관찰된 응답으로부터 상담사의 사고를 역공학적으로 추출하는 자동화 파이프라인인 AugR1-MI를 도입한다. 지도 미세조정과 강화학습을 결합한 2단계 학습을 통해 MIThinker는 향상된 마음 이론(theory-of-mind) 평가 및 전략 정렬을 보여준다. 종합적인 평가 결과, MIThinker를 활용한 우리의 에이전트 MindfulMI는 최신 시스템에 필적하는 MI 역량을 달성하면서도 연산량은 한 자릿수 수준으로 적게 사용함을 확인하였다.
우리는 각 쿼리가 밀집 로컬 윈도우와 피보나치 간격 오프셋 집합에 함께 어텐션을 적용하며, 층별 스칼라 alpha가 간격을 압축하거나 확장하는 희소 셀프 어텐션을 연구한다. 하나의 통일된 학습 레시피(6,000만 파라미터, 은닉 차원 512, 16층, 4억 2,600만 토큰)로 학습된 21개 언어 모델에 걸쳐, 깊이별로 alpha를 설정하는 네 가지 방식을 비교한다: 고정, 층별 학습, 정적 선형 엇갈림, 그리고 해당 엇갈림의 서로소(반격자) 재배정—도달 범위 맞춤 2의 거듭제곱 기준선과 함께.
세 가지 결과가 두드러진다. 첫째, 정적 층별 엇갈림은 고정 및 학습된 alpha 대비 퍼플렉시티를 개선하며, 이 이득은 베이스에 무관하다: 동일한 엇갈림을 2의 거듭제곱 베이스에 적용하면 고정 피보나치를 능가하고 학습된 피보나치 어텐션과 동등한 수준에 도달한다. 둘째, 층별 학습은 효과가 없다: 정적 스케줄을 능가하지 못하면서 추론 지연 시간을 약 5배 증가시킨다. 셋째이자 가장 중요한 결과로, 모든 희소 변형은 학습 길이의 4배까지 거의 또는 전혀 성능 저하 없이 외삽하는 반면, 동일 레시피로 학습된 밀집 기준선은 붕괴한다(4배 길이에서 퍼플렉시티 201% 상승); 이는 고정 오프셋 어텐션이 학습 중에 본 상대적 위치만 쿼리하기 때문으로 본다.
또한 두 가지 솔직한 부정적 결과도 보고한다: 학습 길이에서 최고의 희소 모델은 밀집 기준선 대비 퍼플렉시티가 약 26% 높으며, 엇갈림 이득은 장거리에 집중되지 않고 컨텍스트 위치 전반에 걸쳐 균일하다.
최근 연구에 따르면, 대규모 언어 모델(LLM)은 거짓 믿음 과제(FBT)로 측정했을 때 텍스트에 묘사된 에이전트의 믿음 상태에 민감하게 반응하지만, 구인 타당도(construct validity)에 대한 우려가 지속되고 있다. 본 연구는 **발달적 관점**을 채택하여, Olmo2와 Pythia 언어 모델 제품군의 여러 학습 단계에 걸쳐 정신 상태 추론 행동의 패턴과 이 행동의 **전제 조건**을 추적한다. 우리는 우연 수준 이상의 FBT 성능이 모델 크기와 충분한 학습량 모두에 의존하고, 사전 학습의 비교적 후반부에 출현하며, 정신화(mentalizing)를 가장 잘 진단하는 조건(False Belief, Implicit)에서 사후 학습 개입(SFT, DPO)에 의해 가장 크게 향상됨을 발견한다. 그러나 FBT 성능은 취약하다: 기존 연구와 일관되게, 비사실적 동사(예: thinks)의 사용은 True Belief 조건에서조차 거짓 믿음 귀인을 증가시킨다. 이러한 결과를 맥락화하기 위해, 우리는 **상황 모델링**, 즉 묘사된 장면의 기본적인 사실적 속성을 보고하는 능력의 출현을 추적한다. 상황 모델링 정확도는 일반적으로 FBT 정확도에 선행하며 이를 능가하지만, 상황적 표상 또한 특정 측면에서 놀랍도록 비일관적임이 드러난다: 사물의 실제 위치를 항상 알고 있는 적대자(Antagonist) 에이전트의 지식 상태에 대해 질문받을 때, Olmo2 13b는 대상(Target) 에이전트의 지식 상태와 비사실적 동사의 존재 모두에 지속적으로 영향을 받는다. 이러한 결과들을 종합하면, 충분히 학습된 대형 모델들이 발달적으로 적절한 순서로 부분적으로 일관된 상황 모델을 구축하지만 놀라운 취약성을 보임을 시사하며—이는 LLM 능력 평가를 위한 발달적 접근법과 스트레스 테스트 접근법의 가치를 부각시킨다.
기계적 해석 가능성(mechanistic interpretability)은 대규모 언어 모델(LLM)을 인간이 이해할 수 있는 계산 회로로 역공학하는 것을 목표로 한다. 그러나 사전학습된 모델의 복잡성은 특정 추론 과제에 필요한 최소 메커니즘을 종종 불분명하게 만든다. 본 연구에서는 트랜스포머에서의 상호참조(coreference) 유사 추론 연구를 위한 벤치마크인 간접 목적어 식별(IOI) 과제의 기호적 버전을 처음부터 학습하여 소규모 어텐션 전용 트랜스포머를 훈련한다. 놀랍게도, 단 두 개의 어텐션 헤드만을 가진 단일 층 모델이 MLP와 정규화 층 없이도 완벽한 IOI 정확도를 달성한다. 잔차 스트림 분해(residual stream decomposition), 스펙트럼 분석, 임베딩 개입을 통해, 두 헤드가 각각 덧셈적(additive) 및 대조적(contrastive) 서브회로로 특화되어 함께 IOI 해소를 구현함을 발견한다. 나아가, 두 층 단일 헤드 모델은 주로 쿼리-키(query-key) 상호작용을 통해 이전 층의 정보를 합성함을 보인다. 이러한 결과는 과제 특화 학습이 고도로 해석 가능한 최소 회로를 유도하며, 트랜스포머 추론의 계산적 토대를 탐구하기 위한 통제된 실험 환경을 제공함을 보여준다.
대규모 언어 모델(LLM) 에이전트를 위한 최근 벤치마크들은 주로 추론, 계획 수립, 실행 능력 평가에 집중하고 있으며, 또 다른 핵심 구성 요소인 메모리—에이전트가 장기 정보를 기억하고, 업데이트하고, 검색하는 방식을 포함하는—는 벤치마크의 부재로 인해 충분히 평가되지 못하고 있다. 우리는 메모리 메커니즘을 갖춘 에이전트를 메모리 에이전트라 칭한다. 본 논문에서는 기억 과학 및 인지 과학의 고전 이론을 바탕으로, 메모리 에이전트에 필수적인 네 가지 핵심 역량을 식별한다: 정확한 검색(accurate retrieval), 테스트 시간 학습(test-time learning), 장거리 이해(long-range understanding), 선택적 망각(selective forgetting). 기존 벤치마크들은 제한된 컨텍스트 길이에 의존하거나 책 기반 QA와 같은 정적·장문 컨텍스트 환경에 맞춰져 있어, 점진적으로 정보를 축적하는 메모리 에이전트의 대화형 멀티턴 특성을 반영하지 못한다. 또한 네 가지 역량 모두를 다루는 기존 벤치마크는 존재하지 않는다. 우리는 메모리 에이전트를 위해 특별히 설계된 새로운 벤치마크인 MemoryAgentBench를 제안한다. 본 벤치마크는 기존 장문 컨텍스트 데이터셋을 변환하고 새롭게 구성된 데이터셋을 멀티턴 형식으로 통합함으로써, 메모리 에이전트의 점진적 정보 처리 특성을 효과적으로 시뮬레이션한다. 데이터셋을 신중하게 선별하고 정제함으로써, 본 벤치마크는 위에서 제시한 네 가지 핵심 메모리 역량을 포괄적으로 다루며, 메모리 품질을 평가하기 위한 체계적이고 도전적인 테스트베드를 제공한다. 우리는 단순한 컨텍스트 기반 및 검색-증강 생성(RAG) 시스템부터 외부 메모리 모듈과 도구 통합을 갖춘 고급 에이전트에 이르기까지 다양한 메모리 에이전트를 평가한다. 실험 결과, 현재의 방법들은 네 가지 역량 모두를 완전히 습득하지 못하고 있음이 드러나, LLM 에이전트를 위한 포괄적인 메모리 메커니즘에 대한 추가 연구의 필요성을 강조한다.
LLM 기반 프롬프트 최적화는 LLM이 제공하는 "텍스트 그래디언트(textual gradients)"(피드백)를 활용해 프롬프트를 개선하는 방법으로, 자동 프롬프트 엔지니어링의 효과적인 기법으로 부상하고 있다. 그러나 학습에 더 많은 데이터를 사용할 경우 확장성과 안정성이 불분명하다. 우리는 텍스트 경사하강법에서 학습 데이터를 확장하는 것의 가능성과 도전과제를 체계적으로 조사한다. 학습 예제를 단순히 늘리는 것은 명시적인 컨텍스트 길이 제한과 암묵적인 컨텍스트 벽(context wall) — 긴 컨텍스트에서의 성능 저하로 인한 수확 체감 — 으로 인해 실현 불가능함을 보인다. 확률적 경사하강법(stochastic gradient descent)의 선행 연구에서 영감을 받아, 우리는 모멘텀 샘플링을 통해 업데이트를 재가중치화하는 모멘텀 기반 텍스트 확률적 경사하강법(TSGD-M, Textual Stochastic Gradient Descent with Momentum)을 제안한다. 이 방법은 과거 프롬프트들에 대한 중요도 가중치로 부트스트랩된 미니배치 검증 정확도를 활용한다. TSGD를 안정화하고 제한된 컨텍스트 윈도우 내에서 효과적인 스케일링을 가능하게 하기 위해, TSGD-M은 입력 컨텍스트 길이를 확장하지 않고 과거 상위 성능 프롬프트들을 동적으로 탐색함으로써 이전 프롬프트 정보를 전달한다. TSGD-M은 TextGrad, DSPy-COPRO, AdalFlow를 포함한 기존 프롬프트 최적화 프레임워크에 원활하게 통합되며, 6개의 벤치마크에서 일관된 성능 향상을 달성한다.
월드 모델은 장기 계획을 수행하는 대규모 언어 모델(LLM) 에이전트에게 선견 능력, 즉 행동 실행 전 결과를 예측하는 능력을 부여하는 원칙적인 방법을 제공한다. 그러나 신뢰할 수 없는 선견은 무시되거나 오용되거나 하위 의사결정을 오히려 저하시킬 수 있다. 본 논문에서는 하위 에이전트와 모든 모델 파라미터를 동결한 채로 배포 시점의 컨텍스트를 수정하는 자기 진화 월드 모델 프레임워크 WorldEvolver를 소개한다. WorldEvolver는 세 가지 모듈을 통합한다: (i) 검색 기반 시뮬레이션을 통해 실제 행동 전이를 활용하는 에피소딕 메모리(Episodic Memory), (ii) 예측-관찰 불일치로부터 지속적인 휴리스틱 규칙을 추출하는 시맨틱 메모리(Semantic Memory), (iii) 낮은 신뢰도의 예측을 에이전트 추론 컨텍스트에 통합하기 전에 필터링하는 선택적 선견(Selective Foresight). ALFWorld와 ScienceWorld에서 WorldEvolver를 평가하며, Word2World에서 월드 모델 예측 정확도와 AgentBoard에서 하위 에이전트 성공률을 측정한다. 광범위한 실험을 통해 WorldEvolver가 세 가지 백본에 걸쳐 가장 높은 예측 정확도를 달성하고 하위 에이전트 성공률에서 다른 월드 모델 베이스라인을 앞서며, 테스트 시점 메모리 수정이 예측 충실도와 계획 성능 모두를 향상시킴을 보인다.
사회과학 및 행동과학 전반의 정량적 연구는 비용이 많이 들고, 속도가 느리며, 표본 바이어스에 취약한 인간 피험자 실험에 의존한다. 본 논문에서는 사전학습된 대규모 언어 모델(LLM)이 제곱 손실 하에서 조건부 기댓값의 위험 동등 추정량을 유도함을 보이며, 제한적 함수적 위험 동등성을 확립한다: 제곱 손실 하에서, LLM은 조건부 평균을 통해서만 데이터에 의존하는 임의의 추론에 대해 조건부 기댓값의 제곱 손실 예측에 대한 베이즈 최적 위험과 일치하는 위험을 가진 추정량을 유도한다. 우리는 LLM을 i.i.d. 데이터로 학습된 잘못 명세된 함수적 추정량 $T(\hat{P}_n)$으로 형식화하고, 추정 오차를 표현 바이어스 $ε_{\mathrm{rep}}$와 최적화 오류로 분해하며, 완화된 정규 조건 하에서 LLM의 기대 오차가 환원 불가능한 모집단 분산과 제곱 표현 바이어스의 합으로 수렴함을 증명한다. 표현 바이어스는 핀스커 부등식에 의해 상계가 주어진다. 식별 가능성 오류 $δ$는 유효 바이어스로 전파되어 점근적 위험 하한을 높인다. 우리는 양방향 르 캄 결핍 분석을 통해 제한적 함수적 위험 동등성을 확립한다: 전방 결핍은 점근적으로 소멸하는 반면 역방향 결핍은 정확히 0이다. 유한 표본 집중 경계와 명시적 의사 결정 규칙을 갖춘 보정 프로토콜을 제공한다. 결과는 정확하고 증명 가능한 진술이다: 잘 보정된 LLM은 명시적 범위 조건에 의해 경계가 주어지는 조건부 평균 의존 추론에 대해 베이즈 최적 위험을 달성한다. 실제 응용에서 이는 조건이 충족되고 모델이 잘 보정된 경우, 대규모 언어 모델이 원래 인간 실험에 의존하던 많은 예측 및 의사 결정 과제에서 낮은 비용으로 거의 최적의 통계적 추론을 근사하며 활용될 수 있음을 의미한다.