멀티모달 대규모 모델은 웹 에이전트의 발전을 크게 촉진하여, 인간 인지와 유사한 방식으로 디지털 환경을 인식하고 상호작용할 수 있게 했습니다. 본 논문에서 우리는 웹 에이전트가 인지 추론에 효과적으로 참여하기 위해 먼저 충분한 지식을 획득해야 한다고 주장합니다. 이에 따라 웹 에이전트의 역량을 두 가지 핵심 단계인 지식 콘텐츠 학습(knowledge content learning)과 인지 프로세스(cognitive processes)로 분해합니다. 이를 형식화하기 위해 Web-CogKnowledge Framework를 제안하며, 지식을 사실적(Factual), 개념적(Conceptual), 절차적(Procedural) 유형으로 분류합니다. 이 프레임워크에서 지식 콘텐츠 학습은 에이전트의 암기(Memorizing) 및 이해(Understanding) 프로세스에 해당하며, 앞의 두 지식 유형에 의존하여 학습의 "무엇(what)"을 나타냅니다. 반대로 인지 프로세스는 절차적 지식에 기반한 탐색(Exploring)에 해당하며, 추론과 행동의 "방법(how)"을 정의합니다. 지식 획득을 촉진하기 위해 14개의 실제 웹사이트에서 수집한 구조화된 리소스인 Web-CogDataset을 구축하였으며, 이는 웹 에이전트에게 필요한 핵심 지식을 체계적으로 주입하도록 설계되었습니다. 이 데이터셋은 이해가 구축되는 "명사(nouns)"로서 에이전트의 개념적 그라운딩 역할을 하며, 추론 및 행동 방법 학습의 기반이 됩니다. 이 기반 위에서 우리는 새로운 지식 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론 프레임워크를 통해 이러한 프로세스를 구현하고, 제안된 에이전트인 Web-CogReasoner를 개발 및 학습시킵니다. 광범위한 실험을 통해 기존 모델 대비 현저한 우월성이 드러났으며, 특히 구조화된 지식이 결정적인 역할을 하는 미지의 태스크에 대한 일반화에서 두드러집니다. 엄격한 평가를 가능하게 하기 위해, 정의된 지식 도메인과 인지 역량 전반에 걸쳐 에이전트 성능을 평가하고 비교하도록 설계된 종합 평가 스위트인 Web-CogBench를 도입합니다. 코드와 데이터는 https://github.com/Gnonymous/Web-CogReasoner 에서 오픈소스로 공개되어 있습니다.
우리는 가중치 업데이트 없이 대규모 언어 모델(LLM)의 퓨샷 적응을 크게 향상시키는 간단하고 효과적인 방법인 컨텍스트 튜닝(Context Tuning)을 소개한다. 문맥 내 학습(ICL)은 단일 순전파에서 시연(demonstration)들의 메모리 표현을 형성하지만, 표현이 불충분할 경우 이를 개선할 수 없다. 프롬프트 기반 방법은 학습 가능한 프롬프트 또는 접두 문맥을 최적화함으로써 경량 적응을 제공하지만, 시연과 무관하게 초기화된다. 이와 달리, 컨텍스트 튜닝은 모델의 고유한 ICL 능력을 활용하여 시연으로부터 학습 가능한 메모리 표현을 초기화한 뒤, 그래디언트 기반 최적화를 통해 이를 정제한다. CrossFit, UnifiedQA, MMLU, BIG-Bench Hard, ARC 등의 벤치마크에 대한 광범위한 평가 결과, 컨텍스트 튜닝은 ICL과 기존 프롬프트 기반 적응 방법 모두를 능가하며, 훨씬 높은 학습 효율로 테스트 시간 학습(Test-Time Training)과 경쟁력 있는 정확도를 달성함을 보인다.
온라인 허위 정보의 급증과 함께, 자동 팩트체킹(AFC) 시스템으로서의 대규모 언어 모델(LLM)과 추론 대규모 언어 모델(RLM)이 신뢰할 수 있고 설명 가능한 검증을 위한 주요 패러다임으로 부상하고 있다. 그러나 본 연구의 실증적 분석에 따르면, 이 패러다임은 자원 제약 환경의 실세계 배포 시 심각한 위험 비대칭 문제에 직면한다. 사회적 영향력에 따라 추론 자원을 동적으로 배분하는 능력인 핫스팟 인식 능력(HPA, Hotspot Perception Ability)이 이 위험을 완화하는 데 필수적임에도 불구하고, 기존 벤치마크는 이러한 긴급한 평가 수요를 충족할 소셜 메타데이터와 평가 프레임워크를 갖추지 못해 AFC 시스템의 발전을 저해하고 있다. 이 격차를 해소하기 위해, HPA 및 세 가지 팩트체킹 태스크를 평가할 수 있는 최초의 벤치마크인 TrendFact를 제안한다. TrendFact는 트렌딩 플랫폼과 전문 데이터셋에서 수집한 7,643개의 엄선된 샘플과 366,634개의 항목으로 구성된 증거 라이브러리로 이루어진다. HPA 평가를 가능하게 하기 위해, 검증 추론의 신뢰성을 평가하는 설명 일관성 점수(ECS, Explanation Consistency Score)와 AFC 시스템의 전반적인 HPA를 정량화하는 핫스팟 주장 인식 지수(HCPI, Hotspot Claim Perception Index)라는 두 가지 새로운 지표를 제안한다. 광범위한 실험을 통해 기존 AFC 시스템이 TrendFact에서 제한적인 성능을 보임을 확인하였다. 나아가, 제안하는 FactISR 프레임워크는 RLM 기반 AFC 시스템의 HPA와 계산 효율성을 효과적으로 향상시킨다.
대규모 멀티모달 모델(LMM)은 강력한 퓨샷 일반화 능력을 보이지만, 결함이 작고 입력 해상도가 제한되며 텍스트 기준이 항상 시각적 증거에 근거하지 않기 때문에 산업 이상 탐지는 여전히 어렵다. 최근 최적화 기반 방법들은 미세조정을 통해 정렬을 개선하지만, 초기 배포 단계에서는 확보하기 어려운 다수의 불량 샘플을 필요로 하는 경우가 많다. 우리는 참조 기반 멀티모달 문맥 내 검증을 위한 학습 불필요 프레임워크인 Global Logic and Local Search(GLLS)를 제시한다. GLLS는 Part-Aware Visual-Logical Atlas를 사용하여 추론 컨텍스트 내에서 정상 참조와 구조화된 사양을 구성한다. 이 프레임워크는 SAM 3가 부분적으로 검증 가능한 시각적 사실을 추출하는 전역 및 논리 스트림(Global & Logic Stream)과, MCTS가 고정된 예산 내에서 지역 증거 크롭을 선택하는 세밀도 및 액션 스트림(Fine-Grained & Actions Stream)을 결합한다. MMAD-QA 및 추가 이상 탐지 데이터셋에서의 실험 결과, 매칭된 베이스라인과 범용 베이스라인 대비 일관된 성능 향상을 보이며, 검사 추적 전반에 걸쳐 최종 진단 결정을 명시적인 시각적 증거로 추적 가능하게 유지한다.
비전-언어 모델은 매개변수 업데이트 없이 문맥 내 학습(ICL)을 통해 새로운 작업을 수행할 수 있으며, 그 핵심 메커니즘은 작업 유도를 위한 서포트 셋 활용이다. 표준 ICL 설정에서는 작업이 유도되면 그 결정 기준이 고정된다. 그러나 실제 응용에서는 많은 작업이 안정적인 고수준 의도를 유지하면서도 특정 요구 사항에 따라 결정 기준이 달라지는 경우가 많다. 이에 우리는 기준 조건부 문맥 내 학습(CC-ICL)이라는 새로운 설정을 도입한다. 이 설정에서 모델은 고정된 작업 의미 하에 문맥으로부터 잠재 기준을 추론하고 그에 맞게 예측을 조정해야 한다. 이 능력을 평가하기 위해 우리는 기준 불변성(Criterion Invariance)과 기준 민감성(Criterion Sensitivity)이라는 두 가지 상호 보완적 지표를 제안하여, 기준 변화 하에서 모델의 강건성과 적응성을 측정한다. 또한 CC-ICL 설정에서의 평가를 지원하는 다중 도메인 벤치마크인 CC-Bench를 구축한다. CC-Bench는 이중 수준 데이터 계층 구조를 채택함으로써, 작업이 고정된 상태에서도 활성 기준에 따라 정당한 정답 변화를 가능하게 한다. CC-Bench에서의 실험 결과, 대부분의 모델이 경직된 경계 바이어스를 보이며 잠재 기준에 맞게 결정을 조정하는 데 어려움을 겪는 것으로 나타났다. 또한 단순한 다중 기준 학습 전략만으로도 이 바이어스를 크게 줄여 기준 민감성을 향상시킬 수 있으며, 7B 규모 모델이 일반적인 멀티모달 성능을 저하시키지 않고 독점 모델을 능가할 수 있음을 발견하였다.
최근 LLM 에이전트는 점점 더 장기적이고 개방형 태스크를 처리하며, 에이전트에 제공되는 재사용 가능한 절차적 지식인 외부 스킬이 이 능력을 더욱 확장한다. 그러나 고정된 수작업 스킬은 최적이기 어렵고, 에이전트가 마주하는 다양한 태스크에 적응할 수 없다. 자기 개선 에이전트는 실행 트레이스로부터 자신의 스킬 파일을 재작성함으로써 이 문제를 해결하며, 어려운 벤치마크에서 의미 있는 성능 향상을 달성한다. 그러나 이러한 자기 진화는 비재귀적으로, 태스크 스킬(에이전트가 무엇을 하는가)만 개선할 뿐, 개선 절차(어떻게 개선하는가) 자체는 한 번 작성된 채 고정된다. 우리는 에이전트의 스킬 개선을 재귀적으로 만드는 이중 시간 척도 프레임워크인 MetaSkill-Evolve를 제안한다. 각 브랜치는 태스크 스킬 $s$와, 개선 파이프라인의 Analyzer, Retriever, Allocator, Proposer, Evolver 에이전트를 매개변수화하는 다섯 가지 구성 요소 $m=(ψ,σ,α,π,\varepsilon)$로 이루어진 브랜치 로컬 메타-스킬을 함께 보유한다. 태스크 스킬은 빠른 루프에서 진화하고, 메타-스킬은 동일한 파이프라인이 자기 자신에게 적용되는 느린 루프에서 진화하며, 추가적인 모델이나 목적 함수는 필요하지 않다. 다섯 가지 파이프라인 에이전트가 단일 고정 백본을 공유하는 환경에서, MetaSkill-Evolve는 세 가지 에이전트 벤치마크(OfficeQA, SealQA, ALFWorld)에서 스킬 없음, 정적 스킬, 단일 수준 진화 기준 모델을 능가하며, 원시 백본 대비 보류 테스트 정확도를 각각 +23.54, +16.09, +1.92 포인트 향상시킨다.
장기 수평 대규모 언어 모델(LLM) 시스템에서 에이전트 자기 진화는 대체로 절차적 성격을 띤다. 즉, 유용한 경험은 단순히 저장된 정보가 아니라 검색, 디버깅, 검증을 위한 재사용 가능한 절차다. 그러나 현재의 평가 방법은 이러한 형태의 전이를 분리하여 측정하지 못한다. 에이전트 벤치마크는 단일 에피소드 태스크 해결을 평가하고, 메모리 벤치마크는 절차적 재사용보다 정보 보존을 목표로 한다. 우리는 웹 리서치, 알고리즘적 추론, 소프트웨어 공학, 지식 업무의 네 가지 에이전틱 도메인에 걸쳐 능력(Ability) 기반 전이를 통한 에이전트 자기 진화 벤치마크인 EvoAgentBench를 소개한다. EvoAgentBench는 에이전트 실행으로부터 트레이스에 근거한 능력을 추출하고, 이를 운영 단위로 표준화하며, 절차적 중첩을 공유하는 태스크를 연결하는 도메인별 능력 그래프(Ability Graph)를 구축한다. 설계상 모든 테스트 태스크는 검증된 학습 측 능력 지원을 기반으로 한다. 528/267의 학습/테스트 분할, 두 가지 스캐폴드, 세 가지 백본에 걸쳐, 정제된 능력 콘텐츠는 모델 패밀리 간에 신뢰롭게 전이되지만, 현재의 어떤 자동화 방법도 모든 환경에서 지속적인 성능 향상을 유지하지 못한다. EvoAgentBench는 자기 진화 평가를 집계 정확도 비교에서 경험 인코딩, 라우팅, 흡수에 대한 세밀한 진단으로 전환한다. 벤치마크는 https://huggingface.co/datasets/EverMind-AI/EvoAgentBench에서 공개적으로 이용 가능하다.
언어 에이전트, 즉 LLM 에이전트는 빠르게 발전하고 있으며 프로덕션 환경에 점점 더 많이 배포되고 있다. 이러한 추세는 엄격하고 현실적인 평가의 시급한 필요성을 부각시킨다. 그러나 기존 벤치마크의 대부분은 단순화되고 이상화된 환경에서 에이전트를 평가한다. 이들은 일반적으로 미리 패키징된 도구 인터페이스에 의존하고, 중요한 단계를 간과하며, 입력이 깔끔하고 완전히 명세되어 있다고 가정한다. 결과적으로, 불확실성과 노이즈가 만연하고 에이전트가 새로운 도구를 발견하기 위해 능동적으로 환경을 탐험해야 하는 실제 배포의 어려움을 과소평가한다. 이 격차를 해소하기 위해, 우리는 실세계 엔드투엔드 작업 요구에 기반한 태스크 인스턴스를 갖춘 새로운 평가 프레임워크인 AgentGym2를 제시한다. 추론 및 계획을 넘어, 엔드투엔드 절차 실행 능력, 탐험을 통한 도구 발견 능력, 미지의 태스크에 대한 도구 조합 능력, 그리고 노이즈가 있거나 불완전하게 명세된 정보에 대한 강건성을 측정한다. 15개의 독점 및 오픈소스 모델에 대한 실험 결과, Gemini와 GPT-5 같은 최첨단 시스템조차 AgentGym2에서 어려움을 겪으며, 현재 에이전트의 능력과 실세계 애플리케이션의 요구 사이에 상당한 격차가 있음을 보여준다.
장기 실행 AI 에이전트는 상호작용 전반에 걸쳐 연속성을 필요로 하지만, 연속성은 단순히 프롬프트 윈도우를 확장하는 것만으로는 확보할 수 없다. 에이전트는 유용한 과거 경험을 보존하고, 선택적으로 검색하며, 개인적 맥락을 외부 증거와 구별하고, 기저 상황이 변화할 때 메모리를 수정할 수 있어야 한다. 우리는 두 직교 축을 따라 구성된 아키텍처적 메모리 기반을 제안한다: 구조화된 레코드, 벡터 표현, 그래프 관계에 걸친 표현 축과 단기 추적, 중기 추상화, 장기 의미론적 커밋에 걸친 시간 축이다. 핵심 설계 제약은 동기화된 구조-벡터-그래프 메모리로, 구조화된 레코드는 적격성을 결정하고, 벡터 표현은 회상을 지원하며, 그래프 관계는 게이트된 컨텍스트 프로젝션 이전에 지지, 모순, 대체를 판정한다. 중심 주장은 신뢰할 수 있는 개인화가 메모리 설계 문제라는 것이다: 유용한 메모리는 미분류 대화 기록으로 저장되는 것이 아니라, 구조화되고 선택적으로 노출되며 지속적으로 통합되고 인식론적으로 레이블된다. 프레임워크를 넘어, 우리는 구조화된 레코드, 벡터 검색, 시간적 정책, 그래프 기반 수정을 구현하는 경량 프로토타입으로 MRMS를 구체화한다. 이 프로토타입은 명시적인 증거 요건을 갖춘 제어된 장기 상호작용 시나리오에서 생성 전 메모리 선택, 수정, 경계 강제, 증거 귀인을 통해 핵심 기반 메커니즘을 실증한다.
평생 에이전트(lifelong agent)는 더 큰 컨텍스트 윈도우와 더 나은 검색 이상의 것을 필요로 한다. 에이전트에게는 매 턴마다 서빙 스택이 동일한 히스토리를 재연산하도록 강제하거나 오래된 런타임 상태를 무음으로 재사용하지 않고도, 지속되고 진화하며 수정될 수 있는 메모리가 필요하다. 우리는 PLACEMEM을 평생 에이전트 메모리에 관한 시스템 포지션으로 제시하며, 실행 가능한 제어 플레인 프로토타입으로 구체화한다. 핵심 주장은 에이전트 메모리가 의미론, 출처, 유효성, 그리고 재사용 가능한 런타임 상태를 단일 수정 인식 식별자 아래 통합하는 버전 관리 캡슐(versioned capsule)로 표현되어야 한다는 것이다. 현재 프로토타입에서 캡슐은 프롬프트 수준 텍스트 검색, KV 인식 라우팅, 그리고 라이브 스트리밍 백엔드에 대한 연쇄 무효화(cascading invalidation)를 구동한다. 전망적 층-프런티어 재생(prospective layer-frontier replay)은 주장된 엔진 기능이 아닌 심층 통합 과제로 의도적으로 구성된다. 우리는 영속적 캡슐 상태, 동시성 안전 무효화, OpenAI 호환 라우팅 사이드카, 타입 지정 메타데이터 계약, 그리고 라이브 첫 번째 토큰 지연 시간, 재사용, 수정 후 동작을 측정하는 벤치마크 하네스를 갖춘 vLLM 우선 프로토타입을 설명한다. 결과물은 오늘날 수정 인식 제어 플레인 동작을 시연하는 실행 가능한 아티팩트이자, 미래 평생 에이전트 시스템에서 재생 인식 서빙 통합을 위한 구체적인 로드맵이다.
대규모 언어 모델(LLM) 에이전트는 장기 대화형 태스크에서 강력한 의사결정 능력을 보여왔지만, 실패한 궤적을 효과적으로 활용하는 데 여전히 어려움을 겪는다: 전체 재시도는 높은 상호작용 비용을 초래하고, 경험 검색은 중요한 경험 신호를 희석시키는 경향이 있다. 이를 해결하기 위해, 우리는 LLM 에이전트의 경험 활용을 위한 자기 피드백 재시도 프레임워크인 PivoARL을 제안한다. PivoARL은 구조화된 반성을 통해 핵심 오류 턴을 식별하고 해당 핵심 상태에서만 로컬 재시도를 수행함으로써, 올바른 접두 문맥을 재사용하고 불필요한 상호작용을 줄인다. 정보 이득 관점에서, 우리는 핵심 재시도가 오류 경계 근처에 유용한 경험 신호를 집중시켜 상태 무관 경험 활용으로 인한 신호 희석을 완화함을 추가로 보인다. 이러한 통찰을 바탕으로, 올바른 접두 문맥에 보상을 부여하는 동시에 오류 있는 접미 문맥을 분리하는 핵심 인식 크레딧 할당 메커니즘을 설계하고, 암묵적 반성 반환을 통해 반성 품질을 최적화한다. 우리는 4개의 에이전트 태스크와 7개의 검색 기반 QA 벤치마크에서 체계적인 평가를 수행한다. 결과는 PivoARL이 모든 태스크에서 Pass@2/3에 걸쳐 유의미한 향상을 달성하며, MetaRL 대비 평균 약 11.5% 향상됨을 보여준다. 나아가, 핵심 턴에 의해 유도된 대조적 선호 신호의 이점으로, PivoARL은 80% 이상의 태스크에서 Pass@1 또한 일관되게 향상시킨다. Minesweeper 환경에서 PivoARL은 GiGPO 대비 45% 이상 향상되고, 전체 재시도 방법에 비해 평균 약 42% 상호작용 턴을 줄인다. 코드는 https://github.com/yuki-younai/PivoARL 에서 확인할 수 있다.
대규모 언어 모델(LLM)은 학습에서 개인화된 지원을 제공할 수 있지만, 교육 분야에서의 활용에 대한 우려를 제기한 연구들이 다수 존재한다. 중요한 점은, 학습 효과가 학생이 LLM과 상호작용하는 방식에 달려 있다는 것이다. 본 연구는 두 가지 유형의 LLM 기반 튜터가 학생의 프롬프트 작성 방식, 학습, 그리고 이후의 LLM 활용에 어떠한 영향을 미치는지 분석하였다. 대상 튜터는 대화식 질문을 통해 상호작용을 구조화하는 소크라테스식 안내(Socratic-Guidance, SG) 튜터와, 효과적인 프롬프트 작성을 유도하는 프롬프트 개선(Prompt-Refinement, PR) 튜터이다. 연구는 대학원 수준의 모바일 로보틱스 강좌에서 2단계로 진행되었다. 1단계에서는 66명의 학생이 6주간의 중재 기간 동안 SG 또는 PR 튜터를 사용하였고, 2단계에서는 52명의 학생이 3주간의 강좌 프로젝트에서 제약 없는 LLM을 사용하였다. 결과에 따르면, SG 튜터와 PR 튜터는 안내된 사용 기간 동안 과제 수행 및 프롬프트 작성 패턴에서 유사한 결과를 보였으나, 학습 성과와 이후 LLM 활용 방식에서는 차이를 보였다. SG 집단 학생들은 PR 집단 학생들에 비해 후반 세션에서 더 높은 학습 향상도를 달성하였으며, 제약 없는 LLM을 사용할 때 이해 지향적 프롬프트 전략을 채택할 가능성이 높았고, 이는 높은 이해도를 예측하는 요인이었다. 학습자들은 SG 튜터를 덜 효율적이라고 인식하였음에도 불구하고, 본 연구의 결과는 소크라테스식 안내가 시간이 지남에 따라 학생이 LLM을 활용하여 학습하는 역량을 발달시키는 데 기여함을 시사하며, LLM 튜터 설계에서 이의 중요성을 강조한다.
초전도 트랜스몬 칩의 캘리브레이션은 노이즈, 드리프트, 그리고 제한된 예산 하에서의 순차적 의사결정 문제이다: 전문가는 실험을 선택하고, 모호한 플롯을 읽고, 피팅 품질을 판단하며, 칩이 드리프트함에 따라 오래된 믿음을 수정해야 한다. 우리는 비전-언어(vision-language) 에이전트가 세 가지 공동 설계 아티팩트를 통해 가중치 업데이트 없이 이 루프를 완결하고 하나의 물리적 장치에 스스로 특화될 수 있는지 연구한다. 첫 번째는 트랜스몬 칩을 위한 물리 기반 시뮬레이션 환경이다: 캘리브레이션 관측값은 scqubits를 통해 회로 양자화 파라미터에서 도출되며, 현실적인 플럭스 라인 왜곡, 실제 경과 시간 기반 및 스캔 중 드리프트, 게이트 누설을 포함하는데—이는 장난감 시뮬레이터라면 생략했을 요소들이다; 각 도구 호출은 모델화된 클록을 진행시켜 드리프트가 호출 횟수가 아닌 실제 경과 시간에 따라 누적된다. 두 번째는 루프를 종단 간으로 실행하는 비전-언어 에이전트로, 도구를 호출하고, 플롯을 읽고, 구조화된 노트북을 유지하며, 숨겨진 실측값 없이 파라미터를 제출하고, 장치에서 측정된 숨겨진 파라미터 및 게이트 충실도에 대해 점수를 받는다. 세 번째는 그래디언트-프리 온라인 적응이다: 리플렉터가 과거 시도에서 실측값 없는 이상 징후 시그니처를 읽어 프롬프트에 추가되는 소규모의 인간 가독 장치 노트를 생성하며, 이는 드리프트로부터 전략 개선을 격리하는 쌍 스냅샷 수락 게이트에 의해 승인된다. 예산 압박 하의 고난도 칩에서 6번의 반복으로 최악의 경우 CZ 충실도가 0.678에서 0.787로 향상되고 분산이 감소하였으며, 4-큐비트 규모에서도 재현되었다; 단일 수락된 노트로 쌍 스냅샷에서 CZ 충실도가 0.678에서 0.913으로 향상되었다. 삽입 결함 연구를 통해 해당 노트가 인과적임이 확인되었으며, 실측값 없이 하드웨어 결함을 진단하고, 핵심 가치는 실패 하한을 높이고 분산을 줄이는 것임을 보인다. 에이전트, 점수 산정, 보상은 측정 백엔드 교체를 통해 실제 하드웨어로 전이된다; 수락 게이트만이 시뮬레이션 어포던스로, 홀드아웃 슬라이스 또는 반복-평균 형태로 축소된다.
대규모 언어 모델(LLM) 에이전트는 축적된 경험을 통해 성능을 향상시킬 수 있지만, 상호작용이 증가함에 따라 자유 형식의 텍스트 기반 메모리는 유지·검증·재사용이 어려워진다. 최근의 심볼릭 접근법들은 실행 가능한 스킬이나 프로그래밍 방식의 월드 모델을 학습하지만, 로컬 프로시저만을 저장하거나 단순화된 동역학을 가정하는 경우가 많다. 우리는 경험을 실행 가능한 객체 중심 환경 모델로 구조화하는 객체 중심 환경 모델링(OCM, Object-Centric Environment Modeling)을 제안한다. OCM은 두 개의 연결된 코드베이스를 유지한다: 환경 엔티티와 메커니즘을 Python 클래스로 정의하는 객체 지식(object knowledge)과, 객체 모델을 임포트하고 사용해야 하는 재사용 가능한 상호작용 패턴을 기록하는 프로시저 지식(procedure knowledge)이다. OCM은 온라인 설정에서 동작한다: 각 에피소드 이후 궤적을 반성하고, 두 지식 베이스를 모두 업데이트하며, 업데이트된 객체 모델에 대해 모든 프로시저가 실행됨을 검증한다. 이후 상호작용 시 에이전트는 점진적 지식 공개(progressive knowledge disclosure)를 활용하여 먼저 간결한 코드 시그니처를 검사하고 필요할 때만 소스 코드를 읽는다. 실험 결과, OCM은 벤치마크 전반에 걸쳐 최고의 평균 순위를 달성하고 유효하지 않은 행동을 줄였으며, 이를 통해 에이전트가 객체 중심 환경 모델을 구축함으로써 이점을 얻을 수 있음을 입증한다.
부분 관측 환경에서 동작하는 강화학습 에이전트는 불완전한 정보를 기반으로 행동해야 하므로, 광범위한 추론 사전 지식을 보유한 소형 언어 모델(SLM)의 안내를 받기에 자연스러운 후보이다. 그러나 이 환경에 SLM 안내를 통합하는 것은 어렵다는 것이 밝혀졌다: 모든 테스트 환경에서 일반적인 불확실성 게이팅 방식은 덮어쓰기 비율(overwrite rate)이 0에 가깝거나 0을 기록하여, SLM이 독립적인 행동을 거의 기여하지 못한다. 우리는 이 실패의 원인을 진정한 추론을 위한 컨텍스트가 부족한 자기중심적 프롬프트에서 찾아내며, 이를 용량 문제가 아닌 컨텍스트 문제로 규명한다. 우리는 ASK+를 제안하는데, 이는 SLM에 궤적 인식 컨텍스트(부분적으로 공개된 지도, 방문 위치, 행동 이력)와 구조화된 사고의 연쇄(Chain-of-Thought) 추론을 제공하여, SLM을 수동적인 중복 검사 도구에서 정책을 때때로 교정하는 더 유익한 컨설턴트로 전환한다. 또한 선택적 질의에 사용되는 예측 엔트로피 신호가 상태 불확실성이 아닌 행동 불확실성을 측정하며 부분 관측 마르코프 결정 과정(POMDP)에서도 정보적 가치를 유지한다는 점을 규명하여, 완전 관측 환경을 넘어 불확실성 게이팅 보조가 실행 가능함을 보인다. 상태 보존 프롬프트는 상당한 성능 향상을 이끈다: DoorKey에서 일반 ASK가 PPO와 동일한 성공률(둘 다 89%)을 기록하는 반면 ASK+는 93%에 도달하고, FourRooms에서는 성공률이 53%에서 70%로 상승하며, HigherLower에서는 정확도가 73.7%에 달해 SLM 단독 상한선과 일치한다. 모든 환경에서 Qwen3.5-2B는 Qwen3.5-4B와 동등하거나 이를 능가하여, 프롬프트 설계와 선택적 게이팅이 모델 스케일의 영향보다 우세함을 확인하며, 대형 모델 없이도 안내가 가능함을 보여준다.
Rewriting inputs to improve frozen downstream models has become a common strategy in modern NLP pipelines. Prior work on incremental dialogue discourse parsing (DDP) shows that supervised clarification models can rewrite fragmentary or underspecified utterances, such as resolving ellipsis or references, to improve parsing accuracy. In this work, we revisit this idea under realistic deployment conditions, where no clarification supervision is available and the clarifier must rely on zero-shot prompting or feedback from a frozen parser. Across three Segmented Discourse Representation Theory (SDRT) datasets and multiple parsers, we find that last-utterance clarification is far less reliable than suggested by supervised settings. Parser-agnostic rewriting often introduces more regressions than repairs, as edits that enable fixes also disrupt discourse cues relied upon by the parser. A best-of-8 rewriting analysis further reveals a practical ceiling: a large fraction of errors are not repairable through input rewriting alone. A parser-aware clarifier trained with GRPO reduces regressions by up to 37% by learning conservative abstention, yet still fails to produce selectivity-aware clarifications that consistently improve parsing. Together, these findings recast clarification as a selective intervention problem. We identify rewritability prediction, deciding whether an utterance is repairable before intervention, as the key missing capability for input-side optimization of frozen discourse parsers, and a critical direction for improving agentic pipelines more broadly.
Language models (LMs) raise an intriguing alternative to vector-based retrieval: conditioning on an in-context corpus and directly generating a relevant answer. However, prior work has largely focused on proprietary systems or the smaller-scale reranking task, leaving corpus-scale in-context retrieval largely unexplored. In this work, we present the first systematic study of in-context retrieval on two scales practical retrievers demand: million-token corpora and length-generalization far beyond training-time sizes. We first introduce BlockSearch, a 0.6B LM retriever whose architectural and training modifications improve over prior LM baselines and length-generalize up to 10 times beyond its training regime. Nevertheless, retrieval still collapses under more extreme extrapolation. We trace this failure to an attention dilution effect: as the corpus grows, irrelevant documents dominate the softmax denominator, reducing the normalized mass on the gold document even when its pre-softmax score stays high. Motivated by this analysis, we introduce length-aware adjustments to the attention softmax and document-level sparse attention. With these modifications, at the million-token scale, our model matches dense retrieval on widely studied benchmarks (e.g, MS MARCO and NQ), while outperforming the concurrent model MSA despite being 7 times smaller. Furthermore, it significantly outperforms dense retrieval on tasks requiring entirely different notions of similarity, such as LIMIT, achieving a 3 times higher score. Together, our results position in-context retrieval a promising alternative to classical retrieval while emphasizing attention control under extreme context growth as a new challenge.
RuleChef는 텍스트 분류, 개체명 인식(NER), 관계 추출 등 자연어 처리(NLP) 작업을 위해 대규모 언어 모델(LLM)이 학습 시점에만 관여하여 실행 가능한 규칙을 자동 생성하고, 인간 피드백과 반복적 패치를 통해 이를 개선하는 프레임워크다. 추론 시에는 LLM 없이 결정론적 규칙만으로 동작하여 빠르고 투명한 시스템을 구현하며, 텍스트 분류 및 NER 실험에서 프롬프팅 기반 방식과 신경망 기반 추출기에 대응하는 성능을 보인다.
Large language models (LLMs) are increasingly used by end users, yet existing personalization methods relying on static profiles or text-only signals fail to capture query-specific expertise variation. We present ExPerT, a query-wise personalization framework that adapts LLM responses to users' query domain expertise by combining semantic and behavioral cues. ExPerT consists of two key components: (i) a semantic-behavioral expertise inference module that jointly interprets query text and keystroke dynamics via in-context LLM prompting, and (ii) an expertise-conditioned response generation that adapts the level of detail, terminology, and conceptual complexity. Our user study with 40 participants and 1270 queries demonstrated that ExPerT reduced expertise inference error by 65.7% compared to the strongest baseline (MAE = 0.398 vs. 1.162) and improved response satisfaction by 17.52% (from 3.71 to 4.36) on a 5-point Likert scale.
사전학습(pre-training) 단계에서 잠재 공간(latent space)의 반복 연산을 통해 추론 능력을 내재화하는 루프 언어 모델(LoopLM) 계열 Ouro를 제안하며, 엔트로피 정규화 기반 적응적 깊이 할당 기법으로 7.7조 토큰 규모까지 학습시켰다. Ouro 1.4B·2.6B 모델은 최대 12B SOTA 대규모 언어 모델(LLM)에 필적하는 성능을 달성했으며, 이 성능 향상이 지식 저장 용량 증가가 아닌 다중 단계 추론 등 지식 조작(knowledge manipulation) 능력의 향상에서 비롯됨을 실험적으로 규명했다.