Randomized YaRN은 YaRN 기반 위치 외삽, 무작위 위치 인코딩, 길이 커리큘럼을 결합해 짧은 컨텍스트 학습 중에도 더 긴 범위에서 샘플링한 위치 인코딩으로 분포 밖(OOD) 위치 표현에 모델을 노출시켜 긴 컨텍스트 추론의 길이 일반화를 높인다. 8K 미만 컨텍스트 데이터로 학습해도 BABILong과 MRCR에서 16K–128K 길이의 추론 성능이 일관되게 향상되어 표준 미세조정(fine-tuning)을 능가하며, 특히 분포에서 크게 벗어난 길이에서 이득이 크다.
개체명 인식(NER)에서 수백 개의 문맥 내 예시로 확장한 다샷 ICL을 체계적으로 검증해, LLM이 완전 지도 학습 BERT 성능에 필적하거나 이를 넘을 수 있음을 보였다. 약 100개의 사람 레이블 예시를 시연으로 쓰는 In-Context Annotation(ICA) 프레임워크는 저자원 NER용 고품질 레이블 데이터를 생성하며, 이를 BERT 미세조정에 활용하면 기존 최첨단 대비 절대 F1 약 10%p 향상을 달성한다.
구조화되지 않은 임상 기록에 문서화된 근위축성 측索硬化증(amyotrophic lateral sclerosis, ALS) 치료 관련 임상 정보는 구조화된 형식으로 추출하지 않으면 후속 분석이 제한된다. 작업별 학습 데이터 없이, 환자 문서에서 ALS 관련 임상 용어의 존재를 감지하기 위한 퓨샷(few-shot) 프롬프트 기반 오픈소스 소형 언어 모델(SLM)을 평가했다. 감지 작업은 기능 점수, 호흡 측정, 약물, 및 관련 임상·비임상 속성에 걸친 17개 카테고리를 대상으로 했다. 임상 기록 내용은 JSON으로 인코딩된 퇴원 요약에서 정규화되었으며, 구조화된 JSON 출력을 갖는 프롬프트 템플릿으로 처리했다. 집계, 라벨 수준, 수동 검증 다중 라벨 분류 지표를 사용하여 26개의 오픈소스 모델을 비교했다. 수동 검증 결과, 정규식 규칙 기준선이 단일 SLM 또는 TF-IDF 기준선보다 전체 micro-F1이 더 높고 Hamming 손실이 더 낮았으며, Qwen3-4B-Instruct-2507이 micro-F1 기준 최고 성능 SLM이었다. 모델 순위는 지표와 라벨 카테고리에 따라 달랐으며, TF-IDF 기준선은 재현율은 높지만 정밀도는 낮았고, 일부 SLM은 정밀도는 더 높지만 재현율은 더 낮았으며, Hammer2.1-7b는 ALSFRS-R 하위 점수 감지에서 강한 성능을 보였다. 이러한 결과는 기존 규칙 기반 방법을 대체하기보다는 표적화된 하이브리드 추출 워크플로우를 지지한다.
본 논문은 최근 벡터 그라운딩(vector grounding) 설명을 바탕으로 대규모 언어 모델(LLM)의 그라운딩 문제를 재검토한다. 나는 고전적 기호 그라운딩(symbol grounding)에서 벡터 그라운딩으로의 전환을 수용하지만, 현재 논쟁이 두 가지 측면에서 여전히 불완전하다고 주장한다. 첫째, 지시(reference)는 종종 지나치게 얇게 다루어지며, 고립된 표현과 대상 사이의 고정된 연결인 것처럼 취급된다. 대신 나는 지시가 프로필 기반(profile-based), 문맥 민감(context-sensitive), 담화 수준(discourse-level), 정서적으로 형성(affectively shaped), 규범에 의해 통제(norm-governed)된다고 주장한다. 인간의 경우에서도 지시는 동일한 사적 표상(private representations)이 아니라 사용, 수정, 구분, 추론(inference), 연속의 패턴을 통해 공공적으로 안정화된다. 둘째, 벡터 그라운딩은 수치적 실현(numerical realization)에 대한 설명을 필요로 한다. LLM은 인간의 지각, 기억, 의도, 체화(embodiment), 이해를 통해 지시를 획득하지 않는다. 오히려 최적화(optimization)를 통해 인간의 세계 지향적(world-directed) 실천의 언어적 흔적을 매개변수화(parameterize)한다. 유한한 벡터 시스템에서 참조 프로필(referential profiles)은 분산되어야 하고, 중첩(superposed)될 수 있으며, 문맥 민감적 계산을 통해 복원된다. 가중치, 활성화(activations), 어텐션(attention)이 매개하는 은닉 상태, 소프트맥스(softmax)로 학습된 대조, 내적(inner-product) 정렬(alignments)은 상속된 언어적 관계가 안정적이고 인과적으로 활성화되는 수학적 지점이다. 메커니즘적 해석가능성(mechanistic interpretability) 연구 결과—개체 유사(entity-like) 특징, 지식 뉴런(knowledge neurons), 정서 관련 활성화 방향 등—는 이 관점에 대한 간접적 지지를 제공한다. 이는 LLM이 인간의 지시를 갖추고 있음을 보여주지 않는다. 대신 더 제한된 논제를 뒷받침한다: LLM은 파생적(derivative), 언어 매개(language-mediated), 프로필 기반, 수치적으로 구조화된 형태의 지시를 가질 수 있다.
문서 기반 생성 AI에서 검색-증강 생성(RAG)과 장문 맥락 프롬프팅을 정확도-비용 프론티어 상의 두 가지 에피스템적 접근으로 비교하고, 제조업 안전 교육 벤치마크에서 장문 맥락이 시맨틱 RAG(73.1% 대 65.4%)보다 정확하지만 쿼리당 토큰 비용이 26배 높은 토큰 세금을 보인다. 자원이 제한된 조직은 더 넓은 증거 접근으로 얻는 에피스템적 정확도 향상과 반복 비용 사이의 트레이드오프를 고려해야 한다.
우리는 랜덤 합성곱 특징 추출(Rocket)과 사전학습된 표 형식 파운데이션 모델(TabPFN v2.5)을 이용한 문맥 내 분류를 결합한, 학습이 필요 없는 시계열 분류 파이프라인 RocketPFN을 소개한다. 92개의 UCR 데이터셋(30회 리샘플링 프로토콜)에서 RocketPFN은 목표 데이터에 대한 학습 없이도, 폴드당 중앙값 추론 시간 30초로 UCR 아카이브에서 가장 강력한 공개 방법인 HC2와 평균 정확도에서 동등한 성능을 보였다(둘 다 0.900, Wilcoxon p=0.50). 또한 HC2 앙상블의 모든 개별 분류기를 유의미하게 능가한다. UEA(20개 데이터셋)에서도 차이는 통계적으로 유의하지 않다. 별도의 비교에서 TSC 파운데이션 모델들을 살펴보면, 동일한 다운스트림 분류기와 결합했을 때 MOMENT, Mantis, MantisV2 모두 더 적은 추출 특징과 학습된 파라미터 없이도 RocketPFN에 유의미하게 뒤처졌다(각 경우 p<0.001). 이는 해당 인코더들이 UCR 학습 샘플을 포함하는 코퍼스에서 사전학습된 경우에도 동일하게 성립한다. 우리는 이 두 단계 파이프라인을 제로샷 TSC 파운데이션 모델 평가를 위한 기준점으로 제안한다.
Prior-data fitted Network는 학습 사전(prior)이 유도하는 사후 예측분포(posterior predictive)를 학습한다. 따라서 이 패러다임을 다변량 시계열 분류에 적용하려면 시간적 구조를 갖춘 완전한 레이블 데이터셋을 생성하는 합성 생성기가 필요하다. 우리는 두 가지 모달리티(표 형식 속성과 시계열)에 걸친 유형화된 노드들 위의 무작위로 샘플링된 방향성 비순환 그래프(DAG)로 각 데이터셋을 합성하는 인과적 사전(prior)을 제안한다. 이는 채널, 시간 단계, 레이블에 걸친 교차 모달 인과 구조를 갖는 다변량 다중 클래스 시계열 분류(TSC) 데이터셋을 네이티브하게 생성하며, 기존 합성 사전이 다루지 않은 영역이다. 사전(prior)을 검증하기 위해 최소한의 수정으로 TabPFN v2.5를 파인튜닝하고 TabPFN의 운용 영역 내 75개 UCR/UEA 데이터셋에서 평가한다. 우리 생성기로 파인튜닝한 모델은 수정되지 않은 업스트림 모델과 동일 사전의 표 형식 전용 ablation 모두를 유의하게 능가한다(ROC-AUC 기준 Wilcoxon signed-rank $p=3.0\times 10^{-8}$). 이는 교차 모달 시간적 구조의 기여를 분리하여 보여준다.
농업 및 환경 응용과 관련된 토양 특성은 전통적으로 물리적·화학적 처리를 수반하는 정교한 실험실 방법으로 측정된다. 이러한 전통적 방법은 매우 정확하지만 비용이 많이 들고 시간이 오래 걸린다. 반면, 광학 분광법과 머신러닝을 결합하면 여러 토양 특성을 빠르고 비용 효율적으로 예측할 수 있다. 그러나 분광 모델링은 토양 특성과 개별 시료에 따라 예측 정확도가 달라지므로 종종 신뢰할 수 없는 것으로 여겨진다. 비용과 신뢰성 사이의 이러한 절충을 맞추기 위해, 본 연구는 확률적 모델링과 불확실성 기반 거부(uncertainty-guided rejection)를 결합한 AI 기반 측정 프레임워크인 reject-to-remeasure를 제안한다. 이 프레임워크에서 토양 시료는 먼저 분광법으로 분석한 뒤, 예측 불확실성이 사전에 정의된 품질 제약을 초과하면 해당 예측을 거부한다. 거부된 시료는 이후 전통적인 실험실 절차로 재측정된다. Québec 지역의 가시광-근적외선(visible-near-infrared) 분광 토양 라이브러리에서, 최신 파운데이션 모델(foundation model)(TabPFNv2.5 및 TabICLv2)을 사용한 reject-to-remeasure가 사용자 정의 정확도 요구사항을 충족하고 측정 비용을 줄이면서 광학 분광법을 일상적인 실험실 워크플로에 통합하는 것을 가능하게 함을 보여준다.
인간 지능의 정의적 특징은 희소한 관측으로부터 잠재적 과제 구조를 추론하여 변화하는 환경에 적응하는 능력이다. 신경과학 연구에 따르면, 이 능력은 해마가 신경 상태 공간에서 저차원의 거의 직교인 매니폴드(manifold)로 표현되는 추상적 표상을 구성하는 데 의존한다. 그러나 대규모 언어 모델(LLM)의 내부 메커니즘은 여전히 대체로 불투명하여, 유사한 추론 과제를 수행할 때 비교 가능한 추상적 표상을 형성하는지, 아니면 과제 특이적 통계적 규칙성에 의존하는지가 불분명하다. 본 연구에서는 맥락적 반전 학습(contextual reversal-learning) 패러다임을 텍스트 기반 설정에 적용하고, 행동 및 표상 수준에서 인간과 LLM을 비교한다. LLM은 인간보다 일반화 가능한 추론을 덜 자주 보이지만, 그러한 추론이 발생할 때 내부 상태는 해마에서 보고된 것과 유사한 추상적 기하 구조를 나타낸다고 보고한다. 특히, 이 표상 기하학은 균일하게 분포되지 않고 모델 깊이에 걸쳐 계층적으로 조직화된다. 하위 층은 자극 정체성의 초기적이고 안정적인 인코딩을 보이는 반면, 상위 층은 추론과 관련된 추상적 맥락 기하학이 풍부한 해마 유사 기능 밴드를 형성한다. 또한, 보완적 개입 실험은 추론에서 기하학을 기계적으로 연관짓는다. 과제 시퀀스 언어 모델링은 기하학적 분리(disentanglement)를 유도하는 반면, 상위 층의 기하학적 정규화는 일반화 가능한 추론의 출현을 증가시킨다. 이러한 발견을 종합하면, 추상적 표상 기하학이 대규모 언어 모델에서 추론을 지원하는 기계적 원리임을 확립한다.
장기 지평(long-horizon) 에이전트는 컨텍스트 관리에 의존한다: 시스템은 오래된 토큰을 압축·요약·제거하여 유한한 윈도우를 넘어 작업을 계속할 수 있도록 한다. 이는 삭제된 정보가 더 이상 필요하지 않거나 이미 내재화되었을 때에만 안전하다. 계획(plan)은 극단적 사례(stress case)이다: 계획은 초기에 작성되고, 여러 단계에 걸쳐 사용되며, 가장 먼저 제거된다. 우리는 리플레이 페어링(replay pairing)을 도입한다. 이는 히스토리에 계획이 포함된 경우와 그렇지 않은 경우에 동일한 궤적(trajectory)을 실행하고 은닉 상태(hidden-state) 코사인 거리를 측정하는 진단 도구이다. Llama-3.1-70B에서 계획 신호는 계획 직후 한 단계에서 0.453으로 급상승한 뒤, 단일 행동-관찰 단계에서 4.1배 하락한다; HotpotQA에서는 12.4배 하락한다. 이는 표준 대규모 언어 모델(LLM) 에이전트가 계획을 지속적 상태로 유지하지 않으며, 대신 계획이 컨텍스트에 남아 있는 것에 의존한다는 증거이다. L32 층 프로브(probe)는 이 감쇠를 진단 도구로서 탐지하지만, 이것이 계획 내용 자체를 읽는다는 증명은 아니다. 추론 모델(reasoning model)은 측정 교란 요인(confound)을 추가한다: 해당 모델의 `<think>` 추적이 계획 내용을 재도출하기 때문에, 표준 스트리핑(stripping)은 스트리핑된 조건에 계획 증거를 남긴다. 우리는 이를 추론-추적 교란(reasoning-trace confound)이라 명명하고, 엄격한 스트리핑(strict stripping)으로 수정한다. 엄격한 스트리핑은 스트리핑된 실행에서만 이전 `<think>` 블록을 제거한다. 이 방법은 인샘플(in-sample)에서 단계+1 신호의 +163%를, 홀드아웃에서 +153%를 회복하며, 비추론 Llama에는 의미 있는 변화를 주지 않는다(+4.8%). DeepSeek-R1-Distill-Llama-70B에서 Llama로 학습된 프로브는 AUROC 0.748(p=6e-4)로 전이되는 반면, R1 특화 프로브는 1.000에 도달하며, 이는 R1이 계획 신호를 다른 은닉 상태 방향으로 인코딩함을 시사한다. 마지막으로, 압축 스트레스 테스트는 실질적 비용을 보여준다: 단순 계획 제거는 ALFWorld 성공률을 34.7pp 감소시키는 반면, 프로브 기반 재표면화(probe-gated re-surfacing)는 이를 회복하지 못한다. 본 연구의 기여는 에이전트에 중요한 정보가 지속적 상태가 아닌 컨텍스트 상주(context-resident) 상태일 수 있음을 보여주는 측정 및 스트레스 테스트 프레임워크이다. 컨텍스트 관리는 핵심적이지만, 계획 보호만으로는 충분하지 않다.
현대의 LLM 에이전트는 장기 실행 세션을 토큰 예산 내에 유지하기 위해 점점 더 컨텍스트 압축(compaction), 요약(summarization), 또는 축출(eviction)에 의존하고 있다. 우리는 이 컨텍스트 관리 층이 안전성에 치명적인 실패 표면임을 보인다. 가시적인 동안 에이전트가 안정적으로 준수하는 문맥 내(in-context) 거버넌스(governance) 제약은 압축에 의해 조용히 제거될 수 있으며, 이로 인해 동일한 에이전트가 세션 후반에 금지된 도구(tool) 동작을 수행하게 된다. 우리는 이러한 실패 양상을 거버넌스 붕괴(Governance Decay)라고 부른다. 우리는 결정적(deterministic) 도구 호출(tool-call) 채점을 갖춘 장기간 에이전트 시나리오 벤치마크인 ConstraintRot를 도입하고, 7개 모델 계열에 걸쳐 압축으로 유발된 위반(violation)을 측정한다. 1,323개 에피소드(episode) 전반에서, 정책(policy)이 전체 컨텍스트에 있을 때 위반률은 0%에서 시작해 압축 후 30%로 상승하며, 일부 모델에서는 59%에 달한다. 제약(constraint)이 요약(summary)을 거쳐도 남아 있을 때는 위반률이 0%로 유지되지만, 제거되면 위반률은 38%에 달한다. 우리는 적대적(adversarial) 문맥 내 콘텐츠가 요약기(summarizer)가 정당한 정책을 생략하도록 편향(bias)시키는 컴팩션-축출(Compaction-Eviction) 공격(Attack)을 추가로 연구하고, 최적화된 주입(injection)이 평가된 모든 모델을 무력화함을 보인다. 마지막으로, 우리는 학습(training) 없이 적용 가능한 간단한 완화(mitigation) 기법인 제약 고정(Constraint Pinning)을 제안한다. 이는 거버넌스 제약을 손실형(lossy) 압축으로부터 격리(quarantine)하여 벤치마크(benchmark)에서 위반을 0%로 복원한다. 이 결과는 컨텍스트 관리(context management)를 배포(deployed)된 LLM 에이전트를 위한 일급(first-class) 거버넌스 표면(surface)으로 규정한다.
외부 스킬은 모델 가중치를 변경하지 않고도 행동 지향 LLM 에이전트를 개선할 수 있지만, 희소하거나 노이즈가 많은 궤적(trajectory)에서 지식 증류(distillation)된 경우 지속적인 스킬 업데이트는 위험할 수 있다. 그럴듯한 반성(reflection)은 유용한 절차, 허위의 지름길, 또는 대상 실행자(executor)가 신뢰성 있게 따를 수 없는 규칙을 인코딩할 수 있다. 우리는 가설 기반 스킬 최적화(Hypothesis-Driven Skill Optimization, HDSO)를 제안한다. HDSO는 스킬 큐레이터(skill curator)와 에이전트 실행자 모두가 고정된 추론 엔드포인트인 학습 없는(train-free) 프레임워크이다. 큐레이터는 실행자 추적(trace)을 관찰하고, 명시적인 검증 계획과 함께 반증 가능한 가설을 제안하며, 가설을 후보 스킬 패키지로 구체화하고, 대조/처치(control/treatment) 실행 쌍을 통해 패키지를 검증하며, 행동 차이를 검토하고, 뒷받침된 후보만 승인된 저장소에 통합한다. 실행자는 점진적 공개(progressive disclosure)를 통해 승인된 스킬을 사용하며, 스킬이 선택되지 않은 경우 실행자 전용 경로를 유지한다. ALFWorld에서 HDSO는 Qwen3-8B에 대해 실행자 전용 기준선(baseline) 대비 평균 SR(Avg. SR) +6.9 포인트, Qwen3.6-27B에 대해 +4.0 포인트를 개선한다. 스킬 발견 및 검증 중 20%의 성공/실패 피드백이 무작위로 뒤집힌 조건에서도, HDSO는 Qwen3-8B에 대해 +7.1 포인트 이득을 유지한다. 전이(transfer) 및 이질적 쌍(heterogeneous-pair) 진단은 검증된 저장소가 이를 생성한 실행을 넘어 유용할 수 있음을 추가로 보여 주지만, 교차 모델(cross-model) 큐레이션은 큐레이터 진단, 실행자 역량, 검증 증거가 일치할 때만 성공한다. HDSO는 제약 없는 메모리 누적 절차가 아니라, 고정된 행동 에이전트를 위한 감사 가능한(auditable) 스킬 수명 주기를 제공한다.
AI 지원 연구 시스템은 많은 실패 시도를 생성하지만, 이러한 실패는 드물게 지속 가능한 공유 지식 자산으로 축적된다. 우리는 부정적 지식 메모리 층을 제안한다. 큐레이터 에이전트가 각 실패 시도를 공유 저장소의 경계가 있는 유형화된 기록으로 변환하고, 하류 연구 에이전트가 다음 실험을 제안하기 전에 해당 기록을 명시적으로 채택하거나 거부한다. 우리는 ScienceAgentBench에서의 동일 과제 재시도와 두 개의 비선형 수학-물리 PDE(편미분방정식) 문제에 대한 교차 과제 과학 연구라는 두 가지 설정에서 이 층을 평가한다. 부정적 지식 층은 더 적은 토큰을 사용하면서 기본 AutoResearch 베이스라인을 능가한다. 부정적 지식 저장소를 갖춘 에이전트는 PDE 시스템 연구에서 모든 베이스라인이 해결하지 못하는 새로운 과제를 해결한다. 또한 기존 부정적 지식 저장소가 서로 다른 PDE 문제에서 AutoResearch로 전이되어 성능을 향상시킬 수 있음을 보인다. 이러한 결과는 구조화된 부정적 지식이 메모리 압축이나 디버깅 보조 수단을 넘어, 긍정적 발견과 함께 더 넓은 범위의 AI 참여 과학 연구에서 명시적으로 유지되어야 하는 지식 자산이며, 과학적 메모리를 위한 공동 인프라임을 시사한다. 코드는 https://github.com/hch-wang/Negative_Knowledge 에서 이용할 수 있다.
시연 기반 프로그래밍(Programming by Demonstration, PbD)은 LLM 에이전트를 위한 절차적 지식을 작성하는 인간 중심의 방법을 제공한다. 사용자는 프롬프트나 코드를 작성하는 대신 행동을 보여줌으로써 원하는 것을 전달하므로, 비프로그래머도 에이전트 작성에 접근할 수 있다. PbD 녹화의 자연스러운 출력은 평탄한 행동 로그이지만, 이 로그를 에이전트에 전달하기 전에 어떻게 구성할지는 계획 품질에 상당한 영향을 미치는 미결정 설계 문제이다. 우리는 기록된 행동을 레이블이 붙은 계층적 하위 목표(subgoal)로 그룹화하는 방법을 제안하고, 통제 실험에서 이 조직적 구조의 효과를 평가한다. 85개의 웹 자동화 작업에서, 동일한 행동 시퀀스를 공유하지만 구조가 다른 네 가지 시연 형식을 제로샷 기준선과 비교한다. 모호한 설명을 가진 43개의 자연어 작업에서, 계층적으로 그룹화된 시연은 통과율을 76.7%에서 90.7%로 향상시킨다(쌍체 순열 검정 $p{=}0.034$; win-loss 6:0). 반면 평탄한 시연은 더 작고 통계적으로 유의하지 않은 개선만 보인다. 정확한 설명을 가진 42개 작업에서는 어떤 형식도 이점을 제공하지 않으며, 이는 계층적 이점이 설명이 절차적 세부사항을 모호하게 남길 때에만 발생함을 확인한다. 절제(ablation) 분석은 하위 목표 그룹화만이 효과를 주도함을 보여준다. 전제조건(preconditions), 사후조건(postconditions), 매개변수 주석은 측정 가능한 이점을 추가하지 않는다. 이 결과는 PbD 파이프라인에 대한 구체적인 설계 권고를 제공하며, 더 넓게는 LLM 에이전트에 절차적 컨텍스트를 공급하는 모든 시스템에 대해서도 마찬가지이다. 평탄한 단계 목록을 제시하는 대신 행동 시퀀스를 명명된 하위 목표 그룹으로 분할하라.
LLM 기반 에이전트는 수동적인 질의응답에서 능동적인 작업 완료로의 전환을 나타낸다. 이들은 환경을 인식하고, 도구를 호출하며, 상태를 유지하고, 장기간에 걸쳐 행동한다. 에이전트 시스템이 프롬프트 엔지니어링에서 워크플로, 컨텍스트 엔지니어링, 하네스 엔지니어링, 그리고 공진화를 수반한 에이전트 네이티브 학습으로 진화함에 따라, 하나의 핵심 질문이 점점 더 중요해지고 있다: 에이전트 성능의 병목은 어디에 있는가—기반 모델에 있는가, 실행 하네스에 있는가, 아니면 둘 사이의 결합에 있는가? 본 서베이는 모델-하네스 관점을 통해 LLM 기반 에이전트를 검토한다. 먼저 에이전트의 기능적 정의와, 실행 하네스와 결합된 기반 모델로서의 LLM 기반 에이전트에 대한 구현 관점을 명확히 한다. 이어서 모델 중심 스케일링의 한계를 분석하고, 에이전트 엔지니어링의 네 가지 패러다임을 추적하며, 실행 하네스를 여섯 가지 결합된 런타임 책임—관측, 컨텍스트, 제어, 행동, 상태, 검증—으로 분해한다. 이 분해를 활용하여 작업 속성과 도메인 압력을 하네스 구성에 매핑하고, 벤치마크 및 평가 관행을 검토하며, 런타임 설계가 장기 작업 완료, 효율성, 신뢰성에 어떻게 영향을 미치는지에 대한 모델-하네스 증거를 종합한다. 마지막으로 가치 인식 평가, 안전성, 하네스 일반화, 모델-하네스 공진화 분야의 미해결 과제를 식별한다. 에이전트를 보조 도구를 갖춘 모델로 취급하는 대신, 본 서베이는 에이전트 품질—성공, 효율성, 안전성, 일반화를 포함하여—가 모델 역량, 런타임 인프라, 작업 구조, 평가 설계 간의 상호작용에서 창발한다고 주장한다. 본 서베이에서 논의된 논문 모음은 https://github.com/ggjy/Awesome-Agent-Engineering 에 제공된다.
외부 도구의 통합은 LLM 에이전트를 수동적 응답자에서 자율적 시스템으로 전환시켰다. 그러나 현재 벤치마크는 실행 성공을 우선시하며, 문제가 필요한 외부 자원을 요구하는지 아니면 내부 파라메트릭 지식으로 해결할 수 있는지를 판별하는 자기 인식(self-awareness) 능력을 간과한다. 이를 해결하기 위해, 우리는 에이전트의 메타인지적 판단(Knowing)과 자발적 실행(Acting)을 분리하여 인지-행동 정렬(cognitive-behavioral alignment)을 평가하는 프레임워크인 KAPRO(Knowing-Acting Quadrant PRObe)를 제안한다. 또한 우리는 이러한 인식론적 경계를 체계적으로 탐색하기 위해 작업을 외부, 내부, 하이브리드 부분공간으로 엄격히 분할하는 데이터셋 KAware를 구축한다. 다양한 에이전트 아키텍처에 걸친 광범위한 실험은 자기 인식 능력이 작업 성공과 강하게 상관관계가 있지만 내부 역량 설정에서 급격히 저하됨을 보여준다. 게다가, 오픈소스 및 인스트럭션 수행(instruction-following) 모델은 얕은 패턴 매칭으로 인해 더 강한 도구 과다 사용을 보이는 반면, 독점 및 추론 지향(reasoning-oriented) 모델은 더 신뢰할 수 있는 인지 게이팅(cognitive gating)을 보여준다. 벤치마크와 코드는 https://github.com/AI-Santiago/KAware 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 모델 가중치에 접근할 수 없는 상태에서 사용자, 작업, 도메인, 모달리티, 피드백 체제에 걸쳐 적응해야 하는 장기 운용 에이전트로 점점 더 많이 배포되고 있다. 기존 블랙박스 적응 방법은 일반적으로 단일 프롬프트를 최적화하거나, 구분 없는 메모리를 유지하거나, 반복적인 롤아웃 중심 검색에 의존한다. 그러나 이러한 설계는 입력 스트림이 비정상(nonstationary)일 때, 피드백이 희박할 때, 한 작업 계열의 실패가 다른 작업의 행동을 오염시킬 수 있을 때 어려움을 겪는다.
우리는 RIZZ(Routing Interactions to Near Zero-interference Zones)를 소개한다. 이는 검증기(verifier) 게이팅된 메모리, 라우팅, 프롬프트 컴파일을 통해서만 학습하는 복합 언어 모델 시스템용 지속적 적응 프레임워크이다. RIZZ는 입력 스트림을 동적으로 생성되는 메모리 분기로 구조화한다. 추론 시점에 온라인 또는 오프라인 여부와 관계없이, 컨텍스트 인식 라우터가 분기를 선택하거나 생성하고, 해당 분기는 분기-로컬, 전역, 그래프 구조, 작업 기억(working-memory) 컨텍스트를 검색하며, 이는 검색된 작업 증거와 함께 제한된 프롬프트로 컴파일된다. 모델이 행동한 후, 작업 검증기가 출력을 채점하고, 검증된 상호작용만이 메모리를 업데이트하거나 재사용 가능한 규칙을 승격하거나 유해한 규칙을 강등하거나 안티패턴을 생성할 수 있다. 이는 간섭을 명시적으로 제어하면서 지속적인 자연어 피드백을 통해 개선되는 블랙박스 에이전트를 만든다. RIZZ는 컨텍스트 예산 하에서 적응이 온라인으로 이루어져야 하는 영역을 목표로 한다. 마지막으로, 우리는 경쟁 벤치마크에서 최신(state-of-the-art) 기준선 대비 본 프레임워크의 효과를 입증한다.
MLLM-as-a-Judge는 통상적으로 인간 주석과의 일치도로 검증되지만, 인간 풀이 문화적으로 이질적일 때 이 지표는 정의되지 않는다. 우리는 VOIR DIRE를 소개한다. 이는 음식, 패션, 건축 분야에 걸쳐 미국과 중국 본토 맥락을 아우르는 626개의 문화적으로 짝지어진 이미지-프롬프트 아티팩트로 구성된 멀티모달 벤치마크이며, 주석자 풀은 풀 내에서는 신뢰할 만하다(a = 0.86/0.74) 그러나 평가에서 풀 간에는 발산한다(Q1 r = -0.12). 6개 MLLM에서 바이어스는 두 가지 실패로 분해된다: 긍정성 하한 보정 실패(압축된 척도 사용)와 방향성 실패(한 문화적 규범으로의 기본 설정). 이 코퍼스에서 논쟁적 항목들이 두 풀을 분리하도록 샘플링되었을 때, 하한은 기계적으로 더 관대한 중국식 해석을 검증한다. 페르소나 프롬프팅은 보정을 부분적으로 회복하지만 방향성 잔차는 남아 있으며, 이는 기울기가 척도 압축으로 환원될 수 없음을 보여준다. 참조 풀 문맥 내 시연(in-context demonstrations)은 하한 단 사용을 복원하기보다 방향성 잔차를 심화하고 고점을 부풀린다. 모델 출처는 시연 하에서 대략 불변인 작은 가산적 기울기(~0.10 MAE)를 추가한다. 우리는 각 참조 풀에 대한 정렬을 별도로 보고하고, 풀 간 발산을 판사 속성으로 취급할 것을 권고한다.
우리는 대표적인 비지도 학습 문제인 주성분 분석(PCA)이라는 관점을 통해 어텐션 메커니즘을 연구합니다. 가우시안 데이터로 학습될 때, 소프트맥스(softmax) 및 선형 어텐션 레이어 모두 공분산 행렬의 주요 고유벡터와 정렬되는 파라미터를 학습함을 보여줍니다. 이를 통해 PCA와 직접적이고 명시적인 연결을 확립합니다. 본 분석은 유한 및 무한 프롬프트(prompt) 영역을 모두 포괄합니다. 무한 프롬프트 한계에서는 주요 스펙트럼 방향과 정렬된 전역 최적해로의 수렴을 증명하며, 유한 프롬프트 설정에서는 샘플링 효과를 고려할 때 동일한 동작이 나타남을 보여줍니다. 또한 분석을 스파이크드 위샤트(spiked Wishart) 공분산을 갖는 인컨텍스트(in-context) 설정으로 확장하며, 여기서 어텐션은 기저 신호 방향을 성공적으로 복원합니다. 이러한 결과는 어텐션이 비지도 목적 함수 하에서 본질적으로 PCA와 유사한 연산을 수행함을 입증하며, 표현 학습 능력에 대한 이론적 기반을 제공합니다.
베이지안 예측 추론은 불확실성 정량화, 데이터 효율성, 그리고 강건한 일반화를 위한 원칙적인 프레임워크를 제공합니다. 그러나 정확한 추론은 종종 계산하기 어렵고, 확장 가능한 근사 방식은 계산 비용이 여전히 높거나 예측 성능을 저하시키는 제한적인 모델링 가정을 필요로 할 수 있습니다. Prior-Data Fitted 및 인컨텍스트(in-context) 모델은 데이터셋을 예측 분포로 직접 매핑하도록 학습함으로써 amortized 대안으로 최근 부상했습니다. 하지만 기존 접근 방식은 학습 사전(prior)의 지원(support)에 강하게 결합되어 있어 테스트 시간에 새로운 사전으로 적응하기 위한 명시적인 메커니즘이 부족하며, 이는 분포 변이(distribution shift) 하에서 제한된 강건성을 초래합니다. 우리는 사전 정보를 인컨텍스트 데이터셋의 접두 문맥(prefix)으로 명시적으로 표현하는 amortized 계층적 베이지안 예측 추론을 위한 멀티태스크 인컨텍스트 학습 프레임워크를 소개합니다. 사전 및 타겟 작업의 시퀀스로 학습된 트랜스포머(transformer)는 사전 분포의 계열(families) 전반에 걸쳐 예측을 적응시키는 것을 학습합니다. 메타 분포 외(out-of-meta-distribution) 사전 및 고차원 잠재 구조를 가진 사전을 포함하여 난이도가 점진적으로 증가하는 평가 모음에서, 우리의 방법은 수십 배 더 빠른 속도로 오라클 베이지안 예측기와 동등한 성능을 보입니다. 우리는 또한 실제 시공간 온도 예측 벤치마크에서 그 실용적 관련성을 입증합니다. 코드는 https://github.com/martianmartina/multi-task-bayesian-icl/ 에서 확인할 수 있습니다.