트랜스포머 언어 모델에서의 상황 모델링과 정신화의 발달 궤적
Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models
한국어 초록
최근 연구에 따르면, 대규모 언어 모델(LLM)은 거짓 믿음 과제(FBT)로 측정했을 때 텍스트에 묘사된 에이전트의 믿음 상태에 민감하게 반응하지만, 구인 타당도(construct validity)에 대한 우려가 지속되고 있다. 본 연구는 **발달적 관점**을 채택하여, Olmo2와 Pythia 언어 모델 제품군의 여러 학습 단계에 걸쳐 정신 상태 추론 행동의 패턴과 이 행동의 **전제 조건**을 추적한다. 우리는 우연 수준 이상의 FBT 성능이 모델 크기와 충분한 학습량 모두에 의존하고, 사전 학습의 비교적 후반부에 출현하며, 정신화(mentalizing)를 가장 잘 진단하는 조건(False Belief, Implicit)에서 사후 학습 개입(SFT, DPO)에 의해 가장 크게 향상됨을 발견한다. 그러나 FBT 성능은 취약하다: 기존 연구와 일관되게, 비사실적 동사(예: thinks)의 사용은 True Belief 조건에서조차 거짓 믿음 귀인을 증가시킨다. 이러한 결과를 맥락화하기 위해, 우리는 **상황 모델링**, 즉 묘사된 장면의 기본적인 사실적 속성을 보고하는 능력의 출현을 추적한다. 상황 모델링 정확도는 일반적으로 FBT 정확도에 선행하며 이를 능가하지만, 상황적 표상 또한 특정 측면에서 놀랍도록 비일관적임이 드러난다: 사물의 실제 위치를 항상 알고 있는 적대자(Antagonist) 에이전트의 지식 상태에 대해 질문받을 때, Olmo2 13b는 대상(Target) 에이전트의 지식 상태와 비사실적 동사의 존재 모두에 지속적으로 영향을 받는다. 이러한 결과들을 종합하면, 충분히 학습된 대형 모델들이 발달적으로 적절한 순서로 부분적으로 일관된 상황 모델을 구축하지만 놀라운 취약성을 보임을 시사하며—이는 LLM 능력 평가를 위한 발달적 접근법과 스트레스 테스트 접근법의 가치를 부각시킨다.
원문 초록
Recent work suggests that Large Language Models (LLMs) are sensitive to the belief states of agents described by text, as measured by the false belief task (FBT), yet persistent concerns of construct validity remain. We adopt a **developmental perspective**, tracing the pattern of mental state reasoning behavior -- and likely **preconditions** for this behavior -- across multiple training stages in the Olmo2 and Pythia language model suites. We find that above-chance FBT performance depends both on model size and sufficient training volume, emerges relatively late in pretraining, and is most improved by post-training interventions (SFT, DPO) in the condition most diagnostic of mentalizing (False Belief, Implicit). However, FBT performance is fragile: consistent with past work, the use of non-factive verbs (e.g., thinks) increases false belief attributions even in the True Belief condition. To contextualize these findings, we track the emergence of **situation modeling**: the ability to report on basic factual properties of a described scene. Situation modeling accuracy generally precedes and exceeds FBT accuracy, yet situational representations also prove surprisingly incoherent in certain respects: when asked about the knowledge states of the Antagonist agent -- who always knows the item's true location -- Olmo2 13b is consistently influenced both by the Target agent's knowledge state and the presence of non-factive verbs. Together, these results suggest that larger, sufficiently trained models build partially coherent situation models in a developmentally appropriate sequence, yet display surprising fragility -- highlighting the value of developmental and stress-testing approaches for evaluating LLM capabilities.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28524v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구
Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory
저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.
전문가 선택 편향을 통한 데이터 불균형 극복
Overcoming Data Imbalances with Expert Selection Biases
전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.
능동적 에이전트 오케스트레이션
Proactive Agentic Orchestration
에이전트 오케스트레이션(agentic orchestration)은 독립된 컨텍스트를 가진 서브 에이전트(sub-agent)들에게 작업을 위임함으로써 대규모 언어 모델(LLM) 에이전트의 유효 실행 범위를 확장하는 핵심적인 방안을 제공합니다. 그러나 기존 오케스트레이션 방식은 두 가지 한계에 직면해 있습니다. 실행 측면에서는 서브 에이전트 생성 시점에 목표와 하네스(harness)가 고정되어 동적인 실제 환경에 대한 적응력이 제한되며, 최적화(optimization) 측면에서는 희소하고 지연된 피드백으로 인해 오케스트레이션 정책의 효과적인 학습이 저해됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 온더플라이(on-the-fly) 능동적 에이전트 오케스트레이션 프레임워크인 POrchestra를 제안합니다. POrchestra는 서브 에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터와 능동적으로 소통하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브 에이전트가 동적 환경에 매끄럽게 적응할 수 있도록 지원할 뿐만 아니라, 사후 피드백(hindsight feedback) 기반의 온-정책 오케스트레이션 증류(OPOD)를 자연스럽게 이끌어냅니다. OPOD는 서브 에이전트의 능동적 수정 요청을 이전 오케스트레이션 결정에 귀인하여 타겟 개선 신호를 도출하고, 최종 보상과 함께 이러한 신호를 프로세스 지도(process supervision)로 활용하여 오케스트레이션 정책을 최적화합니다. 심층 연구, 동적 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 과제(long-horizon) 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 기준선 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 기준선 대비 소형 오케스트레이터의 성공률을 평균 10.0% 향상시켰습니다. 또한 POrchestra는 더 유리한 비용 대비 성능 트레이드오프를 달성합니다. 코드베이스는 https://github.com/XueyangFeng/POrchestra 에서 공개되어 있습니다.
zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.