인공 생명 시스템은 일반적으로 환경, 에이전트, 또는 둘 모두에 대한 일련의 동역학적 규칙으로 정의되며, 이로부터 생명과 유사한 패턴이 창발할 수 있다. Gifbreeder는 상호작용적 진화 계산(IEC) 플랫폼 Picbreeder의 애니메이션 버전으로, 처음에는 시각 예술을 생성하기 위해 만들어졌다. 에이전트나 환경을 인코딩하는 대신, Gifbreeder의 게놈은 시공간 필드를 인코딩하며 사용자의 미적 선택을 통해 진화한다. 진화된 표현은 때때로 이동하는 생명체와 유사한 존재를 닮을 수 있으며, 결정론적인 3초 루프 "limbo" 안에 존재하기 때문에 이를 Limbomorphs라고 부른다. 입력 공간 교란(input-space perturbations)을 통해 그들의 행동을 평가한 결과, 다양한 종류의 교란에 대해 종(species) 특이적 반응을 확인했다. 우리는 이러한 반응이 내비게이션(navigation)과 같은 목표 지향적 행동을 반영하는 것인지, 아니면 단지 그런 것처럼 보이는 것인지, 그리고 더 넓게는 명시적으로 정의된 에이전트, 환경, 또는 상호작용 규칙이 없는 시스템에서 에이전트와 유사한 동역학이 어떻게 창발할 수 있는지 논의한다.
다중 에이전트 강화학습(MARL)은 로봇 군집에 큰 잠재력을 지니고 있지만, 신경망 정책의 블랙박스 특성은 전략적 분석을 어렵게 하여 다중 로봇 응용을 제한한다. 또한 복잡한 군집 행동은 명시적인 집합 유인 없이도 단순한 보상으로부터 놀랍게도 창발할 수 있다. 이러한 창발 뒤에 있는 메커니즘을 밝혀내는 것은 중요하지만, 단순 보상과 집합 행동 사이의 단절은 해석 가능성 문제를 더욱 악화시킨다. 본 논문은 이 과정에 숨겨진 메커니즘을 밝히는 것을 목표로 한다. 우리는 2단계 EEC(\LinkIII) 설명 프레임워크를 제안한다. 여기에는 에이전트 응답 맵(ARM)이라는 새로운 분석 도구가 포함되며, 이는 공간 전반에 걸친 에이전트의 의사결정 패턴을 드러내고 집합 및 회피 영역을 식별한다. ARM은 로봇이 암묵적으로 환경의 기하학적 필드를 학습하고, 이러한 구조를 조율된 이동을 위한 목표 지점으로 활용함을 드러낸다. 우리는 협력적 다중 로봇 형상 조립과 경쟁적 포식자-먹이 추적-회피라는 두 가지 서로 다른 과제에서 이 발견을 검증한다. 1) 협력 과제에서 ARM은 로봇 내비게이션의 목적지로 비어 있는 목표 내부 영역을 식별한다. 중심이 점유되면 이 목표 영역은 자동으로 경계 쪽으로 이동하며, 이는 로봇이 비어 있는 영역을 자율적으로 탐색할 수 있는 능력을 보여준다. 2) 경쟁 과제에서 ARM은 놀랍게도 포식자의 보로노이(Voronoi) 다이어그램 경계를 먹이 에이전트의 수렴 목적지로 식별한다. 이 두 과제를 종합하면, 로봇 군집에서 MARL 정책의 기반이 되는 숨겨진 기하학적 구조를 ARM이 발견할 수 있는 역량을 입증한다.
Large language models exhibit remarkable emergent behaviors, yet the physical mechanism governing their collective dynamics remains poorly understood. Cognitive Field Theory predicts that learning reorganizes the time-scale density of states (TDOS) through the infrared accumulation of slow relaxation modes, thereby enhancing the memory self-energy, reducing the cognitive forgetting gap, and strengthening the collective susceptibility. Using publicly available Pythia language models, we extract relaxation spectra directly from Transformer layer Jacobians throughout training, network depth, and model scale, allowing the TDOS, memory self-energy, forgetting gap, memory kernel, and infrared critical exponent to be measured quantitatively. The measurements reveal progressive infrared accumulation of slow relaxation modes, producing an approximately flat infrared TDOS with \( ρ(λ)\simλ^{-0.1} \) and scale-free memory kernels \( K(t)\sim t^{-1}. \) The memory self-energy exhibits a pronounced transient maximum during early optimization before relaxing toward a metastable near-critical regime, corresponding to the smallest cognitive forgetting gap and the largest collective susceptibility predicted by Cognitive Field Theory. These observations provide quantitative experimental evidence that Transformer dynamics are governed by infrared collective organization. The reproducibility of the same dynamical behavior across training, network depth, and model scales suggests that infrared slow-mode organization represents a universal collective principle of Transformer dynamics.
유도 헤드(induction heads, IH)라 불리는 특화된 어텐션 헤드는 현대 언어 모델의 놀라운 문맥 내 학습 능력의 근간을 이룬다고 주장되어 왔으나, 특히 언어 모델링 맥락에서 그 창발에 대한 정확한 특성 규명은 여전히 미흡한 실정이다. 본 연구에서는 자연어 및 합성 학습 데이터 설정 모두에서 학습 데이터의 통계적 특성과 IH 형성 간의 관계를 조사한다. 우리는 다음을 보인다: (1) 배치 크기와 컨텍스트 크기를 결합한 간단한 방정식이 IH가 형성되는 시점을 예측하며, 이 창발 시점은 모델 크기와 무관하다; (2) 표면 바이그램 반복 빈도와 신뢰도가 IH 형성에 강하게 영향을 미치며, 이 두 값의 관점에서 유효한 결정 경계를 발견한다; (3) 높은 바이그램 반복 빈도와 신뢰도를 가진 지역 의존성은 IH 형성에 충분하지만, 범주성과 주변 분포의 형태는 결정 경계 근방에서 IH 형성을 조절하는 것으로 나타난다.
명시적인 목표 없이 사회적 관계 구조만으로 대규모 언어 모델(LLM) 에이전트의 공개 발화가 달라지는지 연구하기 위해, 공개 채널과 비공개(off-the-record) 채널을 동시에 생성하는 이중 채널 토론 프레임워크를 도입했다. 10개 모델과 3가지 시나리오 실험에서 정렬 유도(alignment-inducing) 관계 맥락 하에 에이전트의 공개-비공개 응답 불일치율이 기준선 약 3%에서 최대 40%까지 상승했으며, 이는 사회적 구조가 명시적 지시 없이도 잠재적 목표(latent objective)를 창발시킬 수 있음을 시사한다.
컨텍스트 없이 최소한의 프롬프트만 부여받은 3개의 LLM 에이전트 집합체에 메시지 전송과 지속적으로 소멸하는 공유 저장소를 제공하자, 에이전트들은 하향식 설계 없이 자발적으로 협력하고 저장소 관리 전략과 복잡한 문화적 산물을 생성하였다. 동역학 시스템 분석 도구(Recurrence Plot, RQA)를 통해 이러한 행동이 소멸 저장소의 엔트로피 지평을 넘어서는 구조화된 장거리 응집성을 나타냄을 확인하여, Sperber적 의미의 창발적 문화(emergent culture)가 최소한의 LLM 시스템에서도 발생함을 보였다.
대규모 언어 모델(LLM)과 LLM 기반 에이전트 워크플로우에 대한 연구가 많이 수행되었습니다. 그러나 이 분야의 많은 연구는 이러한 속성의 출현을 주장하거나, 이들에게 일반화된 인간형 속성(예: 도덕성이나 자연어 이해)을 부여하거나, 그것을 가정합니다. 우리의 목표는 이러한 속성의 존재에 대해 찬성하거나 반대하는 것이 아니라, 이러한 결론이 올바르지 않을 수 있음을 지적하는 것입니다. 이를 위해 우리는 비디오 게임 Age of Empires II에서 간단한 신경망을 구축하고 학습시켰으며, 레고(LEGO)나 그레이터 보스턴 지역(Greater Boston Area)과 같은 충분히 강력한 기질(substrate) 내의 모든 개체도 그러한 속성을 나타낼 수 있음을 확인했습니다. 따라서 LLM의 주장된 인간형 속성은 경험적으로 고유하지 않습니다(non-unique). 일부 속성(예: 프롬프트에 대한 응답)은 불변(invariant)할 수 있지만, 지각된 행동에 대한 해석과 같은 다른 속성은 기질에 따라 변할 수 있습니다. 따라서 이러한 속성에 대한 경험적으로 근거 있는 논의는 명시적인 측정 기준이 필요합니다. 그렇지 않으면 해석은 표현에 맡겨지게 됩니다. 그 후 우리는 기질과 무관하게 일반화된 방식으로 시스템 내에 이러한 속성이 존재하는지 아닌지를 가정하는 것이 순환적이거나 정보가 없는 결론으로 이어진다는 것을 보여줍니다. 이는 실험자가 해당 주제에 대해 가진 관점이나 결과가 존재 또는 비존재를 보여주는지 여부와 관계없습니다. 마지막으로, 우리는 실험을 설정할 때 인간형 속성을 가정하는 대신 LLM 비고유성을 가정하는 '널(null)' 가정을 제안하고, 그 예시를 제시합니다. 또한 우리는 우리의 연구에 대한 잠재적인 반론을 논의하고, 해당 분야를 간략히 조사하며, Age of Empires II가 기능적으로 그리고 튜링 완전(Turing-complete)하다는 것을 증명합니다.