지속되는 것을 측정하기: AI 에이전트 정체성의 조건화 메커니즘과 기하학적 프레임워크
Measuring What Persists: Conditioning Mechanisms and a Geometric Framework for AI Agent Identity
한국어 초록
AI 에이전트는 장문맥 응용에서 지정된 정체성으로부터 표류(drift)한다. 현재 방법들은 질적 저하가 눈에 띄게 나타난 후에만 이를 탐지한다. 우리는 enriched category theory의 magnitude homology와 $\sqrt{\mathrm{JSD}}$ 계량 공간(metric space)을 사용하여 정체성 구조를 측정하는 기하학적 프레임워크를 제시한다. 여기서 정체성은 비측지선(non-geodesic) 구조이며 표류는 이것이 측지선(geodesic)으로 이완(relaxation)되는 현상이다. 지속적 AI 에이전트에서 검증한 결과, 이 프레임워크의 가장 강력한 실증적 발견은 이중 메커니즘 조건화 구조이다: 교차 조건 거리는 정체성 명세가 행동적 공백을 채우는 정체성-진공(identity-vacuum) 클러스터와, 사후 학습(post-training) attractor로부터 치환되는 안전-베이sin(safety-basin) 클러스터를 드러낸다. 정삼각형 프로브 기준선은 정체성 명세가 최대 프로브 분리에서 측정 가능한 행동적 풍부성(기본 모델의 1개 대비 55개의 고유 응답 패턴)을 생성함을 확인한다. 정삼각형 구성에 대한 1차 섭동 이론은 둘레(perimeter) 변화만으로 magnitude 변화를 예측하며, 형태 섭동은 $S_n$ 대칭에 의해 1차로 상쇄된다; 이 공식은 관측된 섭동 진폭에서 자기 일관적(self-consistent)이다. 문맥 압력 하에서 magnitude 감소를 측정한 표류 실험은 이후 진정한 문맥 길이 표류가 아니라 반복적 패딩(padding) 아티팩트를 반영한 것으로 밝혀졌으며, 다양한 패딩은 150K 토큰까지 측정 가능한 변형을 만들지 않는다. magnitude homology 프레임워크의 전체 진단적 잠재력—이방성(anisotropic) 수축과 호몰로지적(homological) 단순화를 통한 구조적 붕괴 탐지—은 섭동 이론과 선택 규칙에 구조적으로 기반하지만, 실증적으로는 아직 확인되지 않았다.
원문 초록
AI agents in long-context applications drift from their specified identity. Current methods detect this only after qualitative degradation is visible. We present a geometric framework for measuring identity structure using $\sqrt{\mathrm{JSD}}$ metric spaces and magnitude homology from enriched category theory, where identity is non-geodesic structure and drift is its relaxation toward the geodesic. Validated on a persistent AI agent, the framework's strongest empirical finding is a two-mechanism conditioning structure: cross-condition distances reveal an identity-vacuum cluster where the identity specification fills a behavioral void, and a safety-basin cluster where it displaces from post-training attractors. An equilateral probe baseline confirms that the identity specification creates measurable behavioral richness (55 unique response patterns vs. 1 for the base model) at maximum probe separation. A first-order perturbation theory for equilateral configurations predicts magnitude changes from perimeter changes alone, with shape perturbations first-order cancelled by the $S_n$ symmetry; the formula is self-consistent at the observed perturbation amplitudes. A drift experiment measuring magnitude decrease under context pressure was subsequently found to reflect repetitive-padding artifacts rather than genuine context-length drift; diverse padding produces no measurable deformation through 150K tokens. The magnitude homology framework's full diagnostic promise -- detecting anisotropic contraction and structural collapse via homological simplification -- is architecturally grounded in the perturbation theory and selection rules but remains empirically unconfirmed.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21843v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SoftGene: 해석 가능한 유전자 세트 주석을 위한 단백질 언어 모델 강화 소프트 프롬프팅
SoftGene: Protein Language Model-Enhanced Soft Prompting for Interpretable Gene Set Annotation
유전자 세트 분석(gene set analysis)은 기능 유전체학(functional genomics)의 초석이지만, 여전히 노동 집약적이며 수작업 큐레이션 및 전문가의 생물학적 해석에 크게 의존하고 있습니다. 대규모 언어 모델(LLM)이 유전체 추론 및 주석을 위한 강력한 도구로 부상했으나, 기존 접근 방식의 대부분은 기호적 유전자 이름에 의존하며 도메인 특화 생물학적 구조, 특히 분자 활성, 상호작용 및 다운스트림 유전자 기능을 지배하는 단백질 서열 정보를 포착하지 못합니다. 본 연구에서는 유전자 세트의 계층적 구조를 활용하는 LLM 기반 유전자 세트 주석을 위한 새로운 프레임워크인 SoftGene을 제안합니다. 첫째, 단백질 언어 모델(protein language model)인 ESM을 기반으로 구축된 계층적 어텐션(hierarchical attention) 기반 인코더를 사용하여 단백질 수준의 아미노산 서열 정보로 각 유전자 세트를 표현합니다. 둘째, 유전자 세트 임베딩(embedding)에서 파생된 소프트 프롬프트(soft prompt)와 LLM이 생성한 보조 컨텍스트를 포함하는 하드 프롬프트(hard prompt)를 결합하는 하이브리드 프롬프팅 기법을 구성하고, 그 결과로 생성된 프롬프트를 주석 생성을 위해 로컬 LLM에 입력합니다. Gene Ontology(GO)와 Molecular Signatures Database(MSigDB)라는 두 가지 벤치마크 데이터셋에서 프레임워크를 평가합니다. 실험 결과는 단백질 서열 표현을 텍스트 컨텍스트와 통합함으로써 전반적인 유전자 세트 주석 성능이 향상됨을 보여주며, 도메인별 분석을 통해 단백질 임베딩의 기여도가 생물학적 도메인에 따라 달라진다는 점을 밝혀냅니다.
FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델
FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter
생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.
Graph Regularized and Feature Aware Matrix Factorization for Robust Incomplete Multi-view Clustering
Simultaneous Linear Multi-view Attributed Graph Representation Learning and Clustering
Robust Diversified Graph Contrastive Network for Incomplete Multi-view Clustering
Efficient graph convolution for joint node representation learning and clustering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.