arXiv:2609.28448v1 cond-mat.dis-nn

척력적 셀프 어텐션의 비평형 상: 혼돈, 어텐션 응축, 그리고 창발적 국소성

Nonequilibrium Phases of Repulsive Self-Attention: Chaos, Attention Condensation, and Emergent Locality

Qucheng Gao, Zuyi Yang, Xiao Chen

제출 2026-09-24

한국어 초록

본 논문에서는 $N$개의 정규화된 토큰, $Q=K=I$, 그리고 음의 값 맵 $V=-I$를 갖는 최소 순환 트랜스포머(recurrent transformer)의 비평형 동역학을 연구합니다. 유사도 기반 어텐션은 인접한 표현을 선택하는 반면, 음의 값 맵은 선택된 장(field)으로부터 토큰을 밀어냅니다. 이러한 피드백은 표현 기하학과 어텐션 네트워크 모두를 지속적으로 재구성할 수 있습니다. $d=2$일 때 토큰들은 원 위에 놓이며, 정다각형은 정확한 고정점이 됩니다. 어텐션 피드백 강도 $\gamma$가 증가함에 따라 정다각형은 플립 분기(flip bifurcation)를 통해 안정성을 잃고, 주기 2(period-two) 운동, 혼돈(chaos), 그리고 클러스터 교환 또는 클러스터 플립 상태를 발생시킵니다. 이러한 시간적 복잡성에도 불구하고, 유한하고 고정된 소프트맥스 첨예도 $\beta$에서 $N\to\infty$일 때 어텐션은 확산된(diffuse) 상태를 유지합니다. 대신 어텐션 응축은 $\beta\sim N^2$ 스케일링 체제에서 창발합니다. 하드 라우팅 극한에서는 척력적 업데이트가 국소 섭동을 증폭하고 라우팅 파트너 전환이 이를 탄도학적으로 전달하여, 표현 공간에서 창발적인 버터플라이 콘(butterfly cone)을 형성합니다. 고차원 기하학은 국소화로 향하는 별도의 경로를 제공합니다. $d=N\to\infty$의 경우, 가우시안 초기 조건에서의 시뮬레이션은 동적으로 생성된 유한한 중첩 간극에 의해 유도되는 $\beta=O(1)$에서의 응축 전이(condensation transition)에 대한 증거를 제시합니다. $\gamma$에 따라 나타나는 상에는 확산된 단체형(simplex-like) 상태, 합의 플립(consensus flips), 혼돈의 징후를 보이는 응축된 활성 라우팅, 파편화된 클러스터 플립이 포함됩니다. 이러한 결과는 시간적 활성, 어텐션 응축, 기하학적 클러스터링이 서로 구별되는 집합적 현상임을 규명하며, 희소 어텐션(sparse attention)이 동역학을 동결시키기보다는 지속적인 동역학을 유지할 수 있음을 보여줍니다.

원문 초록

We study the nonequilibrium dynamics of a minimal recurrent transformer with $N$ normalized tokens, $Q=K=I$, and a negative value map $V=-I$. Similarity-based attention selects nearby representations, while the negative value map drives tokens away from the selected field. This feedback can continually reorganize both the representation geometry and the attention network. For $d=2$, the tokens lie on a circle, where the regular polygon is an exact fixed point. As the attention feedback strength $\gamma$ is increased, the polygon loses stability through a flip bifurcation, giving rise to period-two motion, chaos, and cluster-exchange or cluster-flip states. Despite this temporal complexity, attention remains diffuse as $N\to\infty$ at finite fixed softmax sharpness $\beta$. Attention condensation instead emerges in the scaling regime $\beta\sim N^2$. In the hard-routing limit, repulsive updates amplify local perturbations and routing-partner switches transmit them ballistically, producing an emergent butterfly cone in representation space. High-dimensional geometry provides a distinct route to localization. For $d=N\to\infty$, simulations from Gaussian initial conditions provide evidence for a condensation transition at $\beta=O(1)$, driven by dynamically generated finite overlap gaps. Depending on $\gamma$, the resulting phases include diffuse simplex-like states, consensus flips, condensed active routing with signatures of chaos, and fragmented cluster flips. These results establish temporal activity, attention condensation, and geometric clustering as distinct collective phenomena, and show that sparse attention can sustain persistent dynamics rather than freeze it.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28448v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32652v2cs.AI공통 태그 Representation Learning, dynamical systems

기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포

Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions

소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.

arXiv:2610.02755v1cs.CV공통 태그 Clustering, Representation Learning

FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.

arXiv:2610.01533v1cs.AI공통 태그 Clustering, Representation Learning

흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형

Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)

생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.

arXiv:2610.00414v1cs.CV공통 태그 Clustering, Representation Learning

이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석

From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model

대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.

arXiv:2609.27735v1cs.LG공통 태그 Representation Learning, self-attention

NS-ATTENTION: 비전 트랜스포머에서 어텐션 출력의 Newton-Schulz 변환

NS-ATTENTION: Newton-Schulz Transformations of Attention Outputs in Vision Transformers

Newton-Schulz(NS) 반복은 최근 대규모 언어 모델 학습 중 업데이트 행렬을 변환하기 위해 Muon 옵티마이저에서 사용되었다. 이러한 스펙트럼 효과에 착안하여, 본 연구에서는 NS를 트랜스포머 어텐션 표현에 직접 적용하는 방법을 탐구한다. 우리는 각 어텐션 헤드의 출력에 적용되는 매개변수가 없는(parameter-free) 변환인 Newton-Schulz Attention(NS-Attn.)을 제안한다. 각 헤드 출력은 특징×토큰(feature-by-token) 행렬로 배열되어 Frobenius 노름으로 정규화된다. 이후 유한 횟수의 NS 다항식 단계를 적용한 뒤 원래의 노름을 복원한다. 이는 표준적인 헤드 병합 및 출력 투영 이전에 스펙트럼 집중을 줄이고 유효 랭크(effective rank)를 높이는 것을 목표로 한다. CIFAR-10과 CIFAR-100에서 ViT와 Swin을 대상으로 한 실험에서, NS-Attn.은 시드를 맞춘 12개의 비교 모두에서 최종 에포크 정확도를 향상시켰으며, 평균 향상 폭은 0.25~0.83 퍼센트 포인트이다. ViT 어블레이션에서는 반복 횟수가 한 번일 때가 두 번일 때보다 평균 정확도가 더 높았다. 스펙트럼 분석 결과 또한 최대 고유값 집중이 감소하고 유효 랭크가 증가함을 보여준다. 이러한 성능 향상에는 추가적인 추론 지연 시간이 수반된다.

arXiv:2609.27865v1cs.LG공통 태그 Clustering, Representation Learning

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.