한국어 초록
트랜스포머 층을 깊게 쌓은 모델에서 확률적으로 토큰을 조향하는 것을 단위 구면 위 상호작용 입자계에 대한 평균장 제어 문제로 다룬다. 입자 사이의 상호작용은 어텐션 메커니즘에서 나온다. 평균장 극한에서 토큰 집단은 제어된 적분-편미분 방정식에 따라 변한다. 피드백 제어는 보정 벡터장으로 작용해 표현 공간에서 토큰 집단을 목표 배치로 유도한다. 층 깊이를 정규화한 값으로 해석하는 고정 시간 구간 안에 목표를 달성하는 데 필요한 최소 노력 제어를 도출한다. 제어된 토큰 집단의 동역학은 구면의 기하 구조에 맞춘 평균장 슈뢰딩거 브리지로 이해할 수 있음을 보인다. 이를 바탕으로 서로 일관된 토큰 분포의 변화를 계산하도록 동적 싱크혼 재귀를 일반화하는 새로운 방법을 제안한다. 수치 실험에서 제안 방법이 토큰 집단을 목표 배치로 정확히 조향함을 확인했다.
원문 초록
We consider stochastic token steering through a deep stack of transformer layers as a mean-field control problem for an interacting particle system on the unit sphere, where interactions arise from the attention mechanism. In the mean-field limit, the token population evolves via a controlled integro-partial differential equation where the feedback control acts as a corrective vector field guiding the population toward an aggregate configuration of tokens in the representation space. We deduce the minimum effort control to accomplish this task over a fixed time horizon interpreted as normalized layer depth. We show that the resulting controlled dynamics for the token population can be understood as a mean-field Schr\"odinger bridge adapted to the sphere geometry. Building on this, we propose a novel generalization of the dynamic Sinkhorn recursion to compute the consistent token evolution. Numerical experiments confirm that the proposed approach achieves exact steering of the token population.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19163v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.