스펙트럴 비음 상호작용 에너지에 대한 와서스타인 그래디언트 흐름의 날카로운 수렴
Sharp Convergence of Wasserstein Gradient Flows for Spectrally Nonnegative Interaction Energies
한국어 초록
닫힌 다양체 $M$ 위에서 상호작용 에너지 \[ \mathsf E[\mu] = \frac12\iint_{M\times M}K(x,y)\,\mathrm d\mu(x)\,\mathrm d\mu(y) \] 에 대한 와서스타인 그래디언트 흐름의 장시간 거동을 연구한다. 라플라스 고유기저에서 대각이고 스펙트럴 계수가 비음인 커널에 대해, 상대 엔트로피와 에너지 갭 사이를 잇는 미분 부등식을 증명한다. 따라서 임의의 비음 초기 밀도 $u_0\in L^p(M)$, $p>1$에 대해 에너지 갭은 시간에 대해 적분 가능하며 \[ \mathsf E[\mu_t]-\mathsf E_{\min}=o(t^{-1}). \] 를 만족한다. 모든 스펙트럴 계수가 양수이면, 흐름은 약하게 상수 측도로 수렴한다. 이러한 상호작용 에너지는 와서스타인 공간에서 측지적으로 볼록일 필요가 없으며, 관련 흐름에는 확산이 포함되지 않는다. 따라서 전역 수렴은 표준 와서스타인 그래디언트 흐름 이론에서 바로 따라오지 않는다. 우리 결과가 다루는 커널에는 구면 위의 zonal 커널, 트랜스포머 모델에서 나오는 커널, 정규화된 Riesz 커널, 역 분수 라플라시안 커널이 포함된다. $o(t^{-1})$ 수렴률의 날카로움도 조사한다. 무한히 많은 양의 스�ект럴 계수를 갖는 이 클래스의 임의의 매끄러운 커널과 임의의 $\delta>0$에 대해, 선형화된 흐름의 해를 구성하여 무한대로 갈수록 어떤 시간열을 따라 그 에너지가 $t^{-1-\delta}$와 비슷한 크기를 갖도록 한다. 더 나아가 임의의 $\delta>0$에 대해, 평탄 토러스 위에서 적절한 역 분수 라플라시안 커널을 선택함으로써, 비선형 와서스타인 그래디언트 흐름의 정확한 해를 구성하여 그 에너지가 $t^{-1-\delta}$와 비슷한 크기를 갖도록 한다. 이 비선형 구성은 dyadic 푸리에 계수 블록의 시간에 대한 균등 추정과 블록 단위 에너지 지속(persistence) 논증에 기반한다. 이러한 추정은 또한 비선형 와서스타인 그래디언트 흐름과 그 선형화 사이의 시간에 대한 균등 정량적 비교를 제공한다.
원문 초록
We study the long-time behavior of Wasserstein gradient flows for interaction energies \[ \mathsf E[\mu] = \frac12\iint_{M\times M}K(x,y)\,\mathrm d\mu(x)\,\mathrm d\mu(y) \] on a closed manifold $M$. For kernels diagonal in a Laplace eigenbasis with nonnegative spectral coefficients, we prove a differential inequality relating the relative entropy to the energy gap. Consequently, for any nonnegative initial density $u_0\in L^p(M)$, $p>1$, the energy gap is integrable in time and satisfies \[ \mathsf E[\mu_t]-\mathsf E_{\min}=o(t^{-1}). \] If all spectral coefficients are positive, the flow converges weakly to the constant measure. These interaction energies need not be geodesically convex in Wasserstein space, and the associated flows contain no diffusion; their global convergence therefore does not follow from standard Wasserstein gradient flow theory. The kernels covered by our results include zonal kernels on spheres, kernels arising in transformer models, regularized Riesz kernels, and inverse fractional Laplacian kernels. We also investigate the sharpness of the $o(t^{-1})$ rate. For any smooth kernel in this class with infinitely many positive spectral coefficients and any $\delta>0$, we construct a solution of the linearized flow whose energy is comparable to $t^{-1-\delta}$ along a sequence of times tending to infinity. Moreover, for any $\delta>0$, by choosing a suitable inverse fractional Laplacian kernel on the flat torus, we construct an exact solution of the nonlinear Wasserstein gradient flow whose energy is comparable to $t^{-1-\delta}$. The nonlinear construction is based on uniform-in-time estimates for the evolution of the dyadic Fourier coefficient blocks and a blockwise energy-persistence argument. These estimates also yield a uniform-in-time quantitative comparison between the nonlinear Wasserstein gradient flow and its linearization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27008v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Wasserstein 공간에서의 차분 볼록(DC) 프로그래밍과 MMD 최적화에의 적용
Difference of Convex Programming in the Wasserstein Space with Applications to MMD Optimization
확률 측도 공간 위의 함수형(functional) 최적화는 이제 기계학습에서 매우 흔하다. 널리 쓰이는 접근은 Wasserstein 공간에서 직접 최적화를 수행하는 것이지만, 실용적으로 중요한 많은 목적 함수형은 Wasserstein 측지선(geodesic)을 따라 비볼록(non-convex)하여 표준 1차(first-order) 방법의 분석을 어렵게 만든다. 본 연구에서는 Wasserstein 공간 위의 목적 함수 중 차분 볼록(DC) 분해를 허용하는 한 클래스를 연구하고, 고전적인 볼록-오목 절차(CCCP)를 이 설정으로 끌어올린다. 분해의 볼록 성분에 대한 매끄러움(smoothness)과 강볼록성(strong convexity) 가정 하에서, 결과 알고리즘의 반복점(iterate)을 따라 거의 정상성(almost stationarity)을 증명한다. 주요 초점은 최대 평균 불일치(MMD)와 에너지 거리(ED) 함수형에 두며, 이에 대해 명시적인 Wasserstein DC 분해를 개발하고, 완화된 가정 하에서 해당 절차의 국소 수렴을 확립한다. 실험적으로, 잘 선택된 DC 분해가 이러한 MMD 목적에 대해 Wasserstein 경사하강법보다 더 빠르고 안정적인 수렴을 달성함을 보인다.
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고 모델을 위한 온-정책 자기 지식 증류의 재고찰
Rethinking On-Policy Self-Distillation for Thinking Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.