한국어 초록
볼록 이차 손실과 일반적인 볼록 하반연속 미러 포텐셜(mirror potential)로 생성되는 미러 흐름(mirror flow)을 연구한다. 미러 포텐셜의 정의역 경계 근처에서 초기화할 때, 재스케일된 궤적이 정의역의 지시함수를 포텐셜로 하는 극한 미러 흐름으로 수렴함을 보인다. 이 극한에서 원시 변수는 시간에 따라 변하는 가설 집합 위에서 손실을 최소화하며, 이 가설 집합은 쌍대 변수에서 평가된 정의역의 지지함수의 부미분(subdifferential)이다. 이러한 특성화는 미러 흐름에서 점진적 학습(incremental learning)을 위한 일반적인 메커니즘을 제공한다.
원문 초록
We study mirror flows generated by a convex quadratic loss and a general convex lower semicontinuous mirror potential. We show that, when initialized near the boundary of the domain of the mirror potential, their rescaled trajectories converge to a limiting mirror flow whose potential is the indicator function of the domain. In this limit, the primal variable minimizes the loss over a time-dependent hypothesis set: the subdifferential of the support function of the domain, evaluated at the dual variable. This characterization provides a general mechanism for incremental learning in mirror flows.
요약
convex quadratic loss와 볼록 미러 포텐셜(mirror potential)로 정의된 mirror flow는, 미러 포텐셜 정의역 경계 근처에서 초기화될 때 재스케일된 궤적이 정의역의 지시함수를 포텐셜로 하는 극한 동역학으로 수렴하며, 원시 변수가 시간에 따라 변하는 가설 집합 위에서 손실을 순차적으로 최소화한다. 비음수 직교 좌표, 양의 준정부호 쐘(positive semidefinite cone), 확률 심플렉스(probability simplex) 적용은 대각선형 신경망과 행렬 분해의 점진적 학습(incremental learning)을 이 틀의 특수 경우로 통합해 설명한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.23198v2제출 시각 미확인
- arXiv:2606.23198v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한
Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고 모델을 위한 온-정책 자기 지식 증류의 재고찰
Rethinking On-Policy Self-Distillation for Thinking Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.