PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13841v1cs.LG

무작위 클럭을 통한 Heavy-Tailed Flow Matching

Heavy-Tailed Flow Matching via Random Clocks

heavy-tailed(꼬리분포가 두꺼운) 데이터는 드문 사건이 불균형적으로 큰 중요도를 갖는 다양한 영역에서 나타나며, 불균형 이미지 데이터셋, 금융 수익률, 극한 기상 현상 등이 그 예이다. 표준 디퓨전(diffusion) 및 플로우 매칭(flow matching) 모델은 일반적으로 가우시안 노이즈 또는 가우시안 소스 분포에서 시작하는데, 이는 다루기 쉬운 학습 목표를 제공하지만 heavy-tailed 데이터에 대한 귀납적(inductive) 적합성은 낮다. 본 논문은 heavy-tailed 소스를 클럭 조건 가우시안 소스의 혼합으로 표현하는 프레임워크인 무작위 클럭을 통한 Heavy-Tailed Flow Matching(HTFM)을 제안한다. 주어진 클럭 경로에 조건을 걸면 소스 분포와 플로우는 가우시안이 되며, 클럭에 대해 주변화(marginalizing)하면 가우시안, $α$-stable, Student-t 계열을 포괄하는 가우시안 스케일 혼합(Gaussian scale mixture)이 된다. 클럭 조건 벡터 필드를 실용적으로 만들기 위해, 경로 값을 갖는 클럭을 truncated logsignature 특징으로 인코딩하여 속도 필드가 실현된 조건부 공간에 미미한 오버헤드로 적응할 수 있게 한다. 2D 불균형 $α$-stable 혼합, CIFAR10-LT, HRRR 기상 필드에 대한 실험에서 HTFM은 가우시안 플로우 매칭 및 경쟁력 있는 heavy-tailed 베이스라인 대비 모드 커버리지, 샘플 품질, 꼬리 통계량 복원을 개선하면서 플로우 매칭의 낮은 NFE 샘플링 이점을 유지한다. 또한 무작위 클럭 공식화는 실용적인 꼬리 제어 인터페이스를 추가로 제공한다: 클럭 법칙 또는 꼬리 매개변수만 변화시키면 동일한 아키텍처가 서로 다른 분포 계열에 걸쳐 생성된 꼬리의 ``무거움(heaviness)''을 보정할 수 있다.

arXiv:2607.09547v1math.ST

High-Dimensional Interpolators Can Be Fragile: Heavy Tails and High-Dimensional Large Deviations

고차원 보간(interpolation)은 현대 머신러닝에서 흔히 사용되지만, 그 테일 위험(tail risk)은 기대 예측 위험에 비해 덜 이해되어 있다. 기존 이론은 보간 모델이 기댓값 측면에서 좋은 성능을 보일 수 있음을 보여주지만, 그러한 보장은 희귀하고 심각한 오류의 확률을 결정하지는 못한다. 운영 연구 및 확률적 의사결정 응용 분야에서는 희귀한 추정 오류가 하류(downstream) 효과에 불균형적인 영향을 미칠 수 있으므로, 평균 성능과 함께 테일 동작도 중요하다. 우리는 대편차(large-deviation) 방법을 사용하여 고차원 선형 보간법의 취약성을 연구한다. 우리는 능선 없는 회귀(ridgeless regression)에 초점을 맞추고 이를 릿지 정규화(ridge-regularized) 추정량과 비교한다. 먼저 능선 없는 회귀의 위험이 헤비 테일(heavy-tailed) 동작을 나타낼 수 있음을 보인다: 기대 위험은 잘 제어될 수 있지만, 상위 테일은 정규화된 대안보다 훨씬 느리게 감소할 수 있다. 이어서 우리는 이 현상을 대편차율(large-deviation rates) 수준에서 정량화한다. 우리가 연구하는 체제에서, 릿지 정규화는 고정된 우측 테일 편차를 $n^2$ 스케일에서 억제하는 반면, 능선 없는 회귀는 $n\log n$ 스케일의 감소만을 가지며, 여기서 $n$은 표본 크기이다. 이 격차는 보간이 평균적으로 정확하더라도 통계적으로 취약할 수 있음을 보여준다. 따라서 정규화는 일반적인 바이어스-분산 트레이드오프 외에도 희귀하고 고영향의 위험 사건의 빈도에도 영향을 미친다.

arXiv:2510.01163v2cs.LG

사전학습 분포는 문맥 내 학습을 어떻게 형성하는가? 근본적인 트레이드오프

How Does the Pretraining Distribution Shape In-Context Learning? A Fundamental Trade-Off

대규모 언어 모델(LLM)에서 문맥 내 학습(ICL)의 성능을 이끄는 요인들은, 모델이 소수의 예시만으로 새로운 태스크에 적응할 수 있다는 ICL의 놀라운 효과성에도 불구하고, 아직 제대로 이해되지 않고 있다. 이러한 능력을 명확히 규명하고 향상시키기 위해, 우리는 사전학습 분포의 통계적 특성(예: 꼬리 거동, 커버리지)이 ICL을 어떻게 형성하는지 분석한다. 우리는 일반화와 태스크 선택을 포괄하는 이론적 프레임워크를 개발하고, 분포적 특성이 샘플 효율성, 태스크 검색, 그리고 강건성을 어떻게 지배하는지 보인다. 이를 위해 기존의 집중 결과(concentration results)를 중꼬리 사전(heavy-tailed priors) 및 종속 시퀀스로 일반화하여 LLM 사전학습 데이터의 구조를 보다 잘 반영한다. 우리의 프레임워크는 근본적인 설계 트레이드오프를 드러낸다: 중꼬리 사전학습 분포는 분포 이동 하에서 강건한 태스크 선택을 촉진하지만, 특히 데이터가 적은 환경에서 일반화에는 해롭다. 이어서 확률 미분 방정식 및 메모리를 가진 확률 과정과 같은 어려운 태스크에서 사전학습 분포에 따라 ICL 성능이 어떻게 달라지는지를 연구함으로써 우리의 예측을 실증적으로 평가한다. 이러한 결과들은 종합적으로, 사전학습 분포의 핵심 통계적 특성을 제어하는 것이 ICL 능력을 갖춘 신뢰할 수 있는 LLM을 구축하는 데 필수적임을 시사한다.

arXiv:2605.20068v2stat.ML

Heavy-Tailed Flow Matching을 위한 꼬리 어닐링

Tail Annealing for Heavy-Tailed Flow Matching

heavy-tailed 데이터에서 Lipschitz 아키텍처는 가우스 노이즈로 power-law 꼬리를 생성할 수 없어 표준 플로우 매칭이 어려운 문제에, 학습 전 좌표별 soft-log 변환을 적용하고 생성 후 지수 역변환하는 Log-FM을 제안한다. Hill 진단으로 변환이 필요한 좌표만 선택하며, 144-configuration 다변량 벤치마크에서 W_1, CVaR_99, extreme-quantile 지표로 specialized baseline을 능가했고, 2,880회 실행 전체에서 severe divergence가 0인 유일한 방법이었다.