PyTorchKR Papers

업데이트된 논문

총 25편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2506.20630v2math.OC

결정론적 제약이 있는 확률적 및 유한합 볼록 최적화를 위한 1차 방법

First-order methods for stochastic and finite-sum convex optimization with deterministic constraints

본 논문에서는 결정론적 제약이 있는 확률적 및 유한합 볼록 최적화 문제의 한 부류를 연구한다. 기존 방법은 일반적으로 기대 제약 위반과 기대 최적성 격차가 모두 주어진 허용 오차 $\epsilon$ 이내인 $\epsilon$-$expected\ feasible\ stochastic\ optimal$ 해를 찾는 것을 목표로 한다. 그러나 많은 실제 응용에서는 제약이 확실하게 거의 만족되어야 하므로, 이러한 해는 상당한 위반의 위험 때문에 적합하지 않을 수 있다. 이 문제를 해결하기 위해 본 논문은 제약 위반이 결정론적으로 $\epsilon$ 이내로 제한되고 기대 최적성 격차가 최대 $\epsilon$인 $\epsilon$-$surely\ feasible\ stochastic\ optimal$($\epsilon$-SFSO) 해를 찾는 확률적 1차 방법을 제안한다. 제안 방법은 적절히 선택된 벌점 매개변수를 갖는 이차 벌점 부분문제의 수열에 가속 확률적 경사(ASG) 기법 또는 수정된 분산 감소 ASG 기법을 $only\ once$ 적용한다. 제안 방법이 $\epsilon$-SFSO 해를 계산하는 데 필요한 1차 오라클 복잡도 한계를 증명한다. 제안 방법의 성능을 보이기 위한 예비 수치 결과를 제시한다.

arXiv:2610.13590v2math.OC

강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한

Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets

최근 결과들[arXiv:2602.04378, arXiv:2602.22608]은 강볼록 집합 위의 최적화에 대한 하한을 각각 특정 Frank-Wolfe 갱신과 제한 없는 결정론적 1차 선형 최소화 오라클(LMO) 방법에 대해 확립하였다. 어느 쪽도 제한 없는 무작위화 방법에 대한 하한은 확립하지 못한다. 우리는 최종 출력이 모든 인스턴스와 시드에서 실현 가능해야 한다는 조건 하에, 강볼록 집합 위의 무작위화 1차 LMO 방법에 대해 오라클 호출 $T$회 후 $\Omega(L\operatorname{diam}(S)^2/T^2)$ 분포적 하한을 증명함으로써 이 간극을 메운다. 우리의 구성은 [arXiv:2602.22608]의 족을 재사용하지만, 증명은 적응적 질의 이후 숨겨진 순열의 조건부 분포를 규명하고 최적화기 분산을 제어하는 조합적 통계량의 기대 감소량에 대한 상계를 제시한다. 또한 동일한 오차 임계값이 적어도 $3/4$의 확률로 성립하며 정지 시간 꼬리 한계를 도출함을 보인다. 우리의 구성은 [arXiv:2602.22608]과 동일한 곡률-지름 결합을 사용한다. 상계 [arXiv:1406.1305]와의 비교는 이 결합을 반드시 고려해야 한다. 별도로, 규정된 느린 정확 직선 탐색 Frank-Wolfe 궤적이 충분히 작은 초기화 오차를 국소적으로 증폭할 수 있음을 보이며, 이는 반복당 대략 1비트의 추가 초기화 정확도에 해당한다. 또한 특정한 최종 느린 포락선을 만족하는 초기화는 평면 측도가 0임을 보인다.

arXiv:2608.23986v4math.OC

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

arXiv:2412.14291v3math.OC

비볼록 및 확률적 매끄러운 최적화를 위한 사영 경사법: 새로운 복잡도와 자동 조건화 스텝 크기

Projected gradient methods for nonconvex and stochastic smooth optimization: new complexities and auto-conditioned stepsizes

본 논문은 볼록 컴팩트 집합 위에서 매끄럽지만 반드시 볼록하지는 않은 함수를 최소화하기 위한 새로운 부류의 사영 경사(PG)법을 제시한다. 먼저 고정 스텝 크기 PG 방법에 대한 새로운 분석을 제공하여, 볼록 및 비볼록 문제에서 근사 정류점을 찾기 위한 통합된 반복 복잡도를 달성한다. 이어서 기울기의 립시츠 상수의 입력이나 어떠한 선 탐색 절차도 필요로 하지 않으면서 동일한 반복 복잡도를 달성하는 "자동 조건화" 사영 경사(AC-PG) 변형을 개발한다. 핵심 아이디어는 이전 반복에서 수집한 1차 정보를 이용해 립시츠 상수를 추정하고, 립시츠 상수를 과소 추정하여 발생하는 오차가 적절히 제어될 수 있음을 보이는 것이다. 그런 다음 확률적 사영 경사(SPG) 방법과 분산 감소 확률적 경사(VR-SPG) 방법을 제안하여 PG 방법을 확률적 설정으로 일반화하고, 서로 다른 오라클 설정에서 새로운 통합 복잡도 상界를 달성한다. 또한 두 확률적 PG 방법 모두에 대한 자동 조건화 스텝 크기 정책을 제시하고 유사한 수렴 보장을 확립한다.

arXiv:2607.01551v3cs.NE

MMAO: 대사 폐루프 메타휴리스틱의 메커니즘 및 안정성 분석

MMAO: Mechanism and Stability Analysis of Metabolic Closed-Loop Metaheuristics

본 논문은 대사 다중 에이전트 최적화기(Metabolic Multi-Agent Optimizer, MMAO)를 구현이나 벤치마크 수준이 아닌 프레임워크 수준에서 연구한다. 핵심 질문은 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체로 이루어진 대사 자원 순환이 서사적 비유를 넘어서는 프레임워크 수준의 해석을 가지는가이다. 도메인 특화 이동 연산자는 추상화하되 프레임워크를 규정하는 자원 장부 관리는 유지하는 일반적인 MMAO 상태 모델을 도입한다. 완만한 이득 유계 및 지출 유계 가정 하에서 개별 에너지, 공동 예산, 역할 상태, 활성 개체군 크기에 대한 유계성과 비음수성을 증명한다. 이어서 순환의 세 가지 내생적 행동 양상을 규명한다. 지속적인 자원 부족 하의 수축, 공동 축적 잉여 하의 재투자, 에이전트 또는 하위 집단 간 이질적인 한계 수익 하의 탐색 재분배가 그것이다. 이 분석은 의도적으로 보수적이다. 전체 적응 시스템의 전역 수렴, 전문 최적화기에 대한 보편적 우월성, 결과 과정의 완전한 정상상태 특성화를 주장하지 않는다. 대신 어떤 내부 조절 특성이 순환의 일반적 귀결이고 어떤 것이 구현에 따라 달라지는지를 식별한다. 대표적인 연속 및 이산 MMAO 구현에 대한 간결한 메커니즘 검증 패키지는 이러한 해석을 뒷받침하는 경험적 증거를 제공하지만 전체 벤치마크 연구를 대체하려는 것은 아니다. 이 분석은 MMAO에 대해 유계적, 재생적, 자원 조절적 해석을 제공하며, 구현 수준의 성능 문제는 열어 둔다.

arXiv:2607.00846v3cs.NE

MMAO-Dyn: 동적 최적화를 위한 대사 다중 에이전트 최적화기

MMAO-Dyn: A Metabolic Multi-Agent Optimizer for Dynamic Optimization

본 논문은 대사 다중 에이전트 최적화기(MMAO)를 핵심 대사 제어 루프를 외부 적응 모듈로 대체하지 않고도 동적 최적화 기법으로 신뢰성 있게 유도할 수 있는지를 연구한다. 제안하는 MMAO-Dyn은 개별 에너지, 공동 예산, 역할 변동, 성공 피드백, 생애주기 교체를, 환경 변화가 이전에 유용했던 국소 구조를 반복적으로 무효화하는 비정상 환경에 대응시킨다. 이동된 sphere, 이동된 Ackley, 이동된 Rastrigin 지형을 $10D$, $20D$, $30D$에서 다루고, 두 가지 변화 강도와 시나리오당 12개의 시드를 갖는 18개 시나리오의 합성 동적 연속 벤치마크 행렬에서 MMAO-Dyn을 평가한다. 비교 계층에는 동적 유도를 적용하지 않은 일반 MMAO 변형, 동적 랜덤 탐색, 동적 PSO-lite, 동적 DE-lite, 그리고 세 가지 내생적 제거 변형이 포함된다. 전체 216회 실행 행렬에서 MMAO-Dyn은 평균 오프라인 오차 $28.07$을 달성하여 Generic-MMAO($29.36$), Dynamic-PSO-lite($34.65$), Dynamic-DE-lite($67.09$), Dynamic-RandomSearch($111.37$)를 앞선다. 이득은 sphere와 Rastrigin 계열의 종합 강건성과 일반 백본 대비 변화 후 10단계 회복에서 가장 뚜렷한 반면, Dynamic-PSO-lite와의 시드 정렬 비교는 승패 횟수에서 여전히 불리하며 NoMemoryRefresh 제거 변형은 전체 방법과 매우 가깝게 유지된다. 결과는 대사 순환을 동적 최적화로 확장하는 것을, 특히 회복 지향적 자원 재분배를 통해 뒷받침한다.

arXiv:2606.31584v3cs.NE

공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가

A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks

본 논문은 프레임워크 자체를 다시 소개하는 대신, 더 엄격한 경험적 프로토콜 하에서 대사 다중 에이전트 최적화기(MMAO)를 평가한다. 연구는 MMAO의 폐루프 자원 할당 원리가 더 광범위하고 더 표준적이며 예산이 더 명시적으로 통제된 연속 및 이산 벤치마크에서도 신뢰성을 유지하는지를 묻는다. 완료된 주요 행렬은 각각 20개 시드를 갖는 10D와 30D의 CEC2017 함수 8개와 각각 20개 시드를 갖는 TSPLIB 인스턴스 5개를 다루며, PSO-lite, ES-lite, 반복 탐욕 2-opt 경로 기준선을 포함한 더 강력한 재현 가능 기준선과 함께 평가한다. 여기에 공동 예산, 성공률, 역할 진화, 개체군 교체에 대한 궤적 수준 진단을 추가하고, 이산 증거를 경로 문제 너머로 확장하기 위해 보조적인 OR-Library 다중 배낭 문제 일부도 더한다. 이 프로토콜 하에서 MMAO는 연속 영역과 TSPLIB 영역 모두에서 외부 기준선 집합을 뚜렷하게 능가하며, 제거 변형들은 외부 기준선보다 전체 방법에 훨씬 더 가깝게 유지된다. 결과는 시험한 영역 전반에서 내생적 자원 재분배를 뒷받침하지만, 더 정밀한 메커니즘 분리와 더 폭넓은 대회 수준 비교는 열린 과제로 남는다.

arXiv:2606.28109v3cs.NE

MMAO: 연속 및 이산 최적화를 위한 내인성 자원 할당 기반 대사적 다중 에이전트 옵티마이저

MMAO: A Metabolic Multi-Agent Optimizer with Endogenous Resource Allocation for Continuous and Discrete Optimization

전통적인 메타휴리스틱은 흔히 고정된 개체군 크기, 수동으로 선택한 탐색 스케일, 외부에 부착된 파라미터 제어 모듈에 의존한다. 본 논문은 개별-공공 대사 자원 순환으로부터 적응이 내생적으로 도출되는 교차 도메인 최적화 프레임워크인 대사 다중 에이전트 최적화기(MMAO)를 제시한다. 각 에이전트는 내부 에너지, 연속적인 역할 상태, 이동 또는 구조 기억, 국소 탐색 이력을 지니며, 개체군은 공동 자원 풀을 공유한다. 적합도 향상은 강건한 진행 스케일과 최근 성공 통계를 통해 정규화된 대사 이득으로 변환되고, 동일한 폐루프가 감지 강도, 탐색 진폭, 역할 변동, 분기, 가지치기, 재생성, 엘리트 재투자를 조절한다. 연속 환경에서 MMAO는 에너지로 조절되는 대칭 영차 탐침과 역할 보간 이동을 사용한다. 이산 환경에서는 동일한 제어 법칙이 구조적 감지, 국소 경로 개선, 유도된 섭동, 에너지 가중 간선 재사용을 통해 구현된다. 본 논문은 구현에 충실한 정식화와 CEC2017 부분집합(10D/30D, 20개 시드) 및 5개의 TSPLIB 인스턴스(이산 실행 총 100회)에 대한 재현 가능한 실험 연구를 결합한다. 현재의 증거는 MMAO를 보편적으로 우월한 최적화기로서가 아니라, 주로 파라미터 부담이 적고 자기 보정하는 최적화 프레임워크로서 뒷받침하며, 그 주된 검증된 독창성은 이질적인 탐색 행동 전반에 걸친 대사적으로 내생적인 자원 할당에 있다.

arXiv:2605.22432v3cs.LG

AMUSE: 안정적 그래디언트 평가를 갖춘 Anytime Muon

AMUSE: Anytime Muon with Stable Gradient Evaluation

현대 심층 학습은 일반적으로 지정된 학습률 스케줄과 함께 AdamW에 의존하지만, 최근 연구들은 두 요소 모두에 이의를 제기한다. Schedule-Free 최적화는 반복 평균화를 통해 명시적 스케줄을 제거하고, Muon은 행렬 파라미터에 대해 모멘텀을 직교화함으로써 업데이트 기하학을 개선한다. Muon의 강력한 실증적 성능에도 불구하고, 그 근본 메커니즘은 부분적으로만 이해되고 있다. 우리는 river-valley 손실 지형을 통해 Muon을 연구한다. 여기서 유용한 학습 진행은 평탄하고 낮은 곡률의 bulk 부분공간(river)을 따라 이루어지며, 높은 곡률의 지배적 방향은 가파른 계곡 벽(valley walls)을 형성하여 진동을 유발한다. 우리는 실증적으로 Muon의 직교화가 bulk 성분을 증가시켜 river 진행을 가속하지만, 동시에 지배적 방향 노이즈를 증폭하여 진동하는 궤적을 유발함을 보인다. 이를 바탕으로, 우리는 Muon의 빠른 bulk 진행과 Schedule-Free 평균화의 안정화 효과를 통합하는 Anytime Muon with Stable Gradient Evaluation(AMUSE)를 제안한다. AMUSE는 시간에 따라 변하는 보간 계수를 사용하여, 초기에는 빠른 Muon 시퀀스 근처에서 그래디언트를 평가하여 신속한 적응을 이루고, 이후 점진적으로 안정적인 평균화된 시퀀스 쪽으로 이동하여 계곡 벽 진동을 억제한다. 그 결과 AMUSE는 학습률 스케줄이 필요 없으며 anytime 학습을 지원한다. 비전 태스크와 대규모 언어 모델 사전학습 전반에 걸쳐, AMUSE는 (Schedule-Free) AdamW 및 Muon 대비 성능-반복 파레토 프론티어를 일관되게 개선한다.

arXiv:2607.12775v3math.OC

시나리오 기반 모델 예측 제어의 학습 기반 가속

Learning-enabled Acceleration of Scenario-based Model Predictive Control

시나리오 기반 모델 예측 제어(SBMPC)는 여러 예측 시나리오에 걸쳐 제어 입력을 최적화함으로써 불확실성을 명시적으로 고려하는 모델 예측 제어(MPC)의 한 변형이다. 그러나 계산 복잡도가 시나리오 수와 예측 구간에 따라 급격히 증가하여 실시간 계획 및 제어에의 적용이 제한된다. 본 논문은 병렬 계산과 Moreau 포락선 학습을 활용하여 높은 해의 정확도를 유지하면서 SBMPC 문제를 효율적으로 풀기 위한 학습 가속 교대 방향 승수법(ADMM) 알고리즘을 제시한다. 우리는 SBMPC 문제를 ADMM으로 분해할 수 있는 합의 형태로 재구성하여, 시나리오 의존적 동역학을 비예측성 제약으로부터 분리하고 시나리오와 시간 단계에 걸친 병렬 갱신을 가능하게 한다. 이 분해를 바탕으로, 비용 함수의 Moreau 포락선 학습을 활용하는 learning-to-optimize 기법으로 ADMM의 주 변수 갱신을 가속하여 계산 시간을 줄인다. 제안한 프레임워크는 부하와 재생에너지 발전의 불확실성을 갖는 마이크로그리드 에너지 관리 문제에서 평가된다. 대표적인 최신 비선형 계획법 솔버인 IPOPT 및 MadNLP와의 비교에서, 신뢰할 수 있는 폐루프 제어 성능을 유지하면서 상당한 계산 속도 향상을 보였다.

arXiv:2605.11506v3cs.CV

역문제를 위한 확산 기반 최적화기의 원칙적 설계

Principled Design of Diffusion-based Optimizers for Inverse Problems

스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.

arXiv:2607.09745v2cs.AI

SupplyNetPy: 임의 공급망 및 재고 네트워크의 고충실도 모델링과 시뮬레이션을 위한 오픈소스 Python 라이브러리

SupplyNetPy: An Open-Source Python Library for High-Fidelity Modeling and Simulation of Arbitrary Supply Chain and Inventory Networks

본 논문은 임의의 다단계 구조를 갖는 공급망 네트워크의 모델링 및 이산 사건 시뮬레이션을 위한 오픈소스 Python 라이브러리인 SupplyNetPy를 소개한다. 이 라이브러리는 다양한 보충 정책, 부패 가능 재고, 노드(node) 장애, 확률적 수요 및 리드 타임을 지원한다. 모든 컴포넌트는 상속을 통해 확장 가능하다. 사용자는 노드와 링크 속성을 가진 그래프로 공급망을 기술하며, 라이브러리는 시뮬레이션을 처리하고 로그 및 노드·네트워크 수준의 상세 성능 보고서를 제공한다. 본 논문은 SupplyNetPy의 개발 동기, 설계, 주요 기능, 아키텍처와 함께 상세한 검증(validation) 결과(분석적 벤치마크, 상용 도구, 발표된 사례 연구와의 비교)를 제시한다. SupplyNetPy 개발의 핵심 동기는 복잡한 모델의 프로그래밍 방식 생성 및 시뮬레이션으로, 설계 공간 탐험(exploration), 가상 시나리오 분석, 학습(training) 데이터 생성, 공급망 디지털 트윈을 가능하게 하는 데 있다.

arXiv:2403.03007v5stat.CO

확률적 그래디언트 마르코프 연쇄 몬테카를로를 이용한 베이지안 일반화 선형 혼합 모델의 확장 가능하고 보정된 샘플링

Scalable and Calibrated Sampling for Bayesian Generalized Linear Mixed Model via Stochastic Gradient Markov Chain Monte Carlo

대규모 생의학 및 사회과학 데이터 분석에 널리 쓰이는 일반화 선형 혼합 모델(GLMM)의 확장 가능한 베이지안 추론을 위해, Fisher의 항등식을 활용한 주변 로그 가능도 그래디언트 추정에 기반한 확률적 그래디언트 MCMC(SGMCMC) 알고리즘을 제안한다. 데이터 서브샘플링과 그래디언트 근사에서 발생하는 분산 팽창을 사후 보정하여 전자 건강 기록 데이터 분석을 포함한 시뮬레이션 연구에서 기존 제어 변량 방법 대비 정확한 사후 불확실성 정량화를 달성하였다.

arXiv:2607.22862v2cs.NE

매개변수화된 CEC 2017 벤치마크를 이용한 변환의 민감도 분석

Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark

CEC 2017은 편향(bias), 이동(shift), 회전(rotation)을 동시에 적용하므로 각각이 알고리즘 동작에 미치는 개별 효과가 가려진다. 우리는 원래의 함수와 변환 데이터를 보존하면서 이들을 독립적으로 제어하는 매개변수화된 구현을 소개한다. 이를 이용하여, 예측 후보 메커니즘이 수치적 목적함수 값과 좌표별 재구성에 의존하는 하이브리드 해양 포식자 알고리즘(hMPA)을 진단한다. 심층 통계 비교(DSC)와 확장 DSC(eDSC)를 알고리즘 수준의 비교에서 구성 수준의 진단으로 적응시켰다. 우리가 아는 한, 이는 매개변수화된 CEC 2017 벤치마크의 편향-이동-회전 8개 구성 전체에 대한 최초의 철저한 DSC 및 eDSC 분석이다. 29개 함수, 차원 10, 30, 50, 100, 30회의 독립 실행, 차원당 10,000회의 목적함수 평가라는 고정 예산을 사용하여, 가능한 56개의 3개 구성 부분집합 전부와 변환하지 않은 대조군과의 비교를 검토한다. DSC와 eDSC는 모든 차원에서 구성 간 통계적으로 유의한 차이를 보이지만, 순위는 함수에 따라 달라 일관된 순서를 정할 수 없다. 대부분의 개별 효과 크기 신뢰구간은 0을 포함한다. 0을 포함하지 않는 경우 중에서는, 차원 10에서는 MPA가, 차원 50과 100에서는 hMPA가 유리한 비교가 더 많다. 이동은 대체로 목적함수 값 결과를 악화시킨다. 단독 회전은 체계적인 성능 저하를 일으키지 않으며, 단독 편향은 최종 해 분포를 거의 바꾸지 않는다. 이동과 회전의 결합은 대조군과 가장 일관되게 다르다. 수렴 곡선은 함수 및 차원에 따라 달라지는 분리, 정체 구간, 후반부 개선을 보여 준다. 수치적 결과는 hMPA에 한정되지만, 이 프레임워크는 다른 연속 최적화 알고리즘으로 확장될 수 있고 CEC 2024 및 CEC 2025를 포함한 관련 CEC 벤치마크에도 적용할 수 있다.

arXiv:2606.30509v2cs.LG

Muon은 느린 안장점 간 동역학 없이 행렬 분해에서 균형 해를 학습한다

Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics

Matrix factorization (i.e., problems of the form $\min_{\mathbf{P},\mathbf{Q}} \|\mathbf{M}^\star - \mathbf{P}^\top\mathbf{Q}\|_\mathrm{F}^2$) is a minimal learning problem that exhibits both nonlinear parameter dynamics and representation learning. In this setting, we study how parameter trajectories under the Muon optimizer differ from those of gradient descent. We identify three main dynamical differences: (1) Muon avoids the slow saddle-to-saddle dynamics of GD from small initialization. Muon instead learns all the top singular vectors of $\mathbf{M}^\star$ at the same rate, and they saturate in order of increasing (rather than decreasing) singular value. (2) Muon does not diverge even when the learning rate exceeds the critical threshold set by the local loss sharpness. This frees the learning rate from the condition number of the problem, enabling rapid convergence via exponential learning rate annealing. (3) Once the weights are aligned with each other and the target, Muon flow conserves the matrix quantity $\sqrt{\mathbf{P}^\top \mathbf{P}}-\sqrt{\mathbf{Q}^\top \mathbf{Q}}$, while gradient flow is known to conserve the matrix $\mathbf{P}^\top\mathbf{P} - \mathbf{Q}^\top\mathbf{Q}$. Despite having distinct conserved quantities, both optimizers find the so-called balanced solution from vanishing initialization. When training from small random initialization, the weights spontaneously align early in training. We derive the alignment rates in simple settings and show that they predict the empirical alignment rates in general. Finally, we exploit structural properties of Muon to construct a learning rate schedule that achieves near-perfect alignment in only two optimization steps.

arXiv:2606.27767v2cs.LG

Wasserstein 공간에서의 차분 볼록(DC) 프로그래밍과 MMD 최적화에의 적용

Difference of Convex Programming in the Wasserstein Space with Applications to MMD Optimization

확률 측도 공간 위의 함수형(functional) 최적화는 이제 기계학습에서 매우 흔하다. 널리 쓰이는 접근은 Wasserstein 공간에서 직접 최적화를 수행하는 것이지만, 실용적으로 중요한 많은 목적 함수형은 Wasserstein 측지선(geodesic)을 따라 비볼록(non-convex)하여 표준 1차(first-order) 방법의 분석을 어렵게 만든다. 본 연구에서는 Wasserstein 공간 위의 목적 함수 중 차분 볼록(DC) 분해를 허용하는 한 클래스를 연구하고, 고전적인 볼록-오목 절차(CCCP)를 이 설정으로 끌어올린다. 분해의 볼록 성분에 대한 매끄러움(smoothness)과 강볼록성(strong convexity) 가정 하에서, 결과 알고리즘의 반복점(iterate)을 따라 거의 정상성(almost stationarity)을 증명한다. 주요 초점은 최대 평균 불일치(MMD)와 에너지 거리(ED) 함수형에 두며, 이에 대해 명시적인 Wasserstein DC 분해를 개발하고, 완화된 가정 하에서 해당 절차의 국소 수렴을 확립한다. 실험적으로, 잘 선택된 DC 분해가 이러한 MMD 목적에 대해 Wasserstein 경사하강법보다 더 빠르고 안정적인 수렴을 달성함을 보인다.

arXiv:2605.24274v3cs.LG

입력 볼록 신경망 학습을 위한 리프트

A lift for input-convex neural net training

입력 볼록 신경망은 밀도 모델과 수송 사상의 볼록 포텐셜을 매개변수화하며, 그 볼록성을 위해서는 계층 간 가중치가 비음수여야 한다. 투영 경사 하강법은 매 단계 후 투영을 수행하여 이를 강제하는데, 미니배치 잡음 때문에 경계를 무한히 반복해서 넘나들게 되어 투영이 식별하지 못하는 활성 집합이 발생한다. 미분 가능한 대안인 직접 소프트플러스는 소프트플러스 양수화 사상을 통해 자유 잠재 가중치를 최적화한다. 해당 잠재 가중치가 0보다 훨씬 작은 곳에서는 사상의 도함수가 지수적으로 작아 기울기와 그 잡음을 모두 축소시킨다. 이 영역을 어깨(shoulder)라 부르며, 여기에 도달한 가중치는 거의 움직이지 않고 지수적으로 긴 시간 동안 머무른다. 본 연구는 자유 잠재 가중치를 학습 가능한 슬랙과, 학습 배치의 순열 불변 요약을 입력받는 하이퍼네트워크의 출력의 합으로 대체하는 리프트(lift)를 제안한다. 그러면 잠재 가중치가 기울기를 구성하는 바로 그 배치에 따라 변하므로 둘이 결합된다. 이러한 결합이 갱신의 분산에 1차로 한 항을 더함을 보이고, 슬랙, 배치 의존성, 공유 배치가 각각 이를 위해 필요함을 보인다. 결합이 손실 곡률과 양의 방향으로 정렬되는 경우, 어깨에 놓인 가중치는 전조건화 확률적 경사 하강법에서도 직접 소프트플러스보다 리프트에서 손실의 장벽을 더 빨리 넘는다. 여러 응용에서 리프트를 기존 두 방법과 비교한다. 직접 소프트플러스의 제약 가중치가 어깨에 도달하는 경우, 리프트는 직접 소프트플러스보다 목표를 더 가깝게 적합하며 같은 재구성 수준에 약 세 배 빨리 도달한다. 거의 어떤 가중치도 어깨에 도달하지 않는 경우에는 방법들이 서로 일치한다.

arXiv:2610.13799v2math.OC

평활성 및 잡음 조건에 걸친 적응형 분산 감소

Adaptive Variance Reduction across Smoothness and Noise Conditions

본 논문은 평활성과 잡음 조건이 알려지지 않은 상황에서의 적응형 확률적 비볼록 최적화를 연구한다. 제안하는 알고리즘은 평활성 상수, 잡음 상한, 초기 함수 격차, 오라클 영역 레이블을 필요로 하지 않는다. 먼저 정규화된 모멘텀, 재귀적 분산 감소, 새로운 그래디언트 단계를 결합한 뒤 후보들에 대한 새로운 검증을 수행하는 고정 예산 방법을 제안한다. 동일한 출력이 목적 함수 평활성과 유계 잡음 분산 하에서 기대 그래디언트 노름 $O(T^{-1/4})$를, 평균 평활성 하에서 $O(T^{-1/3})$를, 잡음 없는 그래디언트에 대해서는 $O(T^{-1/2})$를 가짐을 증명하며, 여기서 $T$는 개별 그래디언트 평가 횟수를 센다. 이어서 세 가지 최적화 경로가 보고 및 예산 확장 경계에 걸쳐 각자의 종점을 보존하는 애니타임 알고리즘을 개발한다. 알고리즘이 예산 $T$에 대한 정보를 받지 않음에도 모든 결정론적 질의 예산에서 동일한 세 가지 수렴률이 성립한다. 분석은 스케일 포텐셜, 균일한 2차 모멘트 상한, 그리고 미완료 블록을 거쳐 유지되는 후보에 대한 회계를 결합한다. 선택적 표본 평균 선택기는 이러한 수렴률을 보존하면서 누적 검증 작업을 $O(T)$에서 $O(T^{2/3})$로 추가로 줄인다.

arXiv:2606.30444v3stat.ML

XOR 모델에서 SGD는 지름길 허위 특징을 우선적으로 학습함을 증명

SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model

신경망은 허위 상관관계에 과도하게 의존하는 경향이 있다고 알려져 있다. 그러나 모델이 지름길 특징을 활용하는 정확한 메커니즘은 충분히 이해되지 않았으며, 이러한 행동을 완화하는 알고리즘은 학습된 표현에 대한 아직 정당화되지 않은 가정에 의존한다. 본 연구에서는 로지스틱 손실에 대해 온라인 미니배치 SGD로 학습된 2층 ReLU 신경망의 허위 특징 학습에 대한 최초의 종단 간(end-to-end) 이론적 특성화를 제시한다. 우리는 이차 신호 함수(즉 XOR)와 선형 허위 상관관계를 갖는, 고차원 불리언 초입방체에서 추출된 데이터를 고려한다. SGD가 허위 특징을 먼저, 그리고 지수적으로 빠르게 학습함을 보인다. 더욱이 최적화 동역학은 허위 특징과 신호 특징을 결합시키며, 더 강한 허위 성분이 신호 특징 학습을 저해한다. 우리의 분석은 학습 동역학에서 정확한 상전이를 밝혀낸다. 첫 번째 단계에서는 허위 특징과 두 번째 층 가중치의 부호 정렬이 허위 특징의 급격한 성장을 이끈다. 두 번째 단계에서는 큰 다수 집단 마진이 학습을 늦추고 신호 특징은 억제된 상태로 남는다. 허위 상관관계가 최대로 강할 때, XOR이 단독으로(즉 허위 특징이 없을 때) 학습되는 표본 복잡도 임계점에서도 허위 특징이 지배적임을 이론적으로 보인다. 반면 상관관계 강도가 상수일 때는 허위 특징이 잊히지는 않지만 모델이 결국 XOR 신호를 학습할 수 있다는 예비적 증거를 제시한다.

arXiv:2606.23662v2stat.ML

Action-BED: 단일 intractable 목적을 갖는 태스크 기반 베이지안 실험 설계(BED)

Action-BED: Task-Driven Bayesian Experimental Design with Singly Intractable Objectives

베이지안 실험 설계(BED)를 다운스트림 행동의 기대 미래 손실(EFL) 최소화로 재정식화한 Action-BED는 이중 intractable한 불확실성 감소 목표를 단일 intractable 목적함수로 바꾸고, 확률적 그래디언트로 설계 정책과 행동 정책을 공동 최적화한다. 명시적 사후·주변 가능도 추정 없이 결합 모델 샘플링과 다운스트림 손실 평가만으로 태스크 맞춤형 실험 설계 정책을 더 단순하고 효율적으로 학습할 수 있으며, 실험에서 기존 최신 방법 대비 우수한 성능을 보인다.