PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13871v1cs.LG

영차 잔차 추적을 통한 부분 정보 확률적 최적화

Partially Informed Stochastic Optimization via Zeroth-Order Residual Tracking

많은 최적화(optimization) 문제에서는 그래디언트(gradient)의 일부에만 직접 접근할 수 있으며, 나머지 성분은 함수 평가를 통해 추론해야 합니다. 이러한 구조는 수행적 예측(performative prediction), 수행적 강화학습(performative reinforcement learning), 그리고 블랙박스 하위 레벨을 갖는 이단계 최적화(bilevel optimization)에서 발생합니다. 본 논문에서는 사용 가능한 그래디언트 성분과 잔차의 이동 추정치를 결합하는 부분 정보 확률적 최적화(Partially Informed Stochastic Optimization, PISO)를 제안합니다. PISO는 각 영차(zeroth-order) 관측을 이 추정치 중심으로 정렬함으로써, 무작위 탐침으로 인한 분산이 잔차의 크기가 아닌 추적 오차에 의존하도록 만듭니다. 이를 통해 명시적인 수축 메커니즘과 모멘텀(momentum)에 대한 원리적 해석을 갖춘 무작위 스케치 반복(iteration)을 도출합니다. 매끄러운 비볼록 목적 함수에 대해, 접근 불가능한 그래디언트 성분에 대한 균일한 경계를 요구하지 않으면서 잔차의 변동과 초기 크기에 의존하는 수렴(convergence) 보장을 확립합니다. 독립적으로 샘플링된 함수 평가와 가우시안 또는 구면 탐침을 사용할 때, PISO는 립시츠 그래디언트 조건에서 \(O(d^{2}\varepsilon^{-6})\), 추가적인 립시츠 헤시안(Hessian) 가정 하에서는 \(O(d^{2}\varepsilon^{-5})\)의 우수한 함수 평가 복잡도를 달성합니다. 이러한 수렴 속도는 업데이트당 단 하나의 탐침 방향, 두 개의 함수 샘플, 그리고 하나의 기지 성분 샘플만을 필요로 합니다. 또한 본 분석은 배치 처리를 통해 배포 횟수를 줄이는 대신 관측치를 교환하는 방식을 정량화합니다. 다섯 가지 설정 전반에서, PISO 변형들은 세 가지 설정에서 유사한 오라클 접근을 갖는 테스트된 베이스라인 대비 성능을 향상시키고, 이단계 라우팅에서는 유사한 해에 더 빠르게 도달하며, 수행적 강화학습에서는 반응 모델(response-model)의 도함수가 없는 방법 중 가장 뛰어난 성능을 보입니다.

arXiv:2610.13787v1math.OC

제약 조건이 있는 비평활 비볼록 확률적 최적화를 위한 최적 알고리즘

Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints

본 논문에서는 볼록 제약 집합 하에서 목적 함수가 평활(smooth)하지도 볼록(convex)하지도 않은 확률적 최적화(stochastic optimization) 문제를 위한 새로운 알고리즘을 제시합니다. 제안하는 알고리즘은 제약이 있는 문제에 대해 Liu et al. (2024)이 최근 정의한 $(δ,\varepsilon)$-골드스타인 정상점($(δ,\varepsilon)$-Goldstein stationary point)을 향상된 복잡도로 반환하며, 여러 설정에서 이 작업에 대해 최초로 최적의 수렴(convergence) 속도를 달성합니다. 구체적으로, 확률적 기울기(stochastic gradient)를 사용하여 최적임을 증명한 $\widetilde O(δ^{-1}\varepsilon^{-3})$ 속도를 달성하는 투영 기반(projection-based) 및 무투영(projection-free) 알고리즘을 설계하고, 0차 쿼리(zeroth-order queries)를 사용하여 차원 $d$에 대한 의존성 측면에서 최적이자 기존 연구를 개선한 $\widetilde O(dδ^{-1}\varepsilon^{-3})$ 속도를 달성합니다. 특히, 우리의 하한(lower bound)은 프랭크-울프 갭(Frank-Wolfe gap) 관점에서 제시되며 평활한 문제에서도 성립하므로 독립적인 관심 대상이 됩니다. 이러한 결과는 비볼록 확률적 최적화에서 제약 조건의 존재나 비평활성 모두에 의해 수렴 속도가 저하되지 않음을 보여줍니다. 본 분석은 제약 없는 최적화의 관련 기법을 확장하여 온라인 선형 최적화(online linear optimization)로의 귀약(reduction)을 기반으로 합니다.

arXiv:2609.38561v2math.OC

타원체 샘플링을 활용한 무매개변수 영차 최적화

Parameter-Free Zeroth-Order Optimization with Ellipsoidal Sampling

영차 최적화(zeroth-order optimization) 방법은 그래디언트 정보를 사용할 수 없거나 계산 비용이 많이 드는 블랙박스 문제를 해결하는 데 필수적입니다. 본 논문에서는 부분공간 사전조건화(subspace preconditioning)와 타원체 무작위 샘플링(ellipsoidal randomized sampling)을 통합하여 최근의 POEM 방법을 확장한 새로운 무매개변수(parameter-free) 확률적 영차 알고리즘인 POEM-ES를 제시합니다. 등방성(isotropic) 무작위 방향에 의존하는 전통적인 영차 접근 방식과 달리, POEM-ES는 기저의 저차원 기하학적 구조를 인코딩하는 고정된 구조적 대칭 양의 준부호(SPSD) 사전조건자 $\hatΣ$에 의해 유도되는 비등방성(anisotropic) 샘플링을 수행합니다. $λ_{\max}(\hatΣ) = 1$인 표준 구조적 스펙트럼 정규화 조건 하에서, 본 연구는 문제의 내재적 차원을 반영하고 샘플링 및 무작위 스무딩 매개변수 스케줄 모두를 유도하는 경험적 유효 차원 $d^* = \operatorname{tr}(\hatΣ)$의 활용을 도입합니다. 실제 적용에서 이러한 사전조건자는 파일럿 샘플링, 과거 궤적 또는 도메인 특화 전문가 지식을 통해 효과적으로 얻을 수 있습니다. 본 연구에서는 POEM-ES가 저계수 구조적 가정을 만족할 때 차원이 축소된 수렴 속도를 달성하며, 단지 $\tilde{\mathcal{O}}\left( \frac{\left( r^2 κ(\hatΣ) + d^* \right) L^2 D_{\mathcal{X}}^2}{\varepsilon^2} \right)$회의 확률적 영차 오라클 쿼리만을 요구함을 증명합니다. 제안된 방법은 완전히 매개변수 없이(parameter-free) 유지되며, $d^* \ll d$인 저계수 구조를 가진 문제에서 기존 POEM 대비 현저한 개선을 입증합니다. LibSVM 데이터셋을 사용한 힌지 손실 이진 분류 태스크에 대한 수치 실험은 제안된 접근법의 실질적인 우수성을 확인해 줍니다.

arXiv:2601.21243v5math.OC

비평활 서브모듈러-오목 함수의 오프라인 및 온라인 최소-최대 문제 해결: 영차(Zeroth-Order) 접근법

Solving the Offline and Online Min-Max Problem of Non-smooth Submodular-Concave Functions: A Zeroth-Order Approach

우리는 최소화 변수에 대해 서브모듈러(submodular)이고 최대화 변수에 대해 오목(concave)이며, 비평활(non-smooth)할 수 있는 목적 함수를 갖는 최대-최소(max-min) 및 최소-최대(min-max) 문제를 고려한다. 우리는 이 문제에 적용된 영차(zeroth-order) 방법의 성능을 조사한다. 이 방법은 최소화 변수에 대한 목적 함수의 로바스 확장(Lovász extension)의 서브그래디언트(subgradient)와, 최대화 변수에 대한 평활화된 함수의 그래디언트(gradient)를 추정하기 위한 가우시안 스무딩(Gaussian smoothing)에 기반한다. 기댓값의 의미에서, 우리는 오프라인의 경우 알고리즘이 ε-안장점(saddle point)으로 수렴(convergence)함을 증명한다. 더 나아가, 우리는 온라인 설정에서 기댓값의 의미로 알고리즘이 $O(\sqrt{N(1+\bar{P}_N)})$의 온라인 듀얼리티 갭(duality gap)을 달성함을 보인다. 여기서 $N$은 반복 횟수이고 $\bar{P}_N$은 최적 결정 시퀀스의 경로 길이(path length)이다. 모든 경우에 대한 복잡도 분석과 하이퍼파라미터(hyperparameter) 선택이 제시된다. 이론적 결과는 수치 예제를 통해 설명된다.

arXiv:2604.05088v2eess.SY

선형 이차 레귤레이터를 위한 스칼라 연합학습

Scalar Federated Learning for Linear Quadratic Regulator

본 논문에서는 협력 에이전트(agent)들의 선형 이차 레귤레이터(LQR) 제어에서 공통 정책을 모델 프리(model-free) 방식으로 학습하기 위한 통신 효율적인 연합 알고리즘인 ScalarFedLQR을 제안합니다. 이 방법은 분해된 사영 그래디언트(projected gradient) 메커니즘을 기반으로 구축되며, 각 에이전트는 로컬 0차 그래디언트(zeroth-order gradient) 추정치의 스칼라 사영만을 전송합니다. 서버는 이러한 스칼라 메시지를 집계하여 전역 하강 방향을 재구성함으로써, 에이전트당 업링크 통신량을 정책 차원과 무관하게 O(d)에서 O(1)로 줄입니다. 결정적으로, 사영으로 인해 발생하는 근사 오차는 참여하는 에이전트 수가 증가함에 따라 감소하여 유리한 스케일링(scaling) 법칙을 제공합니다. 즉, 더 큰 규모의 에이전트 집합일수록 더 정확한 그래디언트 복원이 가능해지고, 더 큰 스텝 크기를 허용하며, 고차원임에도 불구하고 더 빠른 선형 수렴(convergence)을 달성합니다. 동질적(homogeneous) 에이전트에 대한 표준 정칙성 조건 하에서 모든 반복 계산값(iterates)은 안정화 상태를 유지하고 평균 LQR 비용은 선형적으로 빠르게 감소합니다. 수치 결과는 이질적이지만 유사한 에이전트 환경에서도 통신량을 대폭 줄이면서 풀 그래디언트(full-gradient) 연합 LQR에 필적하는 성능을 보여줍니다.

arXiv:2602.18181v2cs.LG

SeedFlood: 확장 가능한 대규모 언어 모델(LLM) 분산 미세조정을 향한 한 걸음

SeedFlood: A Step Toward Scalable Decentralized Fine-Tuning of LLMs

본 연구에서는 대규모 모델, 대규모 협업, 복잡한 네트워크 토폴로지 전반으로 확장되도록 설계되었으며 통신 오버헤드를 거의 발생시키지 않으면서 전역 합의(global consensus)를 달성하는 탈중앙화된 대규모 언어 모델(LLM) 미세조정(fine-tuning)의 새로운 접근법인 SeedFlood를 제시합니다. 기존 방식들은 모델 크기에 비례하여 증가하는 높은 통신 비용으로 인해 어려움을 겪으며, 네트워크 홉(hop)에 따른 정보 감소로 인해 전역 합의가 비효율적이었습니다. SeedFlood는 0차 기울기(zeroth-order gradient)의 시드 재구성 가능 구조를 활용하여 전송할 메시지 크기를 실질적으로 0에 가깝게 만듦으로써 이러한 기존 관행에서 크게 벗어납니다. 이를 통해 메시지를 네트워크의 모든 클라이언트에 플러딩(flooding)할 수 있게 하여 탈중앙화 학습(training)의 확장성을 향상시킵니다. 결과적으로 SeedFlood는 수십억 매개변수(parameter) 규모의 모델이나 수백 개의 클라이언트에 걸친 분산 환경과 같이 이전에는 비실용적으로 여겨졌던 영역에서의 학습을 가능하게 합니다. 탈중앙화 LLM 미세조정에 대한 실험 결과, SeedFlood는 통신 효율성과 일반화 성능 모두에서 표준 0차 베이스라인을 지속적으로 능가하며, 대규모 설정에서는 몇 자릿수(orders-of-magnitude) 더 적은 통신 비용을 요구하면서도 1차 가십 기반(gossip-based) 방식과 대등한 결과를 달성함을 보여줍니다. 또한 이론적 분석을 제공하여 SeedFlood가 클라이언트 참여 증가로 인한 가속 효과를 유지하면서도 수렴(convergence) 경계에서 토폴로지 의존적 합의 항을 피함을 정식화합니다.

arXiv:2609.27199v1cs.LG

ZO-COSMO: 분산 제로차 최적화를 위한 인덱스 없는 원홉(one-hop) 혼합

ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization

분산 제로차 학습에서 희소 통신은 호환 가능한 피어 상태 좌표(peer-state coordinates)를 요구한다. 우리는 이 원홉(one-hop) 조건을 특성화하고, 활성 링크당 $q$개 값을 사용하는 평균 보존 마스크 합의(average-preserving masked consensus)와 이중 쿼리 추정(two-query estimation)을 결합한 \textsf{ZO-COSMO}를 제안한다. 전역 지원(global supports)은 전 이웃 혼합(all-neighbor mixing)에 사용되며, 매칭 업데이트(matching updates)는 각 쌍 내에서만 합의를 요구한다. 매칭 클래스 내에서 날카로운 스칼라당 수축(contraction-per-scalar) 상계를 유도하고, 핵심 및 희소-모멘텀(sparse-momentum) 업데이트에 대한 수렴 보장을 제공한다. 고정된 매칭에서 정확한 모멘트 항등식(moment identities)은 공유 방향이 그래디언트 이질성(gradient-heterogeneity) 상쇄를 어떻게 보존하고 추정 오차와 불일치(disagreement)를 재분배하는지를 특성화한다. 메커니즘 실험은 불균등 곡률, 노이즈, 희소 모멘텀을 다룬다. 추가 실험은 $64$개의 합성 에이전트와 8개의 논리적 Qwen LoRA 워커를 포함한다. 동일한 페이로드 예산에서 Qwen2-7B QNLI는 explicit-index Rand-$k$ 대비 $3.65$ 정확도 포인트를 얻으며, 8-워커 완전 그래프와 링 그래프에서 edge-local 업데이트는 전 이웃 혼합 대비 각각 $3.42$ 및 $2.53$ 포인트를 얻는다. 매칭-first-step 소거(ablation)는 $3.92$ 포인트의 모멘텀 이득을 보여준다. 시드 인식(seed-aware) 및 동일-매칭(same-matching) 대조는 인코딩, 스케줄링, 쿼리 상관(query correlation)을 구분한다.

arXiv:2607.22567v1math.OC

영차(Newton) 동역학을 위한 형식적 운동론: Stein 보정 헤시안 추정과 곡률-분산 트레이드오프

A Formal Kinetic Theory for Zeroth-Order Newton Dynamics:Stein-Corrected Hessian Estimation and Curvature--Variance Trade-offs

영차(Newton)형 방법은 그래디언트와 헤시안을 사용할 수 없을 때 유용하지만, 1차 그래디언트 없는(gradient-free) 방법과는 상당히 다르게 동작한다. 우리는 블랙박스 함수값으로부터 그래디언트와 헤시안을 모두 추정하는 알고리즘을 위한 운동론적 프레임워크를 개발한다. 순진한 무작위 방향 헤시안 추정기는 2차 함수에서조차 편향된 것으로 드러난다; 가우시안 평활화된 목적함수의 헤시안을 추정하려면 가우시안-Stein 보정이 필요하다. 역헤시안의 선형화는 두 가지 노이즈 채널을 드러낸다: 역헤시안으로 전처리(preconditioned)된 그래디언트 노이즈, 그리고 역-헤시안 샌드위치를 통해 전달되는 헤시안 노이즈. 노이즈가 있는 오라클 하에서 두 번째 채널은 2차 차분 인수 $μ_H^{-4}$를 담는다. 작은 질량의 운동론적 리프트(lift)는 유한 단계 Newton 업데이트를 과소감쇠(underdamped) 위상 공간 모델과 연결한다; 과감쇠(overdamped) 공간적 한계는 스텝 크기, 배치 크기, 평활화 반경, 정규화 사이의 곡률-분산 트레이드오프를 드러내는 Lyapunov 경계를 산출한다. 수치 실험은 추정기 항등식, 그래디언트 및 헤시안 분산 법칙, 차원 스케일링, 역 섭동 정확도, 그리고 쿼리 예산 및 정규화 ablation 하에서의 최적화 동작을 확인한다.

arXiv:2607.02988v1cs.CV

제로차 최적화와 모델 병합을 이용한 디바이스 간 협력적 테스트 시간 적응

Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

테스트 시간 적응(TTA)은 입력되는 테스트 데이터를 활용하여 모델을 실시간으로 업데이트함으로써 도메인 이동(domain shift) 문제를 완화한다. 대부분의 TTA 방법은 모델 업데이트를 위해 자원 집약적인 역전파(BP)를 필요로 하며, 특히 대용량 메모리를 요구하기 때문에 자원이 제한된 디바이스(예: 엣지 디바이스)에의 배포가 불가능하다. 이 문제를 해결하기 위해, 우리는 제로차 최적화(ZOO)와 모델 병합이라는 두 가지 기법을 최근 제안된 디바이스 간 협력적 TTA(CDC-TTA) 프레임워크 아래 통합한다. 이 프레임워크는 자원이 풍부한 디바이스와 자원이 제한된 디바이스가 혼재하는 시스템으로 구성되며, 각 디바이스에서 획득한 모델 가중치 등의 모델 정보가 디바이스 간에 공유된다. 우리의 방법은 순전파(forward processing)만을 필요로 하고 자원 집약적인 역전파 최적화를 우회하는 ZOO를 도입함으로써 자원이 제한된 디바이스에서도 실행 가능하다. 동시에, ZOO의 부작용으로 발생하는 고차원 최적화의 어려움을 완화하기 위해 공유된 다수의 모델에 대한 모델 병합을 적용하고 병합 계수를 최적화 목적으로 설정함으로써 최적화 차원을 성공적으로 축소한다. 또한 ZOO와 모델 병합의 시너지 효과를 강화하기 위해, 모델 내 비영향 가중치를 제거하고 모델 간 정보 중복을 줄이는 고유한 전처리 전략을 제안한다. 우리는 일반적인 손상(corruption) 벤치마크와 스타일 변환 이미지 벤치마크를 통해 제안 방법의 효과를 실험적으로 검증하였다.

arXiv:2607.01125v1cs.LG

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

역전파 없이 대규모 언어 모델(LLM)을 파인튜닝하는 제로차수(Zeroth-Order, ZO) 최적화의 고분산 문제를 해결하기 위해, ZO-Act는 입력 활성화(activation)의 지배적 우측 특이 벡터로 구성된 고정 저랭크(low-rank) 부분공간에서만 계수 행렬(coefficient matrix)을 최적화하는 방식을 제안한다. Llama-3-8B, OPT-13B, INT4 Llama-3-8B에 대한 실험에서 언어 이해, 질의응답, 상식 추론 태스크 전반에 걸쳐 기존 ZO 파인튜닝 기법 대비 일관된 성능 향상을 달성했다.

arXiv:2601.04710v2cs.CL

노이즈 조종: 메모리 효율적인 LLM 미세조정을 위한 무작위 섭동의 효과적인 하강 방향 전환

Steering the Noise: Turning Random Perturbations into Effective Descent for Memory-Efficient LLM Fine-Tuning

대규모 언어 모델(LLM) 파인튜닝의 메모리 효율성을 유지하면서 제로차수(ZO) 최적화의 느린 수렴 문제를 해결하기 위해 무작위 섭동을 효과적인 하강 방향으로 변환하는 프레임워크를 제안한다. 후보 섭동 풀을 평가하여 최적의 방향을 선택하는 MeZO-GV와 MeZO-Greedy 방법이 기존 ZO 최적화보다 빠른 수렴 속도와 높은 작업 정확도를 보임을 실험적으로 입증했다.