PyTorchKR Papers

최신 논문

총 15편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13799v2math.OC

Adaptive Variance Reduction across Smoothness and Noise Conditions

In this paper, we study adaptive stochastic non-convex optimization under unknown smoothness and noise conditions. Our algorithms require no smoothness constant, noise bound, initial function gap, or oracle-regime label. We first propose a fixed-budget method that combines normalized momentum, recursive variance reduction, and a fresh gradient stage, followed by fresh validation of the candidates. We prove that the same output has expected gradient norm $O(T^{-1/4})$ under objective smoothness and bounded noise variance, $O(T^{-1/3})$ under average smoothness, and $O(T^{-1/2})$ for noiseless gradients, where $T$ counts individual gradient evaluations. We then develop an anytime algorithm whose three optimization paths preserve their endpoints across reporting and budget-extension boundaries. The same three rates hold at every deterministic query budget, although the algorithm receives no information about the budget $T$. The analysis combines a scale potential, a uniform second-moment bound, and accounting for candidates retained through unfinished blocks. An optional sample-mean selector further reduces cumulative validation work from $O(T)$ to $O(T^{2/3})$ while preserving these rates.

arXiv:2610.13789v1cs.LG

저비용 예측기를 활용한 무작위 모멘텀 전송

Randomized Momentum Transport with Cheap Predictors

STORM 및 2차 모멘텀(second-order momentum)과 같은 모멘텀(momentum) 방법들은 모멘텀에 전송 보정(transport correction)을 추가하여 그래디언트(gradient)를 추적하며, 이는 반복(iteration)마다 추가적인 오라클(oracle) 호출을 필요로 한다. 본 논문은 확률 $q$로 보정을 평가하고 그렇지 않은 경우 저비용 예측(cheap prediction)을 사용하는 무작위 모멘텀 전송(randomized momentum transport)을 소개하며, 조건부 평균을 보존하는 중요도 가중(importance weighting)을 사용하고 분산에 예측 손실(loss)의 $(q^{-1}-1)$배를 추가한다. 전송 바이어스(bias), 2차 모멘트, 잔차 제어 가정 하에서, 정규화(normalized), 사인(sign), 정확한 스펙트럴(exact spectral, Muon) 방향을 포함한 선형 최소화 오라클(linear minimization oracle, LMO) 업데이트는 단일 그래디언트 초기화(initialization)를 사용하여 고정된 각 $q>0$에 대해 $O(T^{-1/3})$ 정상성(stationarity) 바운드를 유지한다. 정규화되지 않은(unnormalized) STORM의 경우, 그래디언트 차이 노이즈 모듈러스가 평활성 상수를 초과하는 경우에만 (그리고 오직 그 경우에만) 일부 $q<1$이 충분 그래디언트 예산의 선도 계수를 최대 약 $10\%$까지 낮춘다. 온라인 대각 예측기는 후회-수렴(regret-to-convergence) 보장을 허용한다. 오라클 비용이 거의 동일한 조건에서, 보정값의 4분의 1만 조회하는 것은 MNIST1D에서 최종 학습(training) 손실(loss)을 $18$에서 $43\%$까지 낮추고, CIFAR-10에서 헤시안(Hessian)-벡터 전송의 테스트 정확도를 $1.5$포인트 높인다.

arXiv:2610.13692v1cs.LG

분산 감소 정책 그래디언트는 거의 미니맥스-최적이다

Variance-Reduced Policy Gradient is Nearly Minimax-Optimal

표준 정책 그래디언트(Policy Gradient, PG) 알고리즘은 몬테카를로 업데이트에 의존하기 때문에 추정 분산이 높다는 문제를 가진다. 오프-정책 분산 감소(off-policy variance reduction)가 이 문제를 완화하지만, 현재로서는 최적의 샘플 복잡도(sample complexity)를 확립하려면 균일하게 유계인(uniformly bounded) 중요도 가중치(importance weights)와 같은 제한적인 가정이나 비현실적인 2차(second-order) 연산이 필요하다. 본 연구에서는 Loopless Variance-Reduced PG(LVR-PG)를 소개한다. 이는 재귀적 업데이트(recursive update)와 방어적 중요도 샘플링(defensive importance sampling)을 결합한 1차(first-order) 추정량들의 한 클래스를 추상화하는 통합 이론적 프레임워크로, PAGE-PG와 STORM-PG와 같은 기존 추정량들을 포함한다. 우리는 일반적인 파라메트릭 정책(parametric policy)에 대해 약한 그래디언트 지배(weak gradient domination) 조건 하에서 이 알고리즘 클래스가 $\tilde{\mathcal{O}}(ε^{-2})$의 라스트 이터레이트(last-iterate) 전역 수렴(global convergence)을 달성함을 증명한다. 우리는 순수하게 1차 업데이트만을 사용하여, 최소한의 가정 하에 그래디언트 전처리기(gradient preconditioner) 없이 이 보장을 확립한다. 최신 하한(lower bound)을 연속적인 파라메트릭 정책(continuous parametric policy)으로 확장함으로써, 우리는 $Ω(ε^{-2})$의 샘플 복잡도 한계를 확립하며, 이는 로그 인자(logarithmic factor)와 호라이즌(horizon) 항을 제외하면 우리의 프레임워크가 미니맥스 최적(minimax-optimal)임을 확인해 준다.

arXiv:2307.07113v2math.OC공식 코드 · Papers with Code

분산 확률적 이중 정규화 비볼록-강오목 미니맥스 문제를 위한 분산 감소 가속 기법

Variance-reduced accelerated methods for decentralized stochastic double-regularized nonconvex strongly-concave minimax problems

본 논문에서는 $m$개의 컴퓨팅 에이전트(agent) 네트워크가 피어 투 피어 통신을 통해 협업하며, 원시 변수(primal variable)와 쌍대 변수(dual variable) 모두에 비매끄러운(nonsmooth) 정규화 항이 존재하는 분산 확률적 비볼록-강오목(NCSC) 미니맥스 문제를 다룹니다. 결합 함수가 기댓값 또는 유한합(finite-sum) 형태이고, 원시 및 쌍대 변수에 각각 적용되는 이중 정규화 항이 볼록 함수인 경우를 고려합니다. 본 연구의 알고리즘 프레임워크는 라그랑주 승수(Lagrangian multiplier)를 도입하여 쌍대 변수에 대한 합의(consensus) 제약 조건을 제거합니다. 이를 분산 감소(VR) 기법과 결합한 제안 방법 VRLM은 반복(iteration)당 단 한 번의 이웃 통신만으로, 대규모 배치 또는 소규모 배치 VR 옵션 모두에서 일반적인 확률적 설정 하에 $\mathcal{O}(κ^3\varepsilon^{-3})$ 표본 복잡도(sample complexity)를 달성합니다. 여기서 $κ$는 문제의 조건수(condition number)이며 $\varepsilon$은 목표 해 정확도입니다. 대규모 배치 VR을 적용하면 추가로 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있습니다. 특수한 유한합 설정 하에서는 대규모 배치 VR을 사용하는 본 방법이 $\mathcal{O}(n + \sqrt{n} κ^2\varepsilon^{-2})$의 표본 복잡도와 $\mathcal{O}(κ^2\varepsilon^{-2})$의 통신 복잡도를 달성할 수 있으며, 여기서 $n$은 유한합의 성분 개수입니다. 모든 복잡도 결과는 본 연구에서 다루는 문제의 특수한 경우를 해결하는 소수의 기존 방법들이 달성한 최고 수준(best-known)의 결과와 일치합니다. 우리가 아는 한, 본 연구는 분산 확률적 설정에서 원시 및 쌍대 변수 모두에 일반적인 볼록 비매끄러운 정규화 항이 적용된 NCSC 미니맥스 문제에 대해 수렴 보장을 제공하는 최초의 연구입니다. 두 가지 머신러닝 문제에 대해 수치 실험을 수행하였으며, 코드는 https://github.com/RPI-OPT/VRLM 에서 다운로드할 수 있습니다.

arXiv:2406.17699v3math.ST

Independent Metropolis의 분산 감소

Variance Reduction for Independent Metropolis

처리하기 어려운(intractable) 밀도 $\pi$에 대해 함수 $F$의 기댓값을 추정하고자 한다고 가정한다. $\pi$는 알려지지 않은 정규화 상수(normalising constant)까지 포함하여 주어진다. $\pi$가 KL 발산(KL divergence) 관점에서 다른 밀도 $q$에 충분히 가깝다면, 제안 밀도(proposal density) $q$로 $\pi$에서 샘플을 얻는 independent Metropolis 샘pler 추정량이 control variates에 기반한 분산 감소(variance reduction) 계산 전략으로 보강되었을 때, $\pi$로부터의 i.i.d. 샘pling보다 더 작은 점근 분산(asymptotic variance)을 달성함을 증명한다. control variates 구성은 추가 계산 부담을 요구하지 않지만, $q$ 하에서 $F$의 기댓값을 해석적으로 구할 수 있다고 가정한다. 사전-가능도 충돌(prior-likelihood conflict)과 비켤레(non-conjugate) 사전을 갖는 선형 회귀 모델에서 주변 가능도(marginal likelihood)를 계산하여 이 결과를 설명한다. 또한 목표(target)와의 KL 발산이 줄어들도록 제안 밀도를 적응시키는 adaptive independent Metropolis 알고리즘을 제안한다. 베이지안 로지스틱 회귀 및 가우시안 프로세스 회귀 문제에서 적용 가능성을 보이고, 쉽게 검증 가능하고 본질적으로 최소인 조건 하에서 점근적 논거를 엄밀하게 정당화한다.

arXiv:2607.21876v1cs.LG

정적 및 시변 네트워크에서의 분산 감소 Q-학습

Variance-Reduced Q-Learning over Static and Time-Varying Networks

동일한 마르코프 결정 과정(MDP)과 상호작용하는 여러 에이전트가 포함된 분산형 강화학습 문제를 조사한다. 에이전트는 네트워크를 통해 정보를 교환하여 최적 상태-행동 가치 함수를 공동으로 학습할 수 있다. 이 설정을 위해, 각 에포크 내에서 에이전트가 벨만 최적성 연산자를 국소적으로 추정하고 합의 기반 프로토콜을 사용하여 정보를 확산하는 VRDQ라는 새로운 에포크 기반 분산 $Q$-학습 알고리즘을 제안한다. 정적 및 시변 네트워크 모두에 대해, 협력으로부터 선형 속도 향상(linear speedups)을 누리는 VRDQ의 고확률 유한 시간 수렴률을 확립한다. 중요하게도, 표본 복잡도(sample-complexity)에서의 이러한 속도 향상이 $\tilde{O}(1)$의 통신만을 필요로 함을 증명하며, 이는 기존 연구의 통신 비용을 크게 개선한다.

arXiv:2506.02897v3cs.LG

동질적 사회적 연합 내 분산 감소 볼츠만 샘플링을 통한 연합 학습의 이질성 극복

Tackling Heterogeneity in Federated Learning via Variance-Reduced Boltzmann Sampling within Homogeneous Social Coalitions

연합 학습(Federated Learning, FL)은 프라이버시를 보존하는 협력적 모델 학습을 가능하게 하지만, 그 효과는 종종 클라이언트 데이터의 이질성에 의해 제한된다. 우리는 (i) 점근적 합의(asymptotic agreement)에 기반하여 클라이언트의 비중복(nonoverlapping) 연합(coalition)을 동적으로 형성하고, (ii) 각 연합에서 모델 업데이트의 분산을 최소화하기 위해 대표자 한 명을 선택하는 클라이언트 선택 알고리즘을 제안한다. 우리의 접근법은 사회 네트워크 모델링에서 영감을 받아, 스펙트럴 클러스터링(spectral clustering)을 위한 동질성(homophily) 기반 근접 행렬과 그룹의 집합적 의견을 추정하기 위해 가장 정보가 풍부한 개체를 식별하는 기법을 활용한다. 우리는 완화된 표준 FL 가정 하에서 해당 알고리즘에 대한 이론적 수렴 보장을 제공한다. 마지막으로, 우리는 세 가지 강력한 이질성 인식(heterogeneity-aware) 기준선(baseline)과 벤치마킹하여 접근법을 검증한다. 결과는 더 높은 정확도와 더 빠른 수렴을 보여주며, 이 프레임워크가 이론적으로 견고하고 실무에서도 효과적임을 나타낸다.

arXiv:2607.14604v1cs.LG

반사실 추정을 통한 A/B 테스트 가속화: 정책 겹침을 통한 분산 감소

Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap

온라인 통제 실험은 온라인 플랫폼에서 가설 검정의 황금 표준이다. 보편적으로 사용됨에도 불구하고 실행 비용이 매우 높으며, 분산 문제가 처치 효과(treatment effect) 평가의 통계적 검정력을 저해한다. 표준 분산 감소 기법은 모델 기반 통제 변량(control variates)을 활용해 결과 노이즈를 줄이지만, 경쟁 정책 간 잠재적 구조적 관계에는 무관하다. 본 연구에서는 표준 A/B 테스트 프로토콜의 중요한 비효율을 확인한다: 처치 정책과 대조 정책이 동일한 행동(action)에 동의할 때, 그 결과는 처치 효과에 관한 신호 없이 노이즈만 기여하여—불필요하게 신뢰 구간을 팽창시킨다. 우리는 이러한 정책 겹침(policy overlap)을 활용해 실험을 가속화하는 새로운 실험 프로토콜을 제안한다. 핵심 통찰은 무작위 처치 배정 메커니즘을 메타-정책(meta-policy)으로 구성하고, $Δ$-Off-Policy Estimation 방법을 활용해 평균 처치 효과에 대한 편향 없는(unbiased) 추정치를 얻는 것이다. 우리는 해석적으로 본 접근법이 일반적인 경우 표준 A/B 테스트 관행을 복원함을 증명하며, 그 분산은 원시 결과 분산이 아니라 정책 간 발산(divergence)에 비례함을 보인다. 따라서 정책이 공통 지지(common support)를 가질 때 표준 평균 차(Difference-in-Means) 추정량을 지배(d dominate)하며, 겹침 영역이 0이 아닌 잔차 분산(residual variance)을 기여할 때 개선은 엄격(strict)하다. 실증 결과는 이러한 이론적 통찰을 뒷받침하며—추천 시스템, 정보 검색(information retrieval) 파이프라인, 대규모 언어 모델 인터페이스의 실세계 평가에 상당한 영향을 미칠 가능성을 보여준다.

arXiv:2506.21511v2stat.ML

가우시안 불변 마르코프 체인 몬테 카를로

Gaussian Invariant Markov Chain Monte Carlo

우리는 랜덤 워크 메트로폴리스(RWM), 메트로폴리스 조정 랑주뱅 알고리즘(MALA), 그리고 2차 헤시안 또는 매니폴드 MALA의 가우시안 불변 버전으로 구성된 샘플링 방법을 개발한다. 표준 RWM 및 MALA와 달리, 가우시안 불변 샘플링은 통계적 효율성이 향상된 에르고딕 추정량을 산출할 수 있음을 보인다. 이는 가우시안 불변성의 주목할 만한 특성 덕분으로, 가우시안 타겟에 대한 푸아송 방정식의 정확한 해석적 해를 구할 수 있다. 이 해는 임의의 다루기 어려운 타겟에 대한 추정량의 분산 감소를 위한 효율적이고 사용하기 쉬운 제어 변량(control variates) 구성에 활용될 수 있다. 잠재 가우시안 모델에서의 고차원 타겟을 포함한 여러 예제에서 새로운 샘플러와 추정량을 시연하며, 여러 고급 방법들과 비교하여 최첨단 결과를 얻는다. 또한 기하학적 에르고딕성에 관한 이론적 결과와, 최적 수용률의 타겟 가우시안성 의존도를 보여주는 최적 스케일링 분석을 제공한다.

arXiv:2607.09097v1math.OC

높은 확률로 확률적 고정점 방정식 풀기

Solving Stochastic Fixed-Point Equations with High Probability

우리는 노름 공간 $(\mathcal{E}, \|\cdot\|)$ 위에서의 확률적 고정점 방정식 $\mathbf{T}(\mathbf{x}) = \mathbf{x}$를 연구한다. 여기서 연산자 $\mathbf{T}$는 비팽창적(nonexpansive) 또는 수축적(contractive)이며, 유계 이차 중심 모멘트를 갖는 비편향 확률적 평가를 통해서만 접근 가능하다. $\varepsilon > 0$, $\delta \in (0, 1)$이 주어졌을 때, 목표는 $\|\mathbf{T}(\mathbf{x}) - \mathbf{x}\| \leq \varepsilon$을 확률 적어도 $1 - \delta$로 만족하는 $\mathbf{x} \in \mathcal{E}$를 출력하는 것이다. 우리는 이차적으로 평활화 가능한 바나흐(Banach) 공간을 위한 분산 감소(variance-reduced) 점진적 Halpern 방법인 VR-GHAL을 제안한다. 핵심 알고리즘 구성 요소는 오라클 평가의 클리핑된 차이에 기반한 재귀적 확률적 추정기이다: $\tau(\mathbf{x}; \xi)$ 자체를 클리핑하는 대신, 립시츠(Lipschitz) 스케일 $\gamma\|\mathbf{x} - \mathbf{y}\|$에서 확률적 차이를 클리핑한다. 이를 통해 추정기는 알고리즘 궤적을 따라 경로별 립시츠 성질을 유지하면서도, 원래 노름의 유한 이차 모멘트 하에서 마팅게일 집중(martingale concentration)을 허용한다. 우리의 주요 정리는 상시(anytime) 고확률 잔차 한계를 제공한다: 확률 적어도 $1 - \delta$의 단일 사건 위에서, 잔차는 하위 차수 로그 인수를 제외하고 에폭에 걸쳐 거의 기하적으로 감소한다. 유계 분산만을 가정하고 목표 오차 $\varepsilon$ 및 $\mathbf{T}$의 립시츠 상수 $\gamma \in (0, 1]$에 대한 의존성만 표시할 때, 결과적인 오라클 복잡도는 $\min\{\varepsilon^{-5}, (1-\gamma)^{-3}\varepsilon^{-2}\}$이다. 기댓값 립시츠(Lipschitz-in-expectation) 오라클 하에서는 의존성이 대응하는 $\varepsilon^{-3}$ 비팽창적 수렴률($\gamma = 1$의 경우)로 개선되며, 샘플별 비팽창성(samplewise nonexpansiveness) 하에서는 $\varepsilon^{-2}$로 개선된다.

arXiv:2607.08347v1stat.ML

예측 기반 능동적 테스팅

Prediction-Powered Active Testing

레이블 비용이 높은 환경에서 블랙박스 모델의 예측값을 활용해 위험(risk) 추정의 분산을 줄이는 PPAT(Prediction-Powered Active Testing) 프레임워크를 제안하며, 기존의 비편향 LURE 추정기에 예측 기반 제어 변량(control variate)을 결합해 의사 레이블(pseudo-label) 방식의 편향 문제 없이 손실을 잔차화한다. 표 형식 회귀 및 이미지 분류 태스크에서 기존 방법 대비 위험 추정 성능이 향상되고, 더 적은 레이블로 목표 신뢰 구간 커버리지를 달성함을 실험적으로 검증하였다.

arXiv:2605.09235v2cs.LG

Mean Flow 학습에서의 분산 감소에 관하여

On Variance Reduction in Learning Mean Flows

MeanFlow 학습의 고질적 불안정성(손실 미감소, 그래디언트 분산 폭발)이 조건부 속도 필드를 JVP 접선(tangent)으로 사용할 때 몬테카를로 제어 변량(control variate) 계수를 잘못 할당한 데서 비롯됨을 이론적으로 규명하고, 최적 계수를 닫힌 형식으로 도출하여 동시 연구들의 다양한 수정 방법이 동일한 최적값의 실현임을 통합적으로 설명한다. ImageNet 기반 latent DiT 실험에서 그래디언트-MSE를 최소화하는 계수(β≈0.94)와 FID를 최소화하는 계수가 일치하지 않는 FID-MSE 경관 불일치를 정량적으로 확인하였다.

arXiv:2606.28808v1stat.ML

확률적 그래디언트 일반화 비가역 랑주뱅 몬테 카를로 알고리즘을 위한 분산 감소

Variance Reduction for Stochastic Gradient Generalized Non-reversible Langevin Monte Carlo Algorithms

비가역 랑주뱅 동역학(non-reversible Langevin dynamics)의 확률적 그래디언트 오일러-마루야마 추정량에 대한 소규모 스텝 크기 중심극한정리를 증명하고, 반대칭 섭동이 가역 기준선 대비 선두 차수 분산을 엄격히 감소시키는 충분 조건을 도출한다. 베이지안 선형·로지스틱 회귀 실험에서 비가역 방법이 RMSE를 일관되게 감소시킴을 수치적으로 확인하였다.

arXiv:2606.22466v1cs.LG

heavy-tailed 그래디언트 노이즈와 통신 노이즈 하의 연합 학습: 분산 감소 기반 알고리즘

Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm

연합 학습(Federated learning, FL)은 데이터를 분산·비공개 상태로 유지하면서 로컬 디바이스가 공통 모델을 공동으로 학습할 수 있게 하는 새로운 분산 머신러닝 패러다임이다. heavy-tailed 그래디언트 노이즈와 통신 노이즈가 존재하는 FL을 위해 분산 감소 기반 알고리즘 VRA-FedSGD를 제안한다. 이러한 노이즈는 무선 네트워크 및 사물인터넷(IoT) 배포 환경에서의 대규모 머신러닝에서 흔히 나타난다. VRA-FedSGD는 heavy-tailed 그래디언트 노이즈를 완화하기 위해 모멘텀 분산 감소 기법과 비선형 매핑을 함께 사용하고, heavy-tailed 통신 노이즈를 억제하기 위해 분산 감소형 집계 메커니즘을 사용한다. 평균 의미에서 VRA-FedSGD는 비볼록 목적 함수에 대해 $\mathcal{O}\left(K^{-(p-1)/(2p-1)}\right)$의 수렴률을 달성하며, 여기서 $p$는 heavy-tailed 노이즈의 꼬리 지수(tail index)이다. 거의 확실(almost sure) 의미에서 VRA-FedSGD는 강볼록 목적 함수에 대해 $\tilde{\mathcal{O}}\left(K^{-(1-1/(p-ε))}\right)$의 수렴률을 달성하며, 여기서 $ε$는 임의로 작은 상수이다. 실제 데이터를 사용한 로지스틱 회귀 문제에 대한 시뮬레이션 실험으로 VRA-FedSGD의 유효성을 검증한다.

arXiv:2606.18750v1stat.AP

신뢰할 수 있는 온라인 A/B 테스트 보장: CUPED에 관한 5가지 핵심 질문 다루기

Ensuring Trustworthy Online A/B Testing: Addressing Five Key Questions on CUPED

A/B 테스트는 대규모 온라인 실험에서 데이터 기반 의사결정의 표준이 되었으며, 기능 출시, 가격 최적화 및 사용자 경험 향상에 중요한 지침을 제공합니다. 통계적 민감도를 최대화하기 위해 많은 기술 기업들은 사전 실험 데이터를 활용한 대조 실험(CUPED)을 일상적으로 채택하고 있으며, 이는 평균 처치 효과(ATE) 추정의 불편성을 유지하면서 상당한 분산 감소를 달성하는 기법입니다. 널리 채택되고 있음에도 불구하고, CUPED의 몇 가지 중요한 방법론적 및 실용적 세부 사항은 여전히 충분히 탐구되지 않았습니다. 본 논문은 CUPED 적용과 관련하여 자주 접하지만 간과되어 온 다섯 가지 질문을 체계적으로 다룹니다. 첫째, 최적의 조정 명세를 식별하기 위해 다양한 CUPED 후(post-CUPED) 추정량에 대한 비교 분석을 제공합니다. 둘째, 회귀 기반 조정의 타당성을 평가하고 해당 프레임워크에 맞춤화된 강건한 분산 추정 방법을 제시합니다. 마지막으로, 다중 처리군(multi-arm) 실험 및 2단계 표본 설계를 포함하여 복잡하지만 흔한 시나리오까지 조사를 확장합니다. 연구 결과에 따르면 이러한 설정에서 표준 분산 추정량에 단순 의존할 경우 심각하게 오도된 추론으로 이어질 수 있습니다. 엄격한 이론적 통찰과 광범위한 실험적 검증을 제공함으로써, 본 연구는 CUPED에 대한 개념적 이해를 심화시킵니다. 특히, 권장되는 방법론들은 바이트댄스(ByteDance)의 실험 플랫폼에 성공적으로 배포 및 통합되었습니다.