PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.06513v2cs.CL

SOL: 이중 슬라이스드 바서슈타인 거리를 이용한 텍스트 분포 간 격차 측정

SOL: Measuring Gaps between Text Distributions by Double Sliced Wasserstein Metrics

텍스트 생성을 평가하려면 생성된 분포가 데이터 분포와 얼마나 잘 일치하는지 측정해야 합니다. 자기회귀 모델의 경우 이는 퍼플렉서티(perplexity)를 통해 이루어집니다. 확산(diffusion) 및 플로우 기반 언어 모델은 가능도(likelihood)의 한계만을 제공할 수 있으며, 이 한계의 엄밀함은 모델 군(model family)마다 다릅니다. 엔트로피를 활용한 생성적 퍼플렉서티와 같은 샘플 기반 대체 지표는 분포의 적합도를 고려하지 않습니다. 본 논문에서는 텍스트 분포 간의 거리 척도인 SOL을 제안합니다. 각 시퀀스는 고정된 트랜스포머(transformer) 아래에서 은닉 상태들의 경험적 측도로 표현되며, 이러한 측도들의 분포는 이중 슬라이스드 바서슈타인 거리(double sliced Wasserstein distance)를 통해 비교됩니다. 저자들은 트랜스포머가 단사(injective) 함수일 경우 SOL이 거리 함수(metric)임을 증명합니다. 실험을 통해 SOL이 분포적 실패를 감지하고, 예상되는 모델 경향성을 복원하며, 안정적인 샘플 기반 추정치를 제공함을 보여줍니다. 저자들은 비자기회귀 모델에 사용되는 현재 평가 프로토콜의 공백을 메우기 위해 SOL을 제시합니다. 첫 번째 단계로, 저자들은 SOL을 사용하여 OpenWebText에서 학습된 다양한 모델들을 재평가합니다.

arXiv:2602.10691v2stat.ML

슬라이스 최적 수송을 이용한 분포 매칭의 수렴률

Convergence Rates for Distribution Matching with Sliced Optimal Transport

우리는 슬라이스 최적 수송(sliced optimal transport)에 기반한 분포 매칭을 위한 효율적인 반복적 방법인 슬라이스 매칭 방식(slice-matching scheme)을 연구한다. 목표 분포로의 수렴을 조사하고 정량적인 비점근적 수렴률을 도출한다. 이를 위해 Sliced-Wasserstein 목적함수에 대한 Łojasiewicz형 부등식을 확립한다. 핵심 과제는 궤적을 따라 이러한 부등식의 상수들을 통제하는 것이다. 가우스 분포의 경우 이것이 다루기 쉬워짐을 보인다. 구체적으로, 각 반복(iteration)마다 무작위 정규직교 기저를 따라 매칭할 때 고유값이 통제된다. 이론을 수치 실험으로 보완하고, 차원과 스텝 크기(step-size)에 대한 예측된 의존성과 정규직교 기저 샘플링의 안정화 효과를 설명한다.

arXiv:2606.30310v1stat.ML

Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions

누적분포함수(CDF)를 활용해 Sliced Wasserstein(SW) 거리를 추정하는 새로운 추정량 클래스를 제안하며, 기존 분위수 함수 기반 방식이 요구하는 정렬 연산과 전체 데이터셋 접근 없이도 대규모 데이터 병렬 처리가 가능하다. 이 방법은 연합학습(federated learning)과 Gaussian 혼합 모델 시나리오에 자연스럽게 적용되며, 생성 모델링 및 연합학습 실험에서 그 유효성이 검증되었다.

arXiv:2606.29665v1stat.ML

Adjusted Wasserstein distances for bridging empirical and true distributions with applications to MDS

Max-D-SW(Max-D-Sliced Wasserstein)는 기존 Max-Sliced Wasserstein 거리를 단일 방향 최적화에서 정규직교 기저(orthonormal basis) 전체로 확장한 측도로, 특히 중꼬리 분포(heavy-tailed distribution)에서 다차원 척도법(MDS)의 패턴 인식 성능을 크게 향상시킨다. 또한 표본 복잡도(sample complexity) 이론적 분석을 통해 Max-D-SW가 통계적으로 다루기 쉬움을 증명하는 한편, 더 나은 표본 복잡도가 MDS 성능 향상으로 직접 이어지지는 않음을 보인다.