PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28405v1cs.LG

미분 가능한 가우시안 표현을 통한 집단 동역학 학습

Learning Collective Dynamics with Differentiable Gaussian Representations

집단적 반응은 개인차, 접촉 기회, 그리고 누적된 경험에 따라 달라집니다. 총합된 집계 카운트로부터 이러한 동역학을 학습하려면 집단의 반응 분포를 현재 관측치 및 미래 행동 모두와 연결해야 합니다. 본 논문에서는 세 가지 구성 요소를 통해 이러한 연결을 학습하는 Differentiable Gaussian Dynamics(DGD)를 소개합니다. 이는 이질적인 반응 성향을 나타내는 가우시안 혼합(Gaussian mixture), 접촉 강도 및 행동 확률의 미분 가능한 집계, 그리고 후속 반응을 업데이트하는 피드백 순환입니다. 재매개변수화된 적분과 시간적 순환을 통해 집계된 예측 오차가 분포, 관측 함수, 피드백 파라미터를 공동으로 학습(training)할 수 있게 합니다. KuaiRand-Pure 및 Online Retail II의 4개 윈도우에서 DGD는 결합 행동 헤드를 갖춘 DeepAR 변형보다 더 낮은 결합 행동 음의 로그 가능도(negative log-likelihood)를 달성합니다. Retail 2010에서 DGD의 1일 행동 카운트 MAE는 해당 변형의 6.88 대비 4.71입니다. KuaiRand의 표준 추천 윈도우에서 분포를 학습하면 고정된 가우시안 대비 행동 음의 로그 가능도가 10.82% 감소하며, 통제된 실험에서 피드백 동역학을 제거하면 결합 KL이 0.0340에서 0.2577로 증가합니다. 이러한 결과는 집계된 관측치로부터 집단 표현과 그 피드백 과정을 학습하는 것의 가치를 입증합니다. 코드는 https://github.com/OranAi-Ltd/oransim 에서 이용할 수 있습니다.

arXiv:2607.01275v1stat.ML

eXact-Prior 변분 오토인코더(X-VAE): 잠재 분포를 위한 데이터 적응형 가우시안 혼합 사전분포 학습

eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions

X-VAE는 변분 오토인코더(VAE)의 고정된 등방성 가우시안 사전분포를 사전학습된 오토인코더의 잠재 표현에서 추정한 데이터 적응형 가우시안 혼합 사전분포로 대체하여 사전분포-사후분포 불일치 문제를 완화한다. 추가 학습 파라미터 없이 KL 발산의 해석적 계산 가능성을 유지하면서, 생성 시 잠재 스케일링 인수 α를 통해 다양성과 충실도 간의 균형을 재학습 없이 제어할 수 있음을 MNIST, CelebA 벤치마크에서 검증하였다.

arXiv:2606.30037v1cs.LG

백본이 아닌 헤드: 출력 헤드가 두꺼운 꼬리 수익률에서 아키텍처를 압도한다

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

S&P 500 월별 로그 수익률(1871–2023)을 대상으로 TimesNet, DLinear, N-BEATS, iTransformer 4종 백본과 포인트·단일 가우시안·가우시안 혼합(GMM) 출력 헤드를 비교한 결과, 단기 예측에서는 백본 교체(CRPS 변화 1.5% 미만)보다 헤드 교체(포인트→가우시안 1.3%, 가우시안→혼합 2.4% 추가 개선)의 효과가 일관되게 더 컸다. 특히 혼합 밀도 헤드는 1970년대 스태그플레이션처럼 변동성이 극도로 높은 구간에서 단일 가우시안 대비 최대 13.9%의 CRPS 개선을 보이며 꼬리 위험 포착 능력을 입증했으나, 장기 예측(h≥6)에서는 백본의 영향력이 다시 우세해지는 수평 의존적 패턴도 확인됐다.

arXiv:2606.18283v1cs.LG

가우시안 혼합 어텐션: 확률적 잠재 라우팅을 통한 선형 시간 시퀀스 혼합

Gaussian Mixture Attention: Linear-Time Sequence Mixing via Probabilistic Latent Routing

표준 점곱 어텐션의 O(N²) 병목을 피하기 위해 가우시안 혼합 어텐션(GMA)을 제안하며, 쿼리-키 쌍별 비교 대신 K개 학습된 가우시안 혼합 구성요소를 통한 확률적 잠재 라우팅으로 시퀀스를 혼합하고 N×N 친화성 행렬 없이 O(NK) 저장으로 선형 시간 스케일링을 달성한다. 실험에서 GMA는 긴 컨텍스트 분류에서 어텐션 스타일 베이스라인과 대등한 성능을 보였고, WikiText-103에서는 선형·랜덤 특징 어텐션보다 개선됐으나 최적화된 인과적 SDPA와 Mamba에는 뒤처졌다.

arXiv:2606.06505v1cs.CG

평면 곡선의 기하학적 가우시안 혼합 표현

A Geometric Gaussian Mixture Representation of Plane Curves

평면 곡선에 대한 사용자 정의 확률적 다각형 표현을 제안한다. 주어진 곡선에서 꼭짓점을 선택하고 연속된 꼭짓점을 선분으로 연결하여 다각형 근사를 구성한다. 각 선분에는 법선 방향에 대한 사용자 정의 불확실성 매개변수가 부여된다. 이로부터 기저 곡선의 기하학적 구조를 보존하면서 이상화된 결정론적 1차원 정식화를 넘어 확장되는 얇은 확률적 기하 기본 요소들의 집합이 생성된다. 각 선분에 대해, 접선 방향으로는 균등분포하고 법선 방향으로는 가우시안 분포하는 확률변수를 정의한다. 1차 및 2차 중심 모멘트를 일치시킴으로써, 이 구성은 평균이 선분의 중점에 위치하고 공분산이 접선 및 법선 방향의 불확실성을 모두 인코딩하는 가우시안 성분을 유도한다. 선분별 성분을 적절한 가중치로 결합하면 평면 곡선의 사용자 정의 확률적 다각형 표현에 대한 가우시안 혼합 모델(GMM) 표현이 도출된다. 제안된 프레임워크는 국소 기하학적 구조와 법선 방향의 불확실성을 보존하는 해석적으로 다루기 쉬운 확률적 모델을 제공한다. 이 방법은 매끄러운, 닫힌, 열린, 비정칙 및 자기교차 평면 곡선에 적용 가능하며, 법선 방향의 적응적 이산화 및 가변 불확실성을 허용하고, 그 결과 불확실성 인식 기하 모델링을 지원한다. 표준 평면 곡선 모음에 대한 실험에서, 도출된 GMM이 국소 접선, 국소 법선, 국소 호의 길이를 포착하며, 그 결과 기저 곡선의 전체 형상 역시 충실히 포착됨을 보인다. 이 표현은 불확실성 인식 CAD 및 디지털 트윈, 로보틱스에서의 확률적 장애물 모델링, 그리고 확률적 궤적 계획 응용에 특히 적합하다.