PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2410.06665v4cs.LG공식 코드 · Papers with Code

기약 표현의 관점에서 재조명한 다중 치환 등변성

Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations

본 논문은 치환 및 관련 군(group)의 표현에 대한 등변(equivariant) 선형 레이어의 특성화를 탐구합니다. 매개변수 공유(parameter-sharing)를 통해 이러한 문제를 다루는 전통적인 접근법과 달리, 본 연구에서는 기약 표현(irreducible representation)과 슈어의 보조정리(Schur's lemma)에 기반한 대안적 방법론을 고려합니다. 이 방법론을 사용하여 DeepSets, 2-IGN 그래프 등변 네트워크, 딥 가중치 공간(DWS, Deep Weight Space) 네트워크와 같은 기존 모델에 대한 대안적 유도를 도출합니다. DWS 네트워크에 대한 유도는 기존 결과에 비해 훨씬 간단합니다. 나아가, 군의 화환곱(wreath product)에 대한 등변성이 요구되는 비정렬 대칭 집합으로 접근법을 확장합니다. 이전 연구들은 거의 모든 화환 등변 레이어가 샴(Siamese) 구조를 갖는 다소 제한적인 환경에서 이 문제를 다루었습니다. 이와 대조적으로, 본 논문에서는 이러한 경우의 레이어에 대한 완전한 특성화를 제시하며 일부 환경에서는 방대한 수의 추가적인 비-샴(non-Siamese) 레이어가 존재함을 보입니다. 또한 이러한 추가 비-샴 레이어가 그래프 이상치 탐지, 가중치 공간 정렬, 바세르슈타인 거리(Wasserstein distance) 학습과 같은 태스크에서 성능을 향상시킬 수 있음을 실증적으로 보여줍니다. 코드는 \href{https://github.com/yonatansverdlov/Irreducible-Representations-of-Deep-Weight-Spaces}{GitHub}에서 확인할 수 있습니다.

arXiv:2402.07407v3eess.SY

기회 제약 최적화를 위한 컨포멀 예측 프로그래밍

Conformal Predictive Programming for Chance Constrained Optimization

컨포멀 예측 프로그래밍(Conformal Predictive Programming, CPP)은 랜덤 변수를 포함한 기회 제약 최적화(chance constrained optimization) 문제를 분위수 재정식화를 통해 결정론적 문제로 변환하는 프레임워크로, 독립적인 보정(calibration) 단계를 통해 볼록성 등 강한 구조적 가정 없이도 조건부 및 주변부 사후 실현 가능성 보장을 제공한다. 기존 시나리오 접근법 대비 결정 변수의 차원 수에 무관한 보장을 달성하며, 분포 변화에 강건한 Robust CPP와 클래스 조건부 제약을 처리하는 Mondrian CPP로 확장 가능함을 사례 연구를 통해 검증하였다.

arXiv:2412.05109v3cs.LG

신경망을 통한 정리 가능한 측度의 생성

Generating Rectifiable Measures through Neural Networks

우리는 (가산) $m$-정리 가능한 측度 클래스에 대한 보편 근사 결과를 도출한다. 구체적으로, $m$-정리 가능한 측度가 $[0,1]$ 위 1차원 Lebesgue 측度의 push-forward로, Wasserstein 거리 관점에서 임의로 작은 근사 오차를 갖도록 렐루(ReLU) 신경망을 사용해 근사될 수 있음을 증명한다. 더 나아가, 고려하는 네트워크의 가중치는 양자화되고 유계이며, 근사 오차 $\varepsilon$를 달성하는 데 필요한 렐루(ReLU) 신경망의 개수는 $b(\varepsilon)=\mathcal{O}(\varepsilon^{-m}\log^2(\varepsilon))$인 $2^{b(\varepsilon)}$ 이하이다. 이 결과는 Perekrestenko et al.의 Lemma IX.4를 개선하는데, $\varepsilon$가 0에 가까워질 때 $b(\varepsilon)$가 무한대로 발산하는 속도가 정리 가능성 매개변수 $m$과 일치함을 보여 주기 때문이며, 이 $m$은 주변(ambient) 차원보다 훨씬 작을 수 있다. 우리는 이 결과를 가산 $m$-정리 가능한 측度로 확장하고, 다른 기술적 가정들 가운데 측度가 가산 $m$-정리 가능한 지지 집합의 각 성분에서 지수적으로 감쇠한다는 조건 하에서, 이 속도가 여전히 정리 가능성 매개변수 $m$과 같음을 보인다.