PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.02751v3cs.LG

피셔 기하학을 통한 잠재 공간 확산 가능성의 이해

Understanding Latent Diffusability via Fisher Geometry

확산 모델(Diffusion model)은 잠재 공간(latent space)에서 성능이 저하되는 경우가 많지만, 이에 대한 형식적인 원인은 여전히 명확히 규명되지 않았습니다. 본 연구에서는 확산 궤적을 따른 최소 평균 제곱 오차(MMSE)의 변화율을 통해 잠재 공간의 확산 가능성(diffusability)을 정량화합니다. 제안하는 프레임워크는 이 MMSE 변화율을 피셔 정보(Fisher Information, FI)와 피셔 정보율(Fisher Information Rate, FIR)의 기여도로 분해합니다. 우리는 등거리 임베딩(isometric embedding)이 내재적 FI를 보존함을 보이고, 약한 부피 왜곡이 제어된 더 넓은 클래스의 bi-Lipschitz 인코더에 대한 정량적 내재적 FI 한계를 확립하는 반면, FIR은 인코더와 데이터 기하학 간의 상호작용에 의해 지배됨을 보입니다. 또한 가우스 평활화된(Gaussian-smoothed) FIR의 국소 안정성 한계에서 차원 압축, 접선 왜곡, 고주파 인코더 곡률, 데이터 다양체 곡률이라는 네 가지 기하학적 기여를 분리하여 분석합니다. 다양한 오토인코더 아키텍처에 대한 실험은 이론이 규명한 기하학적 메커니즘을 정성적으로 뒷받침하며, 테스트된 환경에서 경험적 FI 및 FIR이 생성 품질과 잠재 공간 기하학의 여러 척도를 추적함을 보여줍니다. 이를 통해 우리는 잠재 확산 가능성을 이해하기 위한 포괄적인 분석 프레임워크로서 FI와 FIR을 확립합니다.

arXiv:2506.11641v2math.NA공식 코드 · Papers with Code

에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더

Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective

심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.

arXiv:2607.14463v1cs.LG

LiDAR 포인트 클라우드 분류를 위한 동역학 시스템 오토인코더의 깊이 의존적 은닉 상태 붕괴

Depth-Dependent Hidden-State Collapse in Dynamical System Autoencoders for LiDAR Point-Cloud Classification

우리는 공간 좌표와 Product Coefficient 특징 증강을 사용하여 LiDAR 포인트 클라우드 분류를 위한 동역학 시스템 오토인코더(DSAE)를 연구한다. 실험에서는 인코더 깊이 $K=1,\ldots,5$에서 별도로 학습된 DSAE 아키텍처를 비교하고, Random Forest, kNN, 그리고 다수 클래스 Dummy 기준선으로 결과 은닉 표현을 평가한다. 주요 발견은 $K=5$에서의 은닉 상태 붕괴이다. xyz 입력과 xyz plus Product Coefficient 입력 모두에서 은닉 상태 표준편차는 $10^{-5}$ 크기까지 떨어지며, 세 분류기 모두 동일한 macro F1 점수 $0.224688$에 도달한다. 우리는 클래스 간 은닉 산포가 전체 은닉 산포에 의해 상한이 정해지며, 이는 다시 보고된 은닉 상태 분산에 의해 제어됨을 증명한다. 따라서 거의 일정한 은닉 표현은 상당한 클래스 분리 구조를 유지할 수 없다. Product Coefficient는 현재 DSAE 설정에서 붕괴 이전 macro F1을 개선하지도 않고 $K=5$ 붕괴를 방지하지도 않는다. 이 결과는 큰 깊이에서의 표현 붕괴가 DSAE LiDAR 분류의 구체적인 실패 모드임을 밝힌다.

arXiv:2606.27320v1cs.SD

Elastic Time: 신경 오디오 코딩을 위한 동적 프레임 레이트 병목

Elastic Time: Dynamic Frame Rate Bottlenecks for Neural Audio Coding

신경 오디오 오토인코더는 압축, 특징 추출, 생성의 핵심 구성 요소가 되었다. 그러나 기존 시스템이 가변 비트레이트를 지원하더라도, 대다수의 모델은 여전히 고정 잠재 프레임 레이트에서 동작하며, 정보 밀도가 매우 다른 구간에 동일한 시간적 예산을 할당하여 불필요하게 긴 시퀀스가 발생할 수 있다. 우리는 고정 프레임 레이트 오토인코더를 동적 모델로 변환하는 동적 프레임 레이트 병목인 Elastic Time을 제안한다. 우리 방법은 어떤 프레임을 건너뛰고 이후 재구성할 수 있는지를 결정하는 경량 잠재 예측기를 학습하며, 추론 시 효율적인 탐욕적 경계 선택을 가능하게 한다. 실험 결과, 우리 방법은 배포 시점 레이트 제어를 가능하게 하면서 기준선 대비 효율-품질 트레이드오프를 개선한다. 전반적으로, 우리는 오디오 오토인코더에서 시간적 해상도를 조절하는 유연한 메커니즘을 제공하며, 생성 및 장문맥 작업을 위한 더 효율적인 하류 모델링을 잠재적으로 촉진할 수 있다.

arXiv:2510.09468v3cs.LG

암묵적으로 정의된 잠재 매니폴드 위의 측지선 미적분학

Geodesic Calculus on Implicitly Defined Latent Manifolds

오토인코더(autoencoder)의 잠재 매니폴드는 데이터의 저차원 표현을 제공하며, 기하학적 관점에서 연구할 수 있습니다. 본 연구에서는 이러한 잠재 매니폴드를 특정 주변 잠재 공간의 암묵적 부분 매니폴드로 설명하는 방식을 제안합니다. 이를 바탕으로 고전적인 기하학적 연산자를 근사하는 이산 리만 미적분학(discrete Riemannian calculus)을 위한 도구를 개발했습니다. 이 도구들은 실제 사례에서 빈번하게 발생하는 암묵적 표현의 부정확성에 대해 강인합니다. 적절한 암묵적 표현을 얻기 위해, 디노이징(denoising) 목적 함수를 최소화하여 잠재 매니폴드로의 근사 사영(projection)을 학습하는 방법을 제안합니다. 이 접근법은 기저에 있는 오토인코더와 무관하며, 잠재 매니폴드에서 서로 다른 리만 기하학(Riemannian geometry)을 적용하는 것을 지원합니다. 특히 이 프레임워크는 주어진 끝점을 연결하는 측지선 경로와 잠재 매니폴드 상의 리만 지수 맵(Riemannian exponential map)을 통한 슈팅 측지선(shooting geodesics) 계산을 가능하게 합니다. 합성 데이터와 실제 데이터로 학습된 다양한 오토인코더를 통해 본 방법을 평가했습니다.

arXiv:2606.07120v1cs.LG

선형 및 과완전 체제를 넘어서: 병목 오토인코더의 평균장 분석

Beyond Linear and Overcomplete Regimes: A Mean-Field Analysis of Bottleneck Autoencoders

오토인코더(AE)는 데이터를 잠재 공간에 매핑하면서 재구성 오차를 최소화함으로써 저차원 표현을 학습한다. 경험적으로 성공했음에도 이론적 이해는 제한적이며, 대체로 선형 모델이나 병목이 없는 설정에 국한되어 있다. 본 연구에서는 평균장(MF) 체제에서 고정된 유한 차원 병목을 가진 비선형 AE를 연구한다. 인코더와 디코더 모두에 대한 명시적 MF 학습 역학을 도출하여, 비선형 설정에서의 학습에 대한 다루기 쉬운 특성화를 제공한다. 유한 시간 구간에 걸쳐, 확률적 경사하강법으로 학습된 유한 너비 네트워크의 경험적 리스크가 MF 리스크 궤적을 높은 확률로 밀접하게 추적함을 보인다. 최적점에서, 유한 너비 리스크가 MF 최적값으로 수렴함을 추가로 정립하며, 이는 유한 네트워크가 무한 너비 해를 충분히 근사할 만큼 표현력이 충분함을 보여준다.