PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13568v1cs.LG

유리 함수 기반으로 선형화된 다층 퍼셉트론

Rationally Linearized MLPs

본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.