PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30461v1cs.LG

MuonSSM: 시퀀스 모델링을 위한 상태 공간 모델의 직교화

MuonSSM: Orthogonalizing State Space Models for Sequence Modeling

기존 SSM의 1차 업데이트에서 비롯되는 스펙트럼 불균형과 장기 메모리 열화 문제를 해결하기 위해, MuonSSM은 모멘텀 기반 경로와 Newton–Schulz 정규화를 통해 메모리 업데이트의 기하학적 조건을 명시적으로 개선하는 범용 프레임워크를 제안한다. 병렬 스캔 복잡도를 유지하면서 그라디언트 전파 안정성과 스펙트럼 조건화를 이론적으로 보장하며, 언어·비전·시계열 벤치마크 전반에 걸쳐 다양한 SSM 백본에 통합 시 일관된 성능 향상을 보인다.

arXiv:2606.26973v1cs.CV

안전한 오픈셋 준지도 학습을 위한 기하학적 그래디언트 정정

Geometric Gradient Rectification for Safe Open-Set Semi-Supervised Learning

오픈셋 준지도 학습에서 샘플 필터링과 소프트 가중의 트레이드오프를 피하기 위해, 지도 그래디언트를 앵커로 충돌하는 보조 그래디언트를 그래디언트 공간의 허용 영역에 투영하는 기하학적 그래디언트 정정(Geometric Gradient Rectification, GGR) 플러그인을 제안한다. CIFAR·ImageNet 벤치마크에서 GGR은 대표 OSSL 베이스라인을 대부분 설정에서 개선해 클로즈드셋 일반화와 오픈셋 견고성을 함께 높였다.