PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01296v1cs.AI

ITC-MoE: MoE 확산 언어 모델을 위한 중요도 기반 토큰 인식 압축

ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models

전문가 혼합(MoE) 확산 언어 모델(DLM)은 유연한 병렬 디코딩과 향상된 모델 용량을 제공하지만, 방대한 수의 전문가 매개변수로 인해 상당한 계산 및 스토리지 비용이 발생합니다. 기존의 저랭크(low-rank) MoE 압축 방식은 주로 정적 인수분해와 고정된 랭크 할당에 의존하여 MoE DLM의 고유한 특성을 간과합니다. 구체적으로 본 논문에서는 두 가지 특성을 규명합니다. 첫째는 입력, 출력 및 전문가 모드 전반에 걸쳐 매개변수 중복성과 랭크 절단에 대한 민감도가 달라지는 '교차 모드 불균일 중복성'이며, 둘째는 핫(hot) 토큰과 콜드(cold) 토큰이 서로 다른 스펙트럼 특성과 전문가 활성화 패턴을 나타내는 '토큰별 활용 변동성'입니다. 이러한 문제를 해결하기 위해 본 논문에서는 MoE DLM을 위한 중요도 기반 토큰 인식 압축 프레임워크인 ITC-MoE를 제안합니다. ITC-MoE는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 첫째, 중요도 기반 적응형 터커 압축(IATC)은 활성화 및 그래디언트 중요도를 전문가 가중치 변환에 반영하고, 여러 모드에 걸쳐 전문가 가중치를 공동으로 인수분해하며, 고정된 매개변수 예산 내에서 적응적으로 랭크를 할당합니다. 둘째, 토큰 인식 보상 및 라우팅(TCR)은 압축에 민감한 핫 토큰에 경량 저랭크 보상을 적용하고, 집중된 라우팅 패턴을 보이는 콜드 토큰에 대해서는 후보 전문가 집합을 제한합니다. 매개변수 중복성과 토큰별 변동성에 맞춰 압축 용량과 추론 실행을 공동으로 적응시킴으로써, ITC-MoE는 생성 품질을 유지하면서도 MoE DLM의 계산 및 스토리지 비용을 크게 줄입니다. 예를 들어 SDAR-30B-A3B-Chat-b32에서 ITC-MoE는 30% 압축 예산 하에서도 MultiArith에서 96.33%의 정확도를 유지하는 동시에 최대 7.22배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/ITC-MoE 에서 공개되어 있습니다.

arXiv:2602.17510v3cs.LG

LORA-CRAFT: 사전학습 어텐션 가중치의 동결 Tucker 분해를 통한 층 간 랭크 적응

LORA-CRAFT: Cross-layer Rank Adaptation via Frozen Tucker Decomposition of Pre-trained Attention Weights

본 논문은 LoRA-CRAFT(Cross-layer Rank Adaptation via Frozen Tucker, 이하 CRAFT)를 제안한다. CRAFT는 트랜스포머 층 전반에 쌓인 사전학습 어텐션 가중치 행렬에 Tucker 텐서 분해를 적용하고, 그 결과로 얻은 동결(frozen) Tucker 인수들에 대해서만 작은 정사각 적응 행렬을 학습하는, 극도로 매개변수 효율적인 미세조정(PEFT) 방법이다. 기존 텐서 기반 PEFT 방법들은 그래디언트 갱신을 분해한다. LoTR은 공유 인수 행렬과 함께 Tucker 분해를 적용하고, SuperLoRA는 층 간 $\Delta W$를 묶어 재구성한 뒤 Tucker 분해를 적용한다. 별도로 PiSSA 같은 방법은 사전학습 가중치에 SVD를 적용하지만 층마다 독립적으로 동작한다. CRAFT는 이 두 연구 계열을 잇는다. 사전학습 가중치를 층 간 3차원 텐서로 구성한 뒤 고차 SVD(HOSVD)로 전체 Tucker 분해를 수행하고, 모든 인수를 동결한 다음, 각 인수 행렬에 가벼운 학습 가능 변환을 적용해 모델을 적응시킨다. RoBERTa-base 및 RoBERTa-large를 사용한 GLUE 벤치마크와 LLaMA2-7B 및 LLaMA3-8B를 사용한 상식 추론 벤치마크 실험에서 CRAFT는 기존 방법과 경쟁력 있는 성능을 달성하면서 Tucker 적응 매개변수만 극히 적게 요구한다. LLaMA3-8B에서는 CRAFT가 LoRA의 평균 정확도를 수백 배 적은 매개변수로 넘어선다. LLaMA2-7B에서도 0.252M 예산에서 동일한 결과가 성립한다. 결과는 모델 규모가 커질수록 CRAFT의 효율 이점이 커진다는 점을 시사한다. 동결 Tucker 인수가 더 풍부한 층 간 구조를 갖는 대규모 사전학습 모델을 더 잘 포착하기 때문이다.

arXiv:2607.11112v1cs.LG

CA-DGCL: Dynamic Graph Continual Learning via Condensation and Attachment

Dynamic graph continual learning (DGCL) is an effective manner for handling catastrophic forgetting in dynamic graphs. However, existing DGCL methods underutilize temporal information across graph snapshots. To address this critical issue, we propose a novel framework for Dynamic Graph Continual Learning via Condensation and Attachment (CA-DGCL). Specifically, CA-DGCL first condenses historical graph snapshots into compact semantic representations efficiently. Further, a cross-timestamp node chains is built to construct a third-order tensor and Tucker decomposition is applied to this tensor for obtaining stable node features, which encapsulate historical knowledge. Finally, these node features are used to generate new nodes and attached to the current graph for replaying of past information without compromising the new patterns. In addtion, a refined forgetting measure is introduced to make it more suitable for dynamic graph settings. Extensive experiments demonstrate that CA-DGCL outperforms baselines in forgetting suppression as well as maintain competitive accuracy, proving its efficacy for dynamic graph continual learning.