PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11076v1cs.LG

LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.

arXiv:2610.10636v1cs.LG

D-SLR: 서로소 행-희소 및 저계수 분해

D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition

재구성을 위해 행렬을 압축할 때는 여전히 단일 저계수(low-rank) 구조로 데이터를 근사하는 절단 SVD(truncated SVD)가 기본적으로 사용됩니다. 중첩되는 행-희소(row-sparse) 성분을 추가하여 잔차를 더욱 줄이는 방식이 흔히 쓰이지만, 이러한 결합 문제를 해결하는 방법들은 대개 반복적 솔버(iterative solver)와 정규화(regularization) 매개변수(parameter) 튜닝을 필요로 합니다. 본 논문에서는 절단 SVD를 개선하거나 정확히 일치시키는 닫힌 형식(closed-form)의 직접 대체제인 서로소 행-희소 및 저계수(D-SLR, Disjoint Row-Sparse plus Low-Rank) 분해를 제안합니다. D-SLR은 행을 그대로 저장하거나 저계수 적합으로 근사하는 것 중 하나로만 제한하며, 둘 다 적용하지는 않습니다. 제곱 오차 기준에서 이러한 제한은 아무런 손실을 초래하지 않습니다. 즉, 모든 비자명한 랭크와 저장된 행 수(형태)에서 더 적은 매개변수로 서로소 형태의 결합 최적해를 달성할 수 있습니다. 저장된 행 수가 0일 때 D-SLR은 절단 SVD로 환원되므로 동일한 비용에서 절단 SVD보다 결코 나빠지지 않습니다. 이 알고리즘은 오차 대 매개변수의 전체 트레이드오프를 평가하며, 이후 제공된 목표 오차나 매개변수 수, 또는 선택 규칙에 따라 해가 결정됩니다. 그리드와 해를 구하는 데 드는 비용은 튜닝이나 정규화 없이 SVD 3회 분량에 불과합니다. 또한 모든 형태에 대해 오차에 대한 가정 없는 사후(a-posteriori) 하한을 도출하여, 각 해에 대해 랭크 및 저장된 행 수의 다른 선택에 따른 잠재적 이득에 관한 계산 가능한 인증서를 제공합니다. 합성 데이터 및 실제 데이터(대규모 언어 모델(LLM) 임베딩(embedding) 테이블, 네트워크 트래픽, 초분광 영상)에 대한 실험을 통해 성능 향상을 확인하고 인증서를 정량화합니다.

arXiv:2510.05544v3cs.CL

효율적인 LLM/VLM을 위한 활성화 정보 기반 파레토 유도 저순위 압축

Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM

대규모 언어 모델(LLM)과 비전-언어 모델(VLM)은 최고 수준의 성능을 달성했지만, 배포 시 상당한 메모리 및 연산 문제를 야기합니다. 본 논문에서는 이러한 문제를 해결하기 위한 새로운 저순위(low-rank) 압축 프레임워크를 제시합니다. 먼저, 층별(layer-wise) 활성화 기반 압축 오차를 통해 네트워크 손실의 변화에 대한 상한(upper bound)을 도출하여 기존 연구의 이론적 공백을 메웁니다. 그런 다음 저순위 모델 압축을 이중 목적 최적화(bi-objective optimization) 문제로 정식화하고, 단일한 균일 허용 오차(tolerance)를 통해 대리 파레토 최적(surrogate Pareto-optimal)의 이종 순위(heterogeneous ranks)를 얻을 수 있음을 증명합니다. 이러한 이론적 통찰을 바탕으로, 파레토 유도 순위 선택과 교대 최소제곱법(alternating least-squares) 구현을 통해 활성화 인지 압축을 개선하는 제로샷(zero-shot) 파이프라인인 PGSVD(Pareto-Guided Singular Value Decomposition)를 제안합니다. PGSVD를 LLM과 VLM 모두에 적용한 결과, 동일한 압축 수준에서 더 우수한 정확도와 추론 속도 향상을 입증했습니다.

arXiv:2506.11641v2math.NA공식 코드 · Papers with Code

에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더

Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective

심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.

arXiv:2609.27959v1eess.IV

전참조 및 무참조 영상 품질 평가를 위한 보완적 구조 표현으로서의 지역 SVD-엔트로피 맵

Local SVD-Entropy Maps as a Complementary Structural Representation for Full-Reference and No-Reference Image Quality Assessment

우리는 2차원 영상 패치에서 직접 계산한 특이값의 섀넌 엔트로피에 기반한, 지각적 영상 품질 평가(IQA)를 위한 지역 스펙트럴 복잡도 표현을 연구한다. 각 $3\times3$ 픽셀 그레이스케일 패치에 대해 SVD를 직접 적용하고, 정규화된 특이값 엔트로피가 HSVD-맵 값 하나를 정의한다. 이 구성은 평탄화(flattening)나 지연 임베딩(delay embedding)을 필요로 하지 않으며, 경계 패딩(boundary padding)을 사용하지 않고, 지역 서술자 수준에서 $90^{\circ}$ 회전 및 거울 반사에 불변이다. Lena에 대한 중첩 salt-and-pepper 실험은 깨끗한 참조 영상에 대한 절대 유사도와 추가 열화 단계에 대한 민감도를 분리한다. HSVD-SSIM은 지역 손상에 더 강하게 반응하며, 심한 노이즈 수준에서 더 큰 이웃 상태(neighboring-state) 응답을 유지한다. 왜곡된 KADID-10k 영상 10,125장 전체에 대한 검증 결과, HSVD-SSIM은 단독 전참조(full-reference) 지표로는 기존 SSIM보다 약하다(SRCC $0.450$ vs. $0.619$), 그러나 결합하면 보완적이다: 그룹 교차 검증(grouped cross-validation)에서 SRCC가 $0.618$에서 $0.659$로 증가하며, 증가분에 대한 부트스트랩 95\% 신뢰구간은 $[0.036,0.046]$이다. 무참조(no-reference) 실험에서 HSVD 기반 단일 영상 서술자를 추가하면 최상의 비선형 모델의 SRCC가 $0.528$에서 $0.575$로 개선되고(95\% CI $[0.033,0.061]$), 이웃 왜곡 상태 간 품질 변화 예측도 개선된다. 이 결과는 직접적인 지역 SVD 엔트로피가 해석 가능한 구조 채널로서 기존 영상 도메인 유사도를 보완하고, 무손상 참조 없이도 유익한 정보를 제공함을 뒷받침한다.