Efficient Continual Learning with Low Memory Footprint For Edge Device
원문 초록
Continual learning(CL) is a useful technique to acquire dynamic knowledge continually. Although powerful cloud platforms can fully exert the ability of CL,e.g., customized recommendation systems, similar personalized requirements for edge devices are almost disregarded. This phenomenon stems from the huge resource overhead involved in training neural networks and overcoming the forgetting problem of CL. This paper focuses on these scenarios and proposes a compact algorithm called LightCL. Different from other CL methods bringing huge resource consumption to acquire generalizability among all tasks for delaying forgetting, LightCL compress the resource consumption of already generalized components in neural networks and uses a few extra resources to improve memory in other parts. We first propose two new metrics of learning plasticity and memory stability to seek generalizability during CL. Based on the discovery that lower and middle layers have more generalizability and deeper layers are opposite, we $\textit{Maintain Generalizability}$ by freezing the lower and middle layers. Then, we $\textit{Memorize Feature Patterns}$ to stabilize the feature extracting patterns of previous tasks to improve generalizability in deeper layers. In the experimental comparison, LightCL outperforms other SOTA methods in delaying forgetting and reduces at most $\textbf{6.16$\times$}$ memory footprint, proving the excellent performance of LightCL in efficiency. We also evaluate the efficiency of our method on an edge device, the Jetson Nano, which further proves our method's practical effectiveness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DOMFN: A Divergence-Orientated Multi-Modal Fusion Network for Resume Assessment
만족을 넘어서: 콘텐츠, 리뷰, 웰빙 간의 연관성 학습
Beyond Satisfaction: Learning Associations Between Content, Reviews, and Well-Being
추천 알고리즘은 사람들이 온라인에서 소비하는 것을 형성하지만, 주로 별점, 좋아요, 감성과 같은 사용자 만족의 신호에 맞추어 최적화된다. 이러한 신호가 순간적 선호를 넘어 사용자에게 무엇이 좋은지를 포착하는지는 대체로 검토되지 않았다. 웰빙은 만족을 넘어서는, 심리학에 기반한 대안적 목표를 제공한다. 본 연구는 이를 리뷰에 나타난 PERMA 다섯 측면의 즉각적 표현과 지속적 표현으로 조작화한다. 실증적으로, 즉각적인 긍정 정서와 몰입은 더 쾌락적(즐거움 지향)으로 군집을 이루는 반면, 관계, 의미, 성취, 그리고 지속적인 긍정 정서와 몰입은 더 행복주의적(의미 및 성장 지향)으로 나타난다. Goodreads 리뷰 1,370만 건과 도서 1만 6천 권의 내용을 분석하여, PERMA 표현이 만족 목표와 어떻게 다른지, 그리고 어떤 도서 내용 특징이 이와 연관되는지를 연구한다. 첫째, 만족 신호(별점과 리뷰 감성)는 즉각적인 쾌락적 웰빙과는 중간 정도의 상관을 보이나(r = .43-.50) 그 지속적 표현과는 상관이 더 낮고(r <= .28), 행복주의적 측면과는 거의 연관이 없다(r <= .09). 둘째, 도서 내용 특징은 만족 신호(|r| <= .15)보다 PERMA 측면과 더 강하게 연관된다(r 최대 .46). 즉각적 쾌락적 웰빙과 연관된 내용은 지속적 및 행복주의적 웰빙과 연관된 내용과 다르다. 3인칭 대명사와 과거 지향 언어는 즉각적 몰입과 양의 관계를 보이지만(d=1.14, 1.05) 모든 지속적 측면과는 음의 관계를 보이며(d 최저 -1.58, -1.32), 친사회적 언어와 성취 지향 언어는 각각 관계와 성취와 관련된다(d=.45, .96). 이러한 결과는 만족 신호가 사용자가 표현하는 웰빙의 일부만을 포착하며, 웰빙에 기반한 목표를 사용하면 플랫폼이 상당히 다른 콘텐츠를 추천하게 될 수 있음을 시사한다.
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화
EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading
정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.
AI 지원 수학적 발견을 위한 연속 그래프 메모리와 커뮤니티 인프라
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
수학적 발견에는 부분적인 아이디어와 그 재사용을 뒷받침하는 증거를 보존하는 것이 필요하다. 본 논문은 모델이 수용한 주장과 의존 관계를 선별된 탐색과 분리하는 연속 그래프 메모리를 갖춘 연구 하니스인 Ansatz와, 이러한 작업을 검사하고 안내하며 점검하기 위한 커뮤니티 플랫폼인 Ansatze를 제시한다. First Proof에서 Ansatz는 10문제씩 두 배치 각각에서 국소 검증기 종결 9건을 기록했으며, Second Batch의 부분 결과 하나도 연구의 기준에 따라 통과로 계산되었다. 이러한 모델 평가 결과에는 지속된 탐색이 포함되어 있으며 전문가 검증과는 다르다. 구성 요소 연구와 재검토는 불일치와 그 의존 관계의 파급 범위를 드러낸다. 미해결 문제 탐구에서는 후보 결과가 도출되었으며, 다섯 건의 Lean 형식화가 보고되었다. 이 플랫폼은 문제 발견, 연구 기록, 원고 분석, 형식 검증을 연결하면서 서로 구별되는 증거 상태를 보존한다. 이러한 시스템들은 지속적인 탐구와 검사 가능한 기여를 통해 인간-AI의 누적적 연구를 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.