arXiv:2405.03537

Exploring the Efficacy of Federated-Continual Learning Nodes with Attention-Based Classifier for Robust Web Phishing Detection: An Empirical Investigation

Jesher Joshua M, Adhithya R, Sree Dananjay S, M Revathi

제출 2024-05-06

원문 초록

Web phishing poses a dynamic threat, requiring detection systems to quickly adapt to the latest tactics. Traditional approaches of accumulating data and periodically retraining models are outpaced. We propose a novel paradigm combining federated learning and continual learning, enabling distributed nodes to continually update models on streams of new phishing data, without accumulating data. These locally adapted models are then aggregated at a central server via federated learning. To enhance detection, we introduce a custom attention-based classifier model with residual connections, tailored for web phishing, leveraging attention mechanisms to capture intricate phishing patterns. We evaluate our hybrid learning paradigm across continual learning strategies (cumulative, replay, MIR, LwF) and model architectures through an empirical investigation. Our main contributions are: (1) a new hybrid federated-continual learning paradigm for robust web phishing detection, and (2) a novel attention + residual connections based model explicitly designed for this task, attaining 0.93 accuracy, 0.90 precision, 0.96 recall and 0.93 f1-score with the LwF strategy, outperforming traditional approaches in detecting emerging phishing threats while retaining past knowledge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12112v1cs.LG공통 태그 Continual Learning, Federated Learning

연합 MLLM 미세조정을 위한 탄성 정규화 및 합성 리플레이 기반 지속 학습

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

분산 네트워크 전반에 걸친 멀티모달 대규모 언어 모델(MLLM)의 연합 미세조정은 진화하는 데이터 스트림에 대한 프라이버시 민감 적응을 가능하게 하지만, 동적 환경에서의 견고한 배포를 막는 근본적 장애물이 존재한다: 순차적 과제 업데이트가 시각, 언어, 교차 모달 표현에 걸쳐 이전에 습득한 지식을 지워버리는 치명적 망각(catastrophic forgetting)이다. 이러한 과제를 해결하는 것은 콘텐츠 검열과 같은 안전성 민감 영역에서 운용되는 자율 연결형 AI에 특히 중요하며, 여기서 이전 지식의 신뢰할 수 있는 유지는 시스템 무결성의 기반이 된다. 이를 극복하기 위해, 우리는 연합 지속 다중모달 학습(FedCMM)을 제안한다. 이는 세 가지 상호 보완적 수준에서 연합 최적화 루프에 지속 학습 보호 장치를 내장하는 프레임워크이다. 매개변수 수준에서, 모달리티 인식 탄성 가중치 통합(elastic weight consolidation)은 비전 인코더, 언어 백본, 교차 모달 프로젝터에 대해 각각 별도의 Fisher 정보 행렬을 계산하여, 모달리티 특화 망각에 대한 세밀하고 비대칭 인식 보호를 제공한다. 데이터 수준에서, 각 클라이언트는 경량 로컬 생성형 리플레이 모듈을 학습하여 원시 데이터 공유 없이 원시 데이터 없는 임베딩 수준 멀티모달 리플레이 튜플을 합성한다. 집계 수준에서, 과제 유사도 인식 그래디언트 집계는 그래디언트 코사인 유사도에 따라 클라이언트 업데이트를 자율적으로 필터링하고 재가중하여 충돌하는 방향을 억제하고 전역 학습 궤적을 안정화한다. 두 벤치마크에 대한 광범위한 실험은 FedCMM이 정확도와 역방향 전이(backward transfer)에서 최근 베이스라인을 일관되게 능가함을 보여주며, 전체적이고 모달리티 인식 최적화가 이질적인 연결형 AI 배포 전반에 걸쳐 견고한 진화적 적응을 가능하게 함을 확인한다.

arXiv:2607.08784v1cs.LG공통 태그 Continual Learning, Federated Learning

HERO: 연합 지속 학습을 위한 이질성 인식 벤치마크 라이브러리

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

연합 지속 학습(FCL)은 분산된 클라이언트들이 변화하는 데이터 스트림에서 학습하면서 이전에 학습한 지식을 유지하는 방식을 평가한다. 기존 평가들은 데이터셋, 태스크 분할, 클라이언트 데이터 분할, 태스크 순서, 백본, 메모리 가정, 보고 규칙을 동시에 변경하는 경우가 많아 비교가 어렵다. 우리는 FCL을 위한 이질성 인식 벤치마크 라이브러리인 HERO를 소개한다. HERO는 흔히 결합되어 있는 세 가지 선택, 즉 태스크 분할, 클라이언트 데이터 분할, 클라이언트 태스크 시퀀스를 분리하여 벤치마크 스트림을 구성한다. 주요 비교 벤치마크인 HERO-Core에서 α는 클라이언트 데이터 편중을 제어하고, ρ는 태스크 순서 불일치를 제어한다. 우리는 CIFAR-100과 TinyImageNet에서 대표적인 FCL 방법들을 최종 평균 정확도, 평균 망각, 하위 10% 클라이언트 정확도를 기준으로 평가한다. 또한 OGB-MolPCBA를 대상으로 그래프 기반 Domain-IL 이식성 사례 연구를 포함하며, 여기서는 스캐폴드 도메인 세분성이 입력 분포를 변화시키는 동안 예측 태스크는 고정된 채로 유지된다. 실험 결과, 방법의 동작이 쉬운 설정과 이질적인 설정에 걸쳐 변화하며, 평균 정확도가 하위 클라이언트의 낮은 성능을 은폐할 수 있고, 태스크 순서 불일치가 동기화된 평가와는 다른 전략을 선호하며, 동일한 HERO 인터페이스가 이미지 기반 FCIL을 넘어 도메인 이동 난이도를 노출할 수 있음을 보인다. HERO는 재현 가능하고 설정 인식적인 FCL 평가를 지원하기 위해 벤치마크 스트림, 구성, 방법 구현, 보고 스크립트를 공개한다.

arXiv:2610.02283v2cs.LG공통 태그 Continual Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

arXiv:2607.12455v4cs.AI공통 태그 Continual Learning

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

arXiv:2610.02945v2cs.AI공통 태그 Continual Learning

AI 지원 수학적 발견을 위한 연속 그래프 메모리와 커뮤니티 인프라

Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery

수학적 발견에는 부분적인 아이디어와 그 재사용을 뒷받침하는 증거를 보존하는 것이 필요하다. 본 논문은 모델이 수용한 주장과 의존 관계를 선별된 탐색과 분리하는 연속 그래프 메모리를 갖춘 연구 하니스인 Ansatz와, 이러한 작업을 검사하고 안내하며 점검하기 위한 커뮤니티 플랫폼인 Ansatze를 제시한다. First Proof에서 Ansatz는 10문제씩 두 배치 각각에서 국소 검증기 종결 9건을 기록했으며, Second Batch의 부분 결과 하나도 연구의 기준에 따라 통과로 계산되었다. 이러한 모델 평가 결과에는 지속된 탐색이 포함되어 있으며 전문가 검증과는 다르다. 구성 요소 연구와 재검토는 불일치와 그 의존 관계의 파급 범위를 드러낸다. 미해결 문제 탐구에서는 후보 결과가 도출되었으며, 다섯 건의 Lean 형식화가 보고되었다. 이 플랫폼은 문제 발견, 연구 기록, 원고 분석, 형식 검증을 연결하면서 서로 구별되는 증거 상태를 보존한다. 이러한 시스템들은 지속적인 탐구와 검사 가능한 기여를 통해 인간-AI의 누적적 연구를 뒷받침한다.

arXiv:2606.30015v2cs.CL공통 태그 Continual Learning

파라메트릭 스킬

Parametric Skills

LLM에서 스킬(skill)은 성숙한 문제 해결 경험을 부호화한 텍스트 형태의 레시피이다. 널리 배포되고 있음에도 불구하고, 스킬의 효용은 모델이 스킬 지침을 이해하고 따르는 능력에 의해 제한된다. 이러한 한계를 해결하기 위해 본 논문은 텍스트 스킬을 테스트 시점에 매개변수화하여 전체 스킬 수명 주기를 컨텍스트 없이 관리할 수 있게 하는 프레임워크인 ParametricSkills를 제안한다. 구체적으로, 먼저 대규모의 고품질 스킬 컬렉션을 구축한 다음, 단일 턴 및 다중 턴 스킬 활용 궤적을 합성한다. 이 데이터를 사용하여 텍스트 스킬을 LoRA 어댑터로 변환함으로써 스킬의 내용과 활용 방법론을 모두 매개변수화하는 하이퍼네트워크를 학습한다. 프레임워크의 실제 응용을 돕기 위해, OpenCode로 수집한 복잡하고 장기적인 궤적에 대해 하이퍼네트워크를 추가로 정렬하여, 모델이 ParametricSkills와 함께 현실적인 상호작용 워크플로에서 안정적으로 동작하도록 한다. 평가 전반에서 ParametricSkills는 스킬을 효과적으로 매개변수화하여 과제 완수율을 크게 향상시켰다. 특히 매개변수화된 스킬이 컨텍스트를 점유하지 않고 어댑터로 누적되기 때문에, 테스트 시점의 지속 학습(continual learning)을 향한 예비적이지만 유망한 길을 열어 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.