Peer-to-Peer Federated Continual Learning for Naturalistic Driving Action Recognition
원문 초록
Naturalistic driving action recognition (NDAR) has proven to be an effective method for detecting driver distraction and reducing the risk of traffic accidents. However, the intrusive design of in-cabin cameras raises concerns about driver privacy. To address this issue, we propose a novel peer-to-peer (P2P) federated learning (FL) framework with continual learning, namely FedPC, which ensures privacy and enhances learning efficiency while reducing communication, computational, and storage overheads. Our framework focuses on addressing the clients' objectives within a serverless FL framework, with the goal of delivering personalized and accurate NDAR models. We demonstrate and evaluate the performance of FedPC on two real-world NDAR datasets, including the State Farm Distracted Driver Detection and Track 3 NDAR dataset in the 2023 AICity Challenge. The results of our experiments highlight the strong competitiveness of FedPC compared to the conventional client-to-server (C2S) FLs in terms of performance, knowledge dissemination rate, and compatibility with new clients.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CE⁴L: 지속적 Ego, Exo 및 Ego-Exo 학습
CE$^4$L: Continual Ego, Exo, and Ego-Exo Learning
체화 에이전트(embodied agent)의 지각은 영상 기반이며, 종종 다중 시점(ego, exo, 또는 둘 다)을 사용하고, 작업과 시점 변화가 동시에 일어나는 점에서 본질적으로 지속적(continual)이다. 그러나 지속 학습(CL)은 여전히 exo 전용 인식 과제 위주로 연구되어, 이러한 현실 세계에서 결합된 변화 하의 거동을 드러내기 어렵게 한다. 본 연구는 Continual Ego, Exo, and Ego-Exo Learning(CE⁴L)을 제안한다. 이는 교차 시점 참조 기술 평가, 시간적 행동 분할(temporal action segmentation), 교차 시점 연관, 행동 예측 및 계획(action anticipation & planning)의 네 가지 대표 과제를 아우르는 통합 다중 시점 CL 벤치마크이다. CE⁴L은 교차 시점 대응(cross-view correspondence), 시점 의존 비동기(view-dependent asynchrony), 이질적 의미 목표(heterogeneous semantic objectives) 등 기존 CL 벤치마크에서 거의 다루지 않았던 도전을 부각한다. 이를 위해 Video Incremental Subspace-routed Task Adapters(VISTA)를 제안한다. 이는 매개변수 효율적 기준선 방법으로, 과제별 갱신을 경량 어댑터에 저장하고, 이차 통계(second-order statistics)로부터 추정한 과제별 whitening된 부분공간까지의 잔차 거리(residual distance)를 통해 학습(training) 없이 라우팅한다. 광범위한 실험은 CE⁴L 설정 전반에 걸쳐 대표적 CL 방법들의 효과가 크게 달리 나타남을 보여 주며, VISTA는 일관되게 경쟁력 있고 전반적으로 최신(state-of-the-art) 성능을 달성한다. 벤치마크와 방법의 소스 코드는 https://github.com/AnAppleCore/CE4L 에서 이용할 수 있다.
연합 MLLM 미세조정을 위한 탄성 정규화 및 합성 리플레이 기반 지속 학습
Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning
분산 네트워크 전반에 걸친 멀티모달 대규모 언어 모델(MLLM)의 연합 미세조정은 진화하는 데이터 스트림에 대한 프라이버시 민감 적응을 가능하게 하지만, 동적 환경에서의 견고한 배포를 막는 근본적 장애물이 존재한다: 순차적 과제 업데이트가 시각, 언어, 교차 모달 표현에 걸쳐 이전에 습득한 지식을 지워버리는 치명적 망각(catastrophic forgetting)이다. 이러한 과제를 해결하는 것은 콘텐츠 검열과 같은 안전성 민감 영역에서 운용되는 자율 연결형 AI에 특히 중요하며, 여기서 이전 지식의 신뢰할 수 있는 유지는 시스템 무결성의 기반이 된다. 이를 극복하기 위해, 우리는 연합 지속 다중모달 학습(FedCMM)을 제안한다. 이는 세 가지 상호 보완적 수준에서 연합 최적화 루프에 지속 학습 보호 장치를 내장하는 프레임워크이다. 매개변수 수준에서, 모달리티 인식 탄성 가중치 통합(elastic weight consolidation)은 비전 인코더, 언어 백본, 교차 모달 프로젝터에 대해 각각 별도의 Fisher 정보 행렬을 계산하여, 모달리티 특화 망각에 대한 세밀하고 비대칭 인식 보호를 제공한다. 데이터 수준에서, 각 클라이언트는 경량 로컬 생성형 리플레이 모듈을 학습하여 원시 데이터 공유 없이 원시 데이터 없는 임베딩 수준 멀티모달 리플레이 튜플을 합성한다. 집계 수준에서, 과제 유사도 인식 그래디언트 집계는 그래디언트 코사인 유사도에 따라 클라이언트 업데이트를 자율적으로 필터링하고 재가중하여 충돌하는 방향을 억제하고 전역 학습 궤적을 안정화한다. 두 벤치마크에 대한 광범위한 실험은 FedCMM이 정확도와 역방향 전이(backward transfer)에서 최근 베이스라인을 일관되게 능가함을 보여주며, 전체적이고 모달리티 인식 최적화가 이질적인 연결형 AI 배포 전반에 걸쳐 견고한 진화적 적응을 가능하게 함을 확인한다.
HERO: 연합 지속 학습을 위한 이질성 인식 벤치마크 라이브러리
HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning
연합 지속 학습(FCL)은 분산된 클라이언트들이 변화하는 데이터 스트림에서 학습하면서 이전에 학습한 지식을 유지하는 방식을 평가한다. 기존 평가들은 데이터셋, 태스크 분할, 클라이언트 데이터 분할, 태스크 순서, 백본, 메모리 가정, 보고 규칙을 동시에 변경하는 경우가 많아 비교가 어렵다. 우리는 FCL을 위한 이질성 인식 벤치마크 라이브러리인 HERO를 소개한다. HERO는 흔히 결합되어 있는 세 가지 선택, 즉 태스크 분할, 클라이언트 데이터 분할, 클라이언트 태스크 시퀀스를 분리하여 벤치마크 스트림을 구성한다. 주요 비교 벤치마크인 HERO-Core에서 α는 클라이언트 데이터 편중을 제어하고, ρ는 태스크 순서 불일치를 제어한다. 우리는 CIFAR-100과 TinyImageNet에서 대표적인 FCL 방법들을 최종 평균 정확도, 평균 망각, 하위 10% 클라이언트 정확도를 기준으로 평가한다. 또한 OGB-MolPCBA를 대상으로 그래프 기반 Domain-IL 이식성 사례 연구를 포함하며, 여기서는 스캐폴드 도메인 세분성이 입력 분포를 변화시키는 동안 예측 태스크는 고정된 채로 유지된다. 실험 결과, 방법의 동작이 쉬운 설정과 이질적인 설정에 걸쳐 변화하며, 평균 정확도가 하위 클라이언트의 낮은 성능을 은폐할 수 있고, 태스크 순서 불일치가 동기화된 평가와는 다른 전략을 선호하며, 동일한 HERO 인터페이스가 이미지 기반 FCIL을 넘어 도메인 이동 난이도를 노출할 수 있음을 보인다. HERO는 재현 가능하고 설정 인식적인 FCL 평가를 지원하기 위해 벤치마크 스트림, 구성, 방법 구현, 보고 스크립트를 공개한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화
EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading
정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.