arXiv:2401.14675

Multi-model learning by sequential reading of untrimmed videos for action recognition

Kodai Kamiya, Toru Tamaki

제출 2024-01-26

원문 초록

We propose a new method for learning videos by aggregating multiple models by sequentially extracting video clips from untrimmed video. The proposed method reduces the correlation between clips by feeding clips to multiple models in turn and synchronizes these models through federated learning. Experimental results show that the proposed method improves the performance compared to the no synchronization.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 Action Recognition

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.07888v2cs.LG공통 태그 Federated Learning

OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭

Distributed Sketching on Data Partitions for OLS Regression

본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.

arXiv:2606.30266v2cs.LG공통 태그 Action Recognition

지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.

arXiv:2610.13508v1cs.LG공통 태그 Federated Learning

FedPCD: 우선순위 제약 기반 연합 집계

FedPCD: Priority-Constrained Federated Aggregation

연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.

arXiv:2610.13631v1cs.LG공통 태그 Federated Learning

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.