arXiv:2501.06164

Model Alignment Search

Satchel Grant

제출 2025-01-10

원문 초록

When can we say that two neural systems are the same? The answer to this question is goal-dependent, and it is often addressed through correlative methods such as Representational Similarity Analysis (RSA) and Centered Kernel Alignment (CKA). How do we target functionally relevant similarity, and how do we isolate specific causal aspects of the representations? In this work, we introduce Model Alignment Search (MAS), a method for causally exploring distributed representational similarity. The method learns invertible linear transformations that align a subspace between two distributed networks' representations where causal information can be freely interchanged. We first show that the method can be used to transfer values of specific causal variables -- such as the number of items in a counting task -- between networks with different training seeds. We then explore open questions in number cognition by comparing different types of numeric representations in models trained on structurally different tasks. We then explore differences between MAS vs preexisting causal similarity methods, and lastly, we introduce a counterfactual latent auxiliary loss function that helps shape causally relevant alignments even in cases where we do not have causal access to one of the two models for training.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.10539공통 태그 model공식 코드 · Papers with Code

Graph World Model

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2603.24963v4cs.AI공통 태그 model

대규모 모델 군집을 위한 템플릿 기반 머신러닝 표준화

Template-Driven Machine Learning Standardization for Large Model Fleets

현대의 컴퓨팅 광고 플랫폼은 일반적으로 클릭률, 전환율 및 기타 최적화 이벤트와 같은 사용자 반응을 예측하기 위해 추천 시스템에 의존한다. 다양한 제품 지면과 광고주 목표를 지원하기 위해 이러한 플랫폼은 방대한 머신러닝(ML) 모델 생태계를 유지한다. 그러나 이러한 규모로 운영하면 상당한 개발 및 효율성 문제가 발생한다. 이러한 모델을 정기적으로 갱신하고 새로운 기법을 전파하는 데 상당한 엔지니어링 노력이 필요하며, 그 결과 생태계 전반에 혁신을 배포하는 데 긴 지연이 생긴다. 본 논문은 추천 시스템에서 표준화된 모델 구축 접근법과 모델별 독립 최적화 간의 모델 성능, 효율성, 기법 전파를 비교하는 대규모 실증 연구를 제시한다. 표준화를 촉진하기 위해 다양한 데이터 분포와 최적화 이벤트에 적응할 수 있는 고성능 모델을 생성하는 프레임워크인 Standard Model Template(SMT)을 제안한다. 표준화된 ML 모델 구성 요소를 조합함으로써 SMT는 기법 전파 복잡도를 $O(n \cdot k)$에서 $O(n+k)$로 줄이며, 여기서 $n$은 모델 수, $k$는 기법 수이다. Meta의 프로덕션 광고 랭킹 생태계에서 다섯 번의 글로벌 개발 주기에 걸쳐 광범위한 모델군을 평가한 결과, 출시된 성과는 다음을 보여 준다. (1) 서빙 용량을 유지한 채 교차 엔트로피가 평균 0.77% 개선되었고, (2) 온라인 지표가 누적 1.52% 향상되었으며, (3) 모델당 반복 엔지니어링 시간이 92% 감소하였고, (4) 기법-모델 쌍 도입 처리량이 6.3$\times$ 증가하였다. 이러한 결과는 다양한 최적화 목표가 본질적으로 다양화된 ML 모델 설계를 요구한다는 통념에 도전한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.