CauSkelNet: Causal Representation Learning for Human Behaviour Analysis
원문 초록
Constrained by the lack of model interpretability and a deep understanding of human movement in traditional movement recognition machine learning methods, this study introduces a novel representation learning method based on causal inference to better understand human joint dynamics and complex behaviors. We propose a two-stage framework that combines the Peter-Clark (PC) algorithm and Kullback-Leibler (KL) divergence to identify and quantify causal relationships between joints. Our method effectively captures interactions and produces interpretable, robust representations. Experiments on the EmoPain dataset show that our causal GCN outperforms traditional GCNs in accuracy, F1 score, and recall, especially in detecting protective behaviors. The model is also highly invariant to data scale changes, enhancing its reliability in practical applications. Our approach advances human motion analysis and paves the way for more adaptive intelligent healthcare solutions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.
기후 모델에서 강제력이 기온에 미치는 영향에 대한 계층적 인과 표상 학습
Learning Hierarchical Causal Representations of the Effects of Forcings on Temperature in Climate Models
머신러닝(ML) 에뮬레이터는 지구 시스템 모델(Earth System Models) 예측을 기반으로 학습(training)된 후 기후 변화 시나리오를 시뮬레이션할 수 있는 빠르고 비용 효율적인 방법을 제공합니다. 그러나 이러한 데이터 주도적 접근 방식의 블랙박스 특성은 출력값의 사용성과 신뢰성을 제한하며, 특히 인과적 귀인(causal attribution) 도구로서의 활용을 제한합니다. 본 연구에서는 최첨단 전지구 기후 모델의 해수면 온도 장에 적용되는 계층적 인과 표상 학습(hierarchical causal representation learning) 프레임워크를 개발합니다. 이전 연구 대비 주요 진보로서, 본 프레임워크는 내부 기후 변동성에서 발생하는 대기 역학적 상호작용과 대기 중 온실가스 및 에어로졸 농도 변화로 인한 강제 반응(forced responses)을 모두 명시적으로 모델링합니다. 미래 기후 변화 시나리오로 학습했을 때, 본 방법은 장기 전지구 평균 및 지역 기온 변화를 정확하게 예측하며, 미확인 시나리오에 대해 평가(evaluation)했을 때 온실가스 및 에어로졸 농도 섭동에 대해 물리적으로 현실적인 반응을 보여줍니다. 본 연구 결과는 기후 모델 에뮬레이션을 발전시키는 데 있어 인과 표상 학습 프레임워크의 잠재력을 강조합니다.
인과성이 의미론적 간극을 메우는 방법
How Causality Bridges the Semantic Gap
수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.
변동성 학습: 인과 표 형식 사전학습의 통계적 기초
Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining
인과 표 형식 파운데이션 모델은 합성 메커니즘 전반에 걸쳐 효과 추정을 상각(amortize)하지만, 잠재 효과(latent-effect) 지도학습은 고정된 배포 모집단에서 필요한 반복 표본 반응을 직접 인코딩하는 대신 사후 분포 수축(posterior shrinkage)을 보상한다. 본 논문에서는 변동 지도 사전학습(fluctuation-supervised pretraining, FSP)을 제안한다. 각 합성 테이블은 평균 처치 효과(ATE)와 그 효율적 영향 함수(efficient influence-function) 변동의 합으로 레이블링되며, 배포 시에는 여전히 단일 고정 순전파만 수행한다. 경로 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$를 따라 끝점 전이(endpoint transition)를 증명한다. 즉, 고정된 모든 $\lambda<1$에서는 $(1-\lambda)^2/n$ 차수의 레이블 모호성이 남는 반면, 완전한 변동을 사용하면 가우시안 레이블을 관측할 수 있게 되어 최적의 유한 층(finite-stratum) 인과 레이블 예측 위험이 $n^{-2}$ 차수로 감소한다. 하나의 유한 사전학습 경계(bound)는 레이블 오차, 네트워크 오차, 에피소드 샘플링 오차, 최적화 오차를 결합하며, 그 결과로 얻어지는 샘플링 결함(sampling defect)은 고정 메커니즘 바이어스, 평균 제곱 오차, 분산, 가우시안 근사를 제어하고, 분산 헤드(variance-head)의 정확도가 뒷받침될 경우 스튜던트화(studentized) 커버리지까지 제어한다. 상호 보완적인 하한(lower bound)은 배포 관측으로도 제거할 수 없는 국소적 $n^{-1}$ ATE 위험과, 일반적인 유한 사전(finite-dictionary) 에피소드 학습 문제의 $\log N/M$ 초과 위험을 분리한다. 실험은 학습된 샘플링 반응을 추적한다. 원시 행/열(raw-row/column) 백본을 사용할 때, FSP는 대규모 효과 이동(large-effect-shift) 상황에서 RMSE를 잠재 지도학습 대비 69.8%, 동일 테이블에서 공개된 CausalPFN 체크포인트 대비 39.5% 감소시킨다. 연속 공변량 실험, 효과가 알려진 반합성(semisynthesis) 실험, 그리고 두 건의 무작위 연구 평가는 샘플링 법칙 충실도(sampling-law fidelity)와 점 위험 수축(point-risk shrinkage)을 분리하고, 두 학습된 헤드 모두에서 약한 중첩(weak-overlap) 오차가 나타남을 보여준다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.