PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크
PPG-Bench: A Unified Benchmark for PPG Foundation Models
한국어 초록
광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.
원문 초록
Photoplethysmography (PPG) is increasingly recorded by wearable and clinical devices at enormous scale, and a growing number of PPG foundation models (FMs) have been developed to compute reusable representations for various downstream tasks. These models are difficult to compare: different evaluations use different datasets, task definitions, preprocessing, downstream heads, hyperparameter tuning, and baselines. We present PPG-Bench, a unifying open-source benchmark evaluating five public PPG FMs across nine open-access datasets and 26 tasks spanning cardiovascular state estimation, activity, sleep, screening, and identification. We evaluate models under four downstream regimes of increasing adaptability (linear probing, random forests, frozen MLP probes, and end-to-end finetuning), with model-specific hyperparameter optimization and subject-disjoint cross-validation. We also evaluate against three controls: random/constant baseline, a deterministic pulse-rate-variability (PRV) feature set, and a generic time-series FM (MOMENT). Across all 68 task-regime combinations, 35.3% show no meaningful FM advantage over the random/constant baseline, and in 83.8% no PPG-specific FM outperforms both PRV and MOMENT. We also find that added downstream head capacity generally improves performance, but can cause significant degradation if the model is performing at chance/constant level. Current PPG FMs therefore cannot yet claim to provide generalised and transferrable representations of PPG signals, and future evaluation in this field should include checks against simple, non-learned controls. Code for the benchmark and instructions to evaluate more models can be found here - https://github.com/mannas-ai/ppg-bench.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화
Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders
AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.
DNA 파운데이션 모델이 서열 조성을 넘어 학습하는 것
What DNA Foundation Models Learn Beyond Sequence Composition
유전체 파운데이션 모델(FM)은 단순한 서열 조성을 넘어선 예측 정보를 제공하는가? 본 연구에서는 57개의 유전체 분류(classification) 데이터셋과 2개의 탐색적 유전자 발현 회귀 태스크에 걸쳐 정규화된 k-mer 빈도와 5개 DNA FM의 동결된(frozen) 표현을 비교 평가한다. 단순한 k-mer 피처는 대부분의 모델과 대등한 경쟁력을 유지한 반면, NTv3는 일관된 우위를 보였으며, 이러한 순위는 전역적으로 고정된 베이스라인, 다중 스케일 k-mer 베이스라인, 대안적인 다운스트림 프로브 전반에서 견고하게 유지된다. 추가적인 예측 유용성을 직접 검증하기 위해, 일치된 Random Forest 프로토콜 하에서 전역 6-mer 피처와 각 FM 임베딩(embedding)을 결합(concatenation)한 피처를 비교한다. NTv3는 57개 데이터셋 중 46개에서 성능을 향상시켰으나(평균 $Δ$MCC = +0.072), Caduceus는 더 작은 이득만을 제공했고 다른 모델들은 평균 MCC를 향상시키지 못했다. 또한 임베딩을 6-mer 빈도로부터 선형적으로 예측 가능한 성분과 릿지 잔차로 분해하여 선형적 복원 가능성이 다운스트림 유용성을 안정적으로 나타내지 못함을 발견했다. 정확한 6-mer 보존 셔플을 통해 태스크 관련 서열 순서 민감도를 추가로 규명했으며, 이는 NTv3에서 가장 두드러지게 나타났으나 순서 민감도 자체만으로는 예측 향상을 보장하지 않는다. 본 연구 결과는 조성 피처를 필수적인 대조군으로 확립하고 미세조정(fine-tuning) 능력에 대한 주장 없이도 동결된 유전체 표현의 부가가치를 평가하기 위한 상호보완적인 진단 방법을 제시한다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
PlacePulse: 구조적 지리 데이터로부터 전이 가능한 장소 표현 학습
PlacePulse: Learning Transferable Place Representations from Structural Geographic Data
지리공간(geospatial) 머신러닝은 흔히 사회인구학적(sociodemographic), 비즈니스, 환경 변수들의 대규모 집합에 대한 과업별 특징(feature) 엔지니어링에 의존한다. 지리공간 파운데이션 모델(foundation model)은 재사용 가능한 장소 표현을 제공하지만, 주요 접근법들은 보통 이동성(mobility)과 검색 활동 같은 동적 신호, 또는 위성 이미지로부터의 시각적 신호를 인코딩한다. 장소의 정적인 구조적 구성(그곳에 누가 거주하고 일하는지, 어떤 비즈니스가 운영되는지, 어떤 위험에 노출되어 있는지)을 세밀한 공간 해상도에서 전이 가능한 임베딩(embedding)으로 나타내는 모델은 드물다. 우리는 572개의 속성을 H3 인접 지역 집계를 통해 2,288개의 입력으로 확장한 뒤, 미국 내 1,055,537개의 H3 해상도-7 셀에 대해 256차원의 단위 노름(unit-norm) 임베딩으로 압축하는 구조적 지리공간 파운데이션 모델인 PlacePulse를 소개한다. 또한 우리는 여러 타깃과 공간 지원(spatial support)에 걸쳐 내재적 표현 품질과 다운스트림 예측 유용성을 분리하는 재사용 가능한 이축(two-axis) 벤치마크를 소개한다. 내재적으로, 이 임베딩은 평균 $R^2 = 0.853$으로 표준화된 입력을 재구성하며, 256개 중 251개의 거의 비상관화된(decorrelated) 차원을 사용하고, 선행 주성분(leading principal component)에서 Moran's $I = 0.93$을 보이는 등 강한 공간적 구조를 나타내며 자기상관(autocorrelation)이 입력 반경을 넘어서도 지속된다. 외재적으로, 12개의 외부 소스와 네 가지 공간 지원으로부터 얻은 74개의 홀드아웃(held-out) 타깃에 걸쳐, PlacePulse는 학습 입력과 무관한 타깃들에서 차원수를 맞춘 특징 선택 기준선(feature-selection baseline)을 능가하며, Google의 Population Dynamics Foundation Model과 경쟁력이 있고, 건강, 경제, 선거, 경제적 이동성(economic mobility), 사회적 취약성(social vulnerability) 결과에서는 우위를 보이는데, 이러한 상대적 강점은 도메인에 따라 다르게 나타난다. 이러한 결과는 구조적 구성을 행동 데이터나 이미지 데이터가 없을 때의 단순한 대체재가 아니라, 지리공간 파운데이션 모델을 위한 독자적이고 상호 보완적인 모달리티(modality)로 자리매김한다.
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.