동역학 모델이 잘못된 타임 스텝을 읽을 때: 강건한 전역 리드아웃을 위한 라벨 프리 이벤트 크레딧 재고정
When Dynamics Models Read the Wrong Time Steps: Label-Free Event Credit Re-Anchoring for Robust Global Readouts
한국어 초록
학습된 동역학 모델은 종종 스텝별 특징(feature) 시퀀스를 하나의 리드아웃 벡터로 풀링(pooling)하여 결함 심각도나 충격 강성과 같은 전역 물리적 질문에 답합니다. 이 시퀀스-전역 인터페이스는 연구되지 않은 시간적 크레딧 문제를 야기합니다: 궤적(trajectory) 수준의 감독만으로는 모델이 목표를 결정하는 짧은 물리적 이벤트가 아닌 풍부한 매끄러운 상관 변수(correlates)를 읽으면서도 학습 조건에서 정확하게 예측할 수 있습니다. 우리는 이러한 실패를 시간적 크레딧 희석(temporal credit dilution)이라고 부릅니다. 이는 학습 손실(loss)에 의해 드러나지 않으며 표준적인 물리 정보 기반 잔차(physics-informed residuals)로도 제거되지 않는데, 그 이유는 오류가 전역 리드아웃이 기능적 크레딧을 할당하는 위치에 있기 때문입니다. 우리는 풀링된 크레딧이 이벤트 스텝에 얼마나 할당되는지 측정하는 인터페이스 수준의 프로브(probe)인 Credit-in-Event를 소개하고, 이벤트 비율이 줄어듦에 따라 풀링된 선형 리더가 크레딧을 허위 배경 채널로 라우팅한다는 것을 폐쇄형(closed form)으로 증명합니다. 그런 다음 우리는 학습된 특징(feature)으로부터 일시적 이벤트 코어를 추정하고 이벤트-나머지 대비(contrast)를 통해 풀링된 표현을 재고정하는, 학습 없는(training-free) 라벨 프리(label-free) 리드아웃인 CREST를 제안합니다. 시뮬레이션된 기어 및 충격 시스템, 순환(recurrent) 및 어텐션(attention) 인코더, 공개 베어링 진동 데이터에 걸쳐, CREST는 이벤트 크레딧을 복원하면서 분포 외(out-of-distribution) 오류를 줄입니다. 제거 연구(ablations)는 안정 스텝 선택 및 수용 필드(receptive-field) 축소가 실패함을 보여주며, 이는 이득이 일반적인 국소성(locality)이나 안정성 사전(prior)이 아닌 이벤트 코어 크레딧 재고정에서 비롯됨을 확인시켜 줍니다.
원문 초록
Learned dynamics models often answer global physical questions, such as fault severity or impact stiffness, by pooling a per-step feature sequence into one readout vector. This sequence-to-global interface creates an under-studied temporal credit problem: with only trajectory-level supervision, a model can predict accurately in training conditions while reading from abundant smooth correlates rather than the brief physical events that determine the target. We call this failure temporal credit dilution. It is not exposed by the training loss and is not removed by standard physics-informed residuals, because the error lies in where the global readout assigns functional credit. We introduce Credit-in-Event, an interface-level probe for measuring how much pooled credit lands on event steps, and prove in closed form that a pooled linear reader routes credit to a spurious background channel as the event fraction shrinks. We then propose CREST, a training-free and label-free readout that estimates a transient event core from learned features and re-anchors the pooled representation through event-versus-rest contrast. Across simulated gear and impact systems, recurrent and attention encoders, and public bearing vibration data, CREST reduces out-of-distribution error while restoring event credit. Ablations show that stable-step selection and receptive-field shrinking fail, confirming that the gain comes from event-core credit re-anchoring rather than a generic locality or stability prior.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17572v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Visual Tripwires: 심층 비전 시스템에서의 실패 예측
Visual Tripwires: Anticipating Failure in Deep Vision Systems
강력한 벤치마크 성능에도 불구하고 심층 비전 시스템은 손상(corruption), 가림(occlusion), 분포 이동(distribution shift)에 여전히 취약하다. 기존 신뢰성 방법은 일반적으로 개별 시간 단계에서 불확실성을 평가하며, 시스템이 실패로 진행하는 과정을 명시적으로 모델링하지 않는다. 우리는 Visual Tripwires를 제안한다. 이는 모델 동작의 시간적 불안정성을 이용해 임박한 실패를 예측하는 예측적 신뢰성 프레임워크이다. 우리의 핵심 가설은 예측적 성능 저하가 잠재 표현(latent representation), 예측 궤적, 어텐션 구조의 측정 가능한 변화를 통해 점진적으로 나타난다는 것이다. Visual Tripwires는 표현 드리프트(representation drift), 예측 진동(prediction oscillation), 궤적 곡률(trajectory curvature), 어텐션 엔트로피(attention entropy)로 이러한 변화를 포착한다. 경량 tripwire 예측기는 시간 윈도우에 걸쳐 이 신호들을 집계하여 미래 예측 지평(prediction horizon) 내 실패 확률을 추정한다. 여러 데이터셋, 아키텍처, 점진적 교란(progressive perturbation) 설정에 걸친 실험은 제안된 불안정성 신호가 예측적 성능 저하 이전에 나타나며, 기존 불확실성 추정 방법보다 더 이르고 더 정확한 실패 경고를 제공함을 보여준다. 이러한 결과는 시간적 불안정성이 향후 모델 신뢰성에 관한 유용한 정보를 담고 있으며, 심층 비vision 시스템에서 조기 경보를 위한 실용적 기반을 제공함을 보여준다.
재난 간 피해 평가를 위한 지리공간 파운데이션 모델 임베딩의 지름길 학습
Shortcut Learning in Geospatial Foundation Model Embeddings for Cross-Disaster Damage Assessment
지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.
알츠하이머병 탐지를 위한 온라인 필기에서의 세그먼트 수준 위험 발견
Segment-Level Risk Discovery in Online Handwriting for Alzheimer's Disease Detection
온라인 필기는 인지 계획과 미세 운동 제어를 모두 반영하므로 알츠하이머병(AD) 탐지를 위한 비침습적이며 저비용의 행동 바이오마커를 제공합니다. 기존의 필기 기반 AD 탐지 방법들은 대체로 전역 궤적 특징이나 전체 샘플 표현에 의존하는데, 이는 개인의 필체 스타일, 과제별 변동성, 획득 잡음에 크게 영향을 받을 수 있습니다. 본 논문에서는 온라인 필기로부터 해석 가능한 AD 탐지를 수행하기 위해 건강 대조군 규범 기반 Paper-Air 선택적 궤적 상태공간 위험 네트워크인 NormPaST-Risk를 제안합니다. 전체 궤적을 단일한 총체적 표현으로 다루는 대신, 제안 방법은 AD 필기 탐지를 국소적인 질환 관련 세그먼트 발견 문제로 재구성합니다. 구체적으로, 다중 스케일 시간 인코더가 서로 다른 시간 해상도에서 획 역학을 포착하는 한편, 선택적 Paper-Air 상태공간 인코더는 장기 필기 진행 과정을 모델링하고 지면 위(on-paper) 운동 실행과 공중(in-air) 계획 및 전환 행동을 구분합니다. 비정상적 편차를 명시적으로 특성화하기 위해 건강 규범 브랜치가 건강 대조군으로부터 정상적인 필기 역학을 학습하며, 과제 인식 다중 전문가 세그먼트 위험 모듈이 은닉 상태 변화와 규범 편차로 보정된 세그먼트 수준 AD 위험을 추정합니다. 또한 약지도 세그먼트 수준 목적 함수를 통해 수동 세그먼트 주석 없이도 고위험 세그먼트를 발견할 수 있도록 합니다. DARWIN 벤치마크에 대한 실험은 제안된 프레임워크가 기존 방법들에 비해 우수한 AD/HC 분류(classification) 성능을 달성함을 입증합니다. 아울러 발견된 고위험 세그먼트는 원래 필기 궤적으로 역투영될 수 있어, AD 관련 필기 변동과 연관된 해석 가능한 근거를 제공합니다.
실패로부터의 학습: 준지도 실제 악천후 제거에서 신뢰할 수 없는 예측 활용
Learning from Failure: Leveraging Unreliable Predictions in Semi-Supervised Real-World Adverse Weather Removal
악천후 이미지 복원은 비, 연무, 눈 및 기타 기상 유발 인공물로 인해 열화된 이미지를 복구하여 야외 비전 시스템의 강건성을 향상시키는 것을 목표로 합니다. 기존의 통합 복원 모델들은 합성 지도(synthetic supervision)에 의존하고 의미적 제약이 불충분하여 실제 환경 장면에 대한 일반화 성능이 제한적입니다. 본 논문에서는 두 가지 문제를 모두 해결하는 새로운 학생-교사(student-teacher) 준지도 프레임워크를 제안합니다. 구체적으로, 대조 학습을 위한 정보성 높은 음성 샘플(negative samples)로서 실패한 교사 예측을 보존하는 신뢰할 수 없는 데이터베이스를 도입하는 한편, 신뢰할 수 있는 데이터베이스에는 고품질 교사 예측을 양성 샘플(positive samples)로 저장합니다. 신뢰할 수 있는 의사 실측값(pseudo-ground truths)과 신뢰할 수 없는 교사 출력을 함께 활용함으로써, 제안된 프레임워크는 흔히 발생하는 실패를 피하면서 바람직한 복원 특성을 강화하도록 학습합니다. 나아가 계산 비용이 큰 텍스트 기반 지도를 효율적이며 자연스럽게 정렬된 의미적 사전 정보로 대체하는 위상 스펙트럼 기반 의미적 제약을 제안합니다. 또한 열화의 심각도에 따라 열화된 입력과 교사의 의사 실측값 간의 지도를 동적으로 균형 맞추는 적응형 위상 일관성 손실(adaptive phase consistency loss)을 설계했습니다. 실제 벤치마크에 대한 광범위한 실험을 통해 제안하는 방법이 실제 악천후 조건에 대해 더 강력한 일반화 성능을 보이는 동시에, 복원 품질과 지각적 충실도 측면에서 기존의 최고 수준(SOTA) 접근법들을 일관되게 능가함을 입증합니다.
무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지
What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis
깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.
EvEMTBench: 전력 시스템 보호를 위한 머신러닝 오픈 벤치마크
EvEMTBench: An Open Benchmark for Machine Learning in Power System Protection
머신러닝 기반 전력 시스템 보호에 관한 연구들은 과업 정의, 측정값 접근성, 데이터 분할, 평가 지표 및 일반화 조건이 서로 다른 경우가 많아 직접 비교하기 어렵습니다. EvEMTBench는 모델 설계는 자유롭게 유지하면서 이러한 평가 기준들을 고정한 공개적이고 실행 가능하며 버전 관리가 지원되는 벤치마크(benchmark)를 통해 이러한 간극을 해소합니다. 20~345 kV 범위에 걸친 4개 전력망을 대상으로, 24개의 점수 산정 과업으로 구체화된 12개의 보호 및 이벤트 분석 기능을 정의하며, 관측 가능성 조건, 사전 정의된 분포 변화(distribution shift), 제로샷(zero-shot) 및 파인튜닝(fine-tuning) 기반의 전력망 간 전이(cross-grid transfer) 전반에 걸친 구조화된 평가를 지원합니다. 확정된 데이터 분할, 데이터 누출(leakage) 제어, 재현 가능한 보고 체계는 향후 방법론들을 비교하기 위한 공통의 기준을 제공합니다. 기초적 베이스라인, 전통적 방식, 특징(feature) 기반 방식, 딥러닝 베이스라인을 아우르는 기준 평가 결과는 관측 가능성이 넓어진다고 해서 항상 유리한 것은 아니며, 분포가 변화된 조건에서는 내부 분포(in-distribution)에서 드러나지 않던 오류가 나타날 수 있고, 전력망 간 전이 성능은 고장 위치 추정보다 고장 감지에서 실질적으로 훨씬 더 강건하다는 점을 보여줍니다. 또한 보호 시스템 관점의 진단을 통해 주요 평가 지표만으로는 드러나지 않는 실패 모드를 식별합니다. 따라서 EvEMTBench는 머신러닝 기반 보호 분야의 일반화를 명시적이고 재현 가능한 평가 문제로 정립합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.