arXiv:2606.12182v1 cs.LG

얼마나 낮출 수 있습니까? 초저데이터 한계에서 희소 모델 발견을 위한 능동 학습

How Low Can You Go? Active Learning for Sparse Model Discovery in the Ultra-Low-Data Limit

Ana Larrañaga, Urban Fasel, Steven L. Brunton

제출 2026-06-10

한국어 초록

복잡한 동적 시스템의 지배 방정식을 식별하는 것은 과학 및 공학 전반에 걸쳐 여전히 근본적인 과제입니다. 초기 접근 방식은 경험적 데이터와 휴리스틱에 의존했지만, 현대의 데이터 기반 방법은 더 큰 유연성과 더 적은 가정을 제공합니다. 그러나 실제 환경에서의 데이터 수집은 종종 비용이 많이 듭니다. 본 연구는 초저데이터 한계에서 역학(dynamics) 발견을 위한 능동 학습 전략을 도입하여 이러한 과제를 해결합니다. 무작위로 샘플링하는 대신, 우리의 방법은 모델 식별에 가장 유용한 정보를 제공하는 영역을 반복적으로 우선시합니다. 이 접근 방식은 비선형 역학의 희소 식별(SINDy)을 기반으로 하며, 상미분 방정식 및 편미분 방정식(ODEs/PDEs) 모두에 대해 인식론적 불확실성을 추정하고 샘플링을 안내하기 위해 앙상블 확장인 E-SINDy를 활용합니다. ODE의 경우, 다양한 데이터 예산과 노이즈 수준에 걸쳐 로렌츠 시스템에 대한 포괄적인 분석을 수행했습니다. PDE의 경우, 대조적인 동역학적 특성을 가진 두 시스템을 조사했습니다. 날카로운 충격 파면(shock front)이 정보가 풍부한 영역과 그렇지 않은 영역을 구분하는 버거스 방정식과, 공간적으로 더 복잡한 샘플링 지형을 제시하는 쿠라모토-시바시ński 방정식입니다. 모든 시나리오에서 제안된 방법은 무작위 샘플링보다 현저히 적은 데이터 샘플로 지배 역학을 정확하게 식별합니다.

원문 초록

Identifying the governing equations of complex dynamical systems remains a fundamental challenge across science and engineering. While early approaches relied on empirical data and heuristics, modern data-driven methods offer greater flexibility and fewer assumptions. However, data acquisition in real-world settings is often expensive. This work addresses this challenge by introducing an active learning strategy for dynamics discovery in the ultra-low data limit. Rather than sampling randomly, our method iteratively prioritizes regions that are most informative for model identification. This approach builds on Sparse Identification of Nonlinear Dynamics (SINDy), and utilizes an ensemble extension, E-SINDy, to estimate epistemic uncertainty and guide the sampling for both ordinary and partial differential equations (ODEs/PDEs). For ODEs, an exhaustive analysis is conducted on the Lorenz system across varying data budgets and noise levels. For PDEs, two systems with contrasting dynamical characteristics are examined: the Burgers' equation, where a sharp shock front creates a distinction between informative and uninformative regions, and the Kuramoto-Sivashinsky equation, which presents a more spatially complex sampling landscape. Across all scenarios, the proposed method accurately identifies the governing dynamics with significantly fewer data samples than random sampling.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12182v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13411v1cs.LG공통 태그 Uncertainty Quantification, Time Series

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

arXiv:2610.05196v2cs.LG공통 태그 Uncertainty Quantification, Time Series

일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정

Measuring Learned Monotone Temporal Aggregation at Matched Admissibility

리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.

arXiv:2610.10808v1cs.LG공통 태그 Uncertainty Quantification, Active Learning

3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류

Controlled Acquisition and Abstention in Three-Channel Score Conflicts

오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.

arXiv:2609.32652v2cs.AI공통 태그 Uncertainty Quantification, dynamical systems

기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포

Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions

소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.

arXiv:2608.25572v2cs.RO공통 태그 Uncertainty Quantification, Active Learning

ConfAL-WM: 행동 조건부 월드 모델을 위한 신뢰도 기반 능동 학습

ConfAL-WM: Confidence-Guided Active Learning for Action-Conditioned World Models

행동 조건부 월드 모델(action-conditioned world models)은 임바디드(embodied) 예측, 계획 및 합성 데이터 생성을 위한 중요한 기반이 되었으나, 새로운 태스크 및 장면 분포에서 발생하는 오차는 로봇 팔, 조작 대상 객체, 접촉 영역, 가려진 객체와 같은 국소적인 시공간 영역에 집중되는 경우가 많습니다. 본 논문에서는 임바디드 월드 모델의 사후 학습을 위한 신뢰도 기반 능동 학습(active learning) 프레임워크인 ConfAL-WM을 제안합니다. EnerVerse-AC(EVAC)를 기반으로 UNet 디코더 특징에 경량 신뢰도 프로브(probe)를 부착하고 잠재 공간에서 조밀한 신뢰도 맵(dense confidence map)을 예측합니다. 이러한 맵은 태스크, 프레임, 패치 수준 점수로 집계되어 데이터 예산 할당과 국소적 학습 강화를 가능하게 합니다. 제안하는 파이프라인은 프로브를 학습하고 소규모 타깃 도메인 서브셋에서 EVAC을 웜업합니다. 이후 EVAC-v1은 태스크 수준 데이터 획득 신호와 선택적인 프레임/패치 가중치 신호를 제공하며, 선택된 데이터로 학습되는 모든 모델은 재학습을 위해 원래의 사전학습된 EVAC 체크포인트에서 초기화됩니다. 기본 40% 데이터 예산을 적용한 RoboTwin2.0 실험 결과, 신뢰도 기반 선택이 사후 학습 품질을 향상시키는 동시에 조밀한 프레임 및 패치 가중치 부여가 스칼라 보상, 진행도, 심사자(judge) 기반 채점 베이스라인과 비교하여 상호보완적인 재구성 및 의미론적 성능 향상을 제공함을 보여줍니다. 본 연구의 간략한 시각적 개요는 https://ConfAL-WM.github.io 에서 확인할 수 있습니다.

arXiv:2609.09434v2cs.LG공통 태그 dynamical systems, sindy

텐서 트레인 기반 약형 SINDy: 고차원 비선형 동역학 식별

Tensor-Train Weak SINDy: Identifying High-Dimensional Nonlinear Dynamics

약형 비선형 동역학 희소 식별(WSINDy)은 수치 미분을 요구하지 않고 데이터로부터 동역학계를 학습하기 위한 노이즈에 강건한 접근법을 제공합니다. 그러나 고차원 시스템의 경우, 후보 함수의 텐서 곱 라이브러리가 상태 차원에 따라 지수적으로 증가하여 표준 WSINDy는 연산 및 메모리 측면 모두에서 비용이 많이 듭니다. 다차원 비선형 동역학 근사(MANDy)는 후보 라이브러리의 텐서 트레인(TT) 표현을 통해 이러한 스케일링 문제를 해결하지만, 희소 모델 선택 메커니즘을 제공하지는 않습니다. 본 연구에서는 이러한 접근법들을 결합하여 약형 변환, 회귀, 희소화를 모두 TT 형식으로 수행하는 TT-WSINDy를 개발합니다. 본 논문에서는 TT 정식화가 이에 상응하는 WSINDy 회귀 문제를 복원함을 보이고, 텐서 트레인 희소화 과정에 대한 다항 시간 및 메모리 복잡도 경계를 유도합니다. 수치 실험을 통해 측정 노이즈에 대한 강건성과 고차원 시스템에서의 연산량 절감 효과를 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.