Time-Incremental Learning from Data Using Temporal Logics
원문 초록
Real-time and human-interpretable decision-making in cyber-physical systems is a significant but challenging task, which usually requires predictions of possible future events from limited data. In this paper, we introduce a time-incremental learning framework: given a dataset of labeled signal traces with a common time horizon, we propose a method to predict the label of a signal that is received incrementally over time, referred to as prefix signal. Prefix signals are the signals that are being observed as they are generated, and their time length is shorter than the common horizon of signals. We present a novel decision-tree based approach to generate a finite number of Signal Temporal Logic (STL) specifications from the given dataset, and construct a predictor based on them. Each STL specification, as a binary classifier of time-series data, captures the temporal properties of the dataset over time. The predictor is constructed by assigning time-variant weights to the STL formulas. The weights are learned by using neural networks, with the goal of minimizing the misclassification rate for the prefix signals defined over the given dataset. The learned predictor is used to predict the label of a prefix signal, by computing the weighted sum of the robustness of the prefix signal with respect to each STL formula. The effectiveness and classification performance of our algorithm are evaluated on an urban-driving and a naval-surveillance case studies.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크
SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection
실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.
Epi-Logic: 자율 AI 에이전트를 위한 인식론적 런타임 제어, 스키마 유효성 검사 및 통제된 수용의 개념적 프레임워크
Epi-Logic: A Conceptual Framework for Epistemic Runtime Control, Schema Validity Checking, and Controlled Accommodation in Autonomous AI Agents
자율 AI 에이전트는 잘못된 결정을 되돌리기 어려운 영역에 점점 더 배치되고 있다. 본 논문은 스키마 불일치(schema mismatch)를 검토한다. 이는 에이전트가 현재 맥락에 더 이상 적용되지 않는 해석 프레임 안에서 동작하는 상태를 말한다. 이러한 불일치 하에서 생성된 출력은 내적으로 일관되어 보이고, 언어적으로 그럴듯하며, 대체로 사실상 맞는 것처럼 보일 수 있다. 따라서 출력 품질 지표만으로는 근본적인 유효성 상실을 부분적으로만 포착할 수 있다. 본 논문은 인식론적 런타임 제어를 위한 개념적 프레임워크인 Epi-Logic을 제안한다. 이는 스키마 불협화음 탐지, 단계적 자율성 축소, 검증된 스키마로의 감사 가능한 전환을 결합한다. 스키마는 변수 공간, 기대 모델, 유효성 조건, 공리, 메타데이터의 튜플로 형식화된다. Epi-Score는 인식론적 불협화음의 일곱 가지 등급 차원을 집계한다. 시간적 유효성 차원 D8, 유효성 조건 G의 위반, 공리 위반은 집계와 상쇄되지 않는 별도의 범주형 경로로 유지된다. 이 아키텍처는 검사 비대칭에 기반한다. 형식화된 유효성 조건은 런타임에 검사할 수 있는 반면, 많은 행동의 정확성은 사후적으로만 확립된다. 본 논문은 두 가지 아키텍처적 속성, 순차적 변화점 탐지(sequential changepoint detection)로부터의 조건부 결과, 그리고 경험적 잔여(empirical remainder)를 구분한다. 명명된 베이스라인을 갖춘 여덟 개의 반증 가능한 명제가 경험적 검증으로의 전환을 기술한다. 모든 명제는 경험적으로 검증 가능한 가설이며, 확립된 결과가 아니다.
A Better Alternative to Piecewise Linear Time Series Segmentation
유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화
Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders
AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.