재귀적 예측에서 인식론적 미확인으로서의 노출 편향
Exposure Bias as Epistemic Underidentification in Recursive Forecasting
한국어 초록
재귀적 다단계 예측(recursive multi-step forecasting)은 통상적으로 분포 변화(distribution shift) 문제로 틀이 잡힌다: 모델은 관측된 이력으로 학습되지만 자신의 예측에 기반하여 배포된다. 우리는 이 틀이 불완전함을 보인다. 구체적으로, 부분 관측 가능성(partial observability) 또는 상태 절단(state truncation) 하에서 재귀적 롤아웃은 인식론적 미확인(epistemic underidentification) 문제이기도 함을 증명한다. 결정론적 잠재 역학 하에서도 단일 단계 베이즈 지도학습(one-step Bayes supervision)은 관측된 컨텍스트에서의 동작만 확인하며, 롤아웃이 수치적 상태만으로는 올바른 지역 목표가 결정되지 않는 자기 생성 유도 상태(induced states)를 질의하면 배포된 재귀 예측기를 확인하지 못할 수 있다. 우리는 이를 유도 상태 $Z$와 기원 변수(provenance variables) $P$로 형식화하고, 유도 상태 오차를 교사 강제(teacher-forcing)/롤아웃 불일치, 표현 클래스 근사(representation-class approximation), 기원 정보 격차(provenance information gaps)로 분해하는 식을 도출한다. 실험적으로, 우리는 롤아웃이 뚜렷한 유도 상태 영역에 진입하고, 고정된 유도 상태가 뚜렷한 지역 보정 과제를 정의하며, 폐루프 이득(closed-loop gains)이 지역 적응뿐만 아니라 롤아웃 중 방문하는 유도 상태의 변화로부터도 발생함을 보인다. 단순한 이진 기원 인코딩을 사용하면 기원 인식 보정(provenance-aware correction)이 성능을 추가로 향상시킬 수 있으나, 그 이득은 균일하지 않고 조건부이다. 이러한 결과는 노출 편향(exposure bias)을 자기 유발 인식론적 불확실성 하의 추론 문제로 재정의한다.
원문 초록
Recursive multi-step forecasting is usually framed as distribution shift: models are trained on observed histories but deployed on their own predictions. We show this framing is incomplete by proving that, under partial observability or state truncation, recursive rollout is also an epistemic underidentification problem. Even with deterministic latent dynamics, one-step Bayes supervision identifies behavior only on observed contexts and need not identify the deployed recursive predictor once rollout queries self-generated induced states whose correct local targets are not determined by numeric state alone. We formalize this with induced states $Z$ and provenance variables $P$, and derive a decomposition of induced-state error into teacher-forcing/rollout mismatch, representation--class approximation, and provenance information gaps. Empirically, we show that rollout enters a distinct induced-state regime, that fixed induced states define a distinct local corrective task, and that closed-loop gains arise not only from local adaptation but also from changing the induced states visited during rollout. Using a simple binary provenance encoding, provenance-aware correction can further improve performance, though gains are conditional rather than uniform. These results recast exposure bias as reasoning under self-induced epistemic uncertainty.
요약
재귀적 다단계 예측(recursive multi-step forecasting)에서의 노출 편향(exposure bias)을 인식론적 미확인(epistemic underidentification) 문제로 재정의하고, 유도 상태(induced states)와 기원 변수(provenance variables)를 통해 오차를 분해합니다. 기원 인식 보정(provenance-aware correction)이 폐루프 성능을 조건부로 향상시킴을 입증하여 노출 편향이 자기 유발 불확실성 하의 추론 문제임을 밝혔습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12990v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
누설 적분기 재구성: 재귀적 차분 시계열 예측에서 오류 누적 억제
Leaky-integrator reconstruction: taming error accumulation in recursive differenced time-series forecasting
본 논문은 재귀적 차분 예측에서의 오류 누적을 해소하는, 학습 없이 적용 가능한 누설 적분기(leaky-integrator) 재구성을 제안한다. 첫 번째 기여는 진단적이다. 비정상성(non-stationarity)에 대한 표준적 처방인 일(step) 변화량 예측 후 누적 합으로 적분하는 방식은 단위원(unit circle) 위에 극(pole)을 갖는 이산 적분기이며, 이로 인해 비선형 모델의 재귀적 롤아웃(rollout)이 발산함을 보인다. 시험한 모든 신경망 아키텍처에서 336-step 오류는 양호한 예측기의 수 배에 달하며(정규화 MAE 1.6–3.8 대 약 0.8), 두 번째·핵심 기여는 수정책이다. 누설 적분기 H(z) = 1/(1 - gamma z^-1), gamma < 1로 극을 단위원 안으로 옮기면 누적 오류 분산이 증명 가능하게 상한(bound)된다. 재구성 시점에 gamma=0.9 하나로 고정해 적용하면(재학습 없음, 배포된 일(step) 예측기 또는 파운데이션 모델 예측기에 두 줄 변경) 모든 horizon에서 오류가 줄어든다. 발산하는 7개 아키텍처와 20개 데이터셋에 대해 평균 이득은 H=24에서 ~3%, H=96에서 23%, H=192에서 37%, H=336에서 51%(해당 아키텍처들에서 43–74%, 오라클 극 사용 시 78%)로 커진다. 중요하게, 병리적 현상이 없는 경우(안정적 예측기나 이미 불가피한(rate) 수준에 있는 공동 예측기)에는 증명 가능하게 무반응(inert)이므로 안전하고 일반적인 기본값이 된다.
BattVAE-GP: 불확실성 정량화를 통한 장기간 배터리 열화 생성 모델링
BattVAE-GP: Generative Modeling of Long-Horizon Battery Degradation with Uncertainty Quantification
장기간 배터리 열화에 대한 물리 기반 시뮬레이션은 기작적 통찰을 제공하지만 계산 비용이 높아, 장기 수명 동안 운전 조건을 촘촘히 탐험하는 데 활용이 제한된다. 여기서 우리는 보지 못한 충전 속도에서 리튬이온 배터리 열화 궤적의 대리 모델링을 위한 하이브리드 물리-확률적 학습 프레임워크를 제안한다. PyBaMM의 DFN/P2D 전기화학 모델로 생성된 사이클별 열화 데이터를 먼저 용량 정렬 전압 및 도함수 특징으로 변환한 뒤, 변분 오토인코더(VAE)를 사용해 인코딩한다. 그 결과 얻어진 2차원 잠재 공간은 사이클 진행과 충전 프로토콜 모두에 따라 열화 궤적을 정리한다. 그런 다음 희소 다중과제 가우시안 프로세스(GP)를 사이클 수와 C-rate를 입력 변수로 사용해 이 잠재 공간에서 학습하여, 잠재 열화 역학의 연속적 보간과 함께 사후 불확실성 추정치를 제공한다. 프로토콜 수준 홀드아웃 평가에서, 잠재 공간 GP는 보지 못한 C-rate 궤적을 정확히 복원하며 학습 데이터의 지지(support)와 일치하는 불확실성 거동을 보인다. 보지 못한 내부 C-rate에서 질의할 때, 모델은 인접한 시뮬레이션 프로토콜 사이에 일관되게 위치한 잠재 궤적을 생성한다. 고정된 VAE 디코더를 통해 GP가 예측한 잠재 상태를 디코딩하면 매끄러운 전압-용량 변화가 얻어지며, GP 잠재 사후를 보조 잠재→State of Health(SOH) 예측기에 몬테카를로 전파하면 불확실성을 반영한 SOH 추정치를 제공한다. 따라서 제안된 BattVAE-GP 프레임워크는 장기간 열화 모델링을 위한 계산적으로 효율적이고 불확실성을 반영한 대리 모델을 제공하며, 더 풍부한 운전 조건과 향후 시뮬레이션-실험 융합을 향한 배터리 건강 예측 확장을 위한 체계적 기반을 제공한다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크
Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis
확장 가능한 인과 발견을 위한 배경 지식 통합
Integrating Background Knowledge for Scalable Causal Discovery
전문가 배경 지식은 인과 발견(causal discovery)의 실제 응용에서 종종 활용 가능하다. 실제 인과 그래프에 대한 이러한 제약 조건은 인과 효과의 식별 가능성과 학습된 구조의 정확도 측면에서 인과 발견에 도움이 될 뿐만 아니라, 후보 인과 그래프의 탐색 공간을 줄이는 데에도 기여한다. 인과 발견은 변수의 수가 많아질수록 계산 비용이 크게 증가할 수 있으므로, 인과 발견 과정에서 배경 지식을 효과적으로 활용하는 것이 중요하다. 그러나 현재 대부분의 방법들은 학습된 그래프를 정제하기 위해 인과 발견 이후의 후처리 단계에서만 배경 지식을 활용한다. 본 연구에서는 인과 발견 과정에서 배경 지식을 활용하는 프레임워크를 개발하며, 특히 전체 그래프의 일부만을 복원하는 확장 가능한 인과 발견 방법에 초점을 맞춘다. 우리는 여러 알고리즘에 대해 이 프레임워크를 구현하고, 배경 지식 활용이 계산 요구량을 줄이고 학습된 구조의 품질을 향상시킬 수 있음을 실험적으로 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.