Last layer state space model for representation learning and uncertainty quantification
원문 초록
As sequential neural architectures become deeper and more complex, uncertainty estimation is more and more challenging. Efforts in quantifying uncertainty often rely on specific training procedures, and bear additional computational costs due to the dimensionality of such models. In this paper, we propose to decompose a classification or regression task in two steps: a representation learning stage to learn low-dimensional states, and a state space model for uncertainty estimation. This approach allows to separate representation learning and design of generative models. We demonstrate how predictive distributions can be estimated on top of an existing and trained neural network, by adding a state space-based last layer whose parameters are estimated with Sequential Monte Carlo methods. We apply our proposed methodology to the hourly estimation of Electricity Transformer Oil temperature, a publicly benchmarked dataset. Our model accounts for the noisy data structure, due to unknown or unavailable variables, and is able to provide confidence intervals on predictions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포
Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions
소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.
스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델
Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations
토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.
확신만으로는 부족하다: 최적화로 인한 비대칭적 확실성 이득이 멀티모달 분류를 저해한다
Confidence Falls Short: Asymmetric Certainty Gains from Optimization Hinder Multimodal Classification
멀티모달 학습(MML)은 모달리티 불균형 현상으로 인해 최적화 딜레마에 빠지며, 실제로 전반적인 성능이 최적에 미치지 못하는 결과를 낳습니다. 기존의 많은 시도는 이 문제를 해결하기 위해 주로 모달리티 간 최적화 동역학의 균형을 맞추는 데 초점을 두지만, 본 연구는 미묘하지만 결정적인 결함을 발견했습니다. 최적화가 예측 확실성(predictive certainty)에서 비대칭적인 이득을 만들어 강한 모달리티가 약한 모달리티보다 더 높은 확신을 갖게 되고, 이것이 모달리티 기여도의 불균형을 초래한다는 점입니다. 본 논문의 분석은 이 결함이 멀티모달 학습 자체가 아니라 단일 모달리티의 특성에서 비롯되며, 이러한 확신도 불일치는 긍정적인 교차 모달 개입(cross-modal intervention)으로 바로잡을 수 있음을 보여줍니다. 이러한 통찰을 바탕으로, 모달리티의 의미적 확신도에 동적으로 개입하는 멀티모달 Max Confidence Regularization(MaxCR)을 제안합니다. 구체적으로, 각 모달리티의 의미적 확신도는 비선형 희소성(sparsity) 척도를 사용해 추적합니다. 그런 다음 이 척도를 기반으로 max suppression과 max excitation을 설계하여 각각 강한 모달리티와 약한 모달리티를 정규화(regularization)합니다. 이들은 top-1 확신도를 각각 억제하고 촉진함으로써 멀티모달 예측을 제약합니다. 이를 통해 강한 모달리티와 약한 모달리티 모두 보정된(calibrated) 확신도를 갖게 되어 전반적인 성능이 향상될 것으로 기대됩니다. 널리 사용되는 데이터셋에서 수행한 실험 결과, 본 방법은 다양한 최첨단(SOTA) 멀티모달 학습 베이스라인과의 비교에서 우수성을 보였습니다.
Visual Tripwires: 심층 비전 시스템에서의 실패 예측
Visual Tripwires: Anticipating Failure in Deep Vision Systems
강력한 벤치마크 성능에도 불구하고 심층 비전 시스템은 손상(corruption), 가림(occlusion), 분포 이동(distribution shift)에 여전히 취약하다. 기존 신뢰성 방법은 일반적으로 개별 시간 단계에서 불확실성을 평가하며, 시스템이 실패로 진행하는 과정을 명시적으로 모델링하지 않는다. 우리는 Visual Tripwires를 제안한다. 이는 모델 동작의 시간적 불안정성을 이용해 임박한 실패를 예측하는 예측적 신뢰성 프레임워크이다. 우리의 핵심 가설은 예측적 성능 저하가 잠재 표현(latent representation), 예측 궤적, 어텐션 구조의 측정 가능한 변화를 통해 점진적으로 나타난다는 것이다. Visual Tripwires는 표현 드리프트(representation drift), 예측 진동(prediction oscillation), 궤적 곡률(trajectory curvature), 어텐션 엔트로피(attention entropy)로 이러한 변화를 포착한다. 경량 tripwire 예측기는 시간 윈도우에 걸쳐 이 신호들을 집계하여 미래 예측 지평(prediction horizon) 내 실패 확률을 추정한다. 여러 데이터셋, 아키텍처, 점진적 교란(progressive perturbation) 설정에 걸친 실험은 제안된 불안정성 신호가 예측적 성능 저하 이전에 나타나며, 기존 불확실성 추정 방법보다 더 이르고 더 정확한 실패 경고를 제공함을 보여준다. 이러한 결과는 시간적 불안정성이 향후 모델 신뢰성에 관한 유용한 정보를 담고 있으며, 심층 비vision 시스템에서 조기 경보를 위한 실용적 기반을 제공함을 보여준다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.