지면 예측에서 비정상성 바이어스를 위한 상태 공간 언러닝
State-Space Unlearning for Non-Stationary Bias in Land Surface Forecasting
한국어 초록
Mamba 계열 구조화 상태 공간 모델(Structured State Space Model, SSM)을 기반으로 구축된 운영용 지면 예측 시스템은 비정상적인 교란 요인(기록되지 않은 관개 급증, 댐 운영 방식 변경, 센서 재보정 등)을 상태 전이 행렬(state-transition matrix) 내부에 흡수시키며, 그 물리적 원인이 사라진 이후에도 오랫동안 NDVI, 지표면 온도(LST), 작물 생육 단계(phenology) 예측에 바이어스를 암묵적으로 발생시킨다. 본 논문은 지구과학용 Mamba 기반 SSM을 위해 전용으로 설계된 최초의 머신 언러닝(machine unlearning) 프레임워크인 SSU-LSF(State-Space Unlearning for Land Surface Forecasting)를 제안한다. 우리는 폐쇄형(closed-form) 행렬 지수(matrix-exponential) 그래디언트를 통해 Mamba 상태 행렬에 특화된 EKFac 영향 함수(influence function)를 개발하고, 스펙트럴 반경(spectral-radius) 가중 엘보 임계화(elbow thresholding)를 사용하여 시간적 교란 흔적(temporal confounding footprint) $Φ$를 국소화하며, 공간적 전역 변동(total variation, TV) 정규화로 보강된 KL-발산(KL-divergence) 신뢰 영역(trust region) 내에서 헤시안-프리(Hessian-free) 투영 그래디언트 상승법(projected gradient ascent)을 적용한다. 명제 1(Proposition 1)은 잔차 교란(residual confounding)이 $\mathcal{O}\big((1-ρ(\bar{A})^{T_c})/((1-ρ(\bar{A}))μ)\big)$로 상한이 설정됨을 증명하며, 이는 윈도우 길이 $T_c$에 따라 증가한다. 세 가지 이질적인 벤치마크와 11개의 베이스라인에 걸쳐, SSU-LSF는 CropHarvest에서 $0.773$, NDVI-LST에서 $0.821$, ERA5에서 $0.859$의 교란 감소율을 달성하며, ERA5에서 최악의 경우 클린 도메인(clean-domain) RMSE 저하는 $4.2\%$에 그치고, 3~5 에폭(epoch) 내에 수렴하며 전체 재학습(full retraining) 대비 언러닝 요청당 GPU 비용이 $8.4\times$ 더 낮다. 코드: https://github.com/Anidipta/SSU-LSF
원문 초록
Operational land surface forecasting systems built on Mamba-family Structured State Space Models absorb non-stationary confounding events (unrecorded irrigation booms, dam-operation shifts, sensor recalibrations) into their state-transition matrices, silently biasing NDVI, LST, and crop phenology predictions long after the physical cause ends. This paper introduces SSU-LSF (State-Space Unlearning for Land Surface Forecasting), the first machine-unlearning framework purpose-built for geoscientific Mamba-based SSMs. We develop EKFac influence functions specialized to the Mamba state matrices via a closed-form matrix-exponential gradient, use spectral-radius-weighted elbow thresholding to localize a temporal confounding footprint $Φ$, and apply Hessian-free projected gradient ascent within a KL-divergence trust region augmented by spatial total-variation (TV) regularization. Proposition 1 establishes that residual confounding is bounded by $\mathcal{O}\big((1-ρ(\bar{A})^{T_c})/((1-ρ(\bar{A}))μ)\big)$, which grows with the window length $T_c$. Across three heterogeneous benchmarks and eleven baselines, SSU-LSF achieves confounding reduction rates of $0.773$ (CropHarvest), $0.821$ (NDVI-LST), and $0.859$ (ERA5), with worst-case clean-domain RMSE degradation of $4.2\%$ on ERA5, converging in 3--5 epochs at $8.4\times$ lower GPU-cost per unlearning request than full retraining. Code: https://github.com/Anidipta/SSU-LSF
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기본 연산으로부터 잔차 아키텍처 인증하기: 성장 지수와 임계성
Certifying Residual Architectures from Their Primitives: Growth Exponents and Criticality
깊은 잔차 아키텍처가 순전파와 역전파 동역학에서 수치적 발산을 피하는지는 일반적으로 비용이 큰 시행착오식 학습을 통해 판단된다. 정규화와 잔차 스케일링을 포함한 기존의 안정화 전략은 아키텍처 전반에서 그 효과를 예측할 공통 프레임워크가 부족하다. 우리는 아키텍처의 기본 연산에서 도출되는 두 지수, 즉 순전파 성장 지수 $q$와 야코비안 민감도 지수 $\sigma$에 기반한 사전(a priori) 인증 프레임워크를 개발한다. 이 지수들은 안정성 영역을 특징짓고, 인증된 허용 깊이가 부동소수점 한계 $M$에 따라 어떻게 증가하는지를 결정한다. 특히 $q=1$은 뚜렷한 임계값이다. $\sigma>0$일 때 인증된 깊이는 $q<1$, $q=1$, $q>1$ 영역에서 각각 $\log M/\log\log M$, $\sqrt{\log M}$, $\log_q\log M$로 증가하며, 이는 통계물리학의 상전이를 연상시키는 변화를 보인다. 민감도 지수 $\sigma$는 $q\le1$인 경우에도 역전파 안정성을 추가로 제약한다. 지수 연산을 이용하면 이종 잔차 스택을 포함한 계산 그래프로부터 인증이 가능하며, 균일한 정규화 없이 기존 백본에 대한 표적 수정 방안을 찾아낼 수 있다. Mamba, PatchTST, FNO, GPT-2, Toto~2.0 프록시에 대한 실험은 예측된 안정성 차이를 뒷받침한다. 초선형 성장을 제어하면 Mamba와 Toto~2.0에서 발산이 방지되고, 어텐션 민감도를 줄이면 GPT-2의 안정적인 학습이 회복된다. 안정적인 설계 중에서는 $q=1$ 아키텍처가 예측과 연산자 학습 외삽에서 정규화된 $q=0$ 아키텍처보다 우수할 수 있다. 우리의 프레임워크는 단일 아키텍처를 처방하기보다 안정성을 인증할 수 있는 아키텍처 계열을 식별함으로써, 시행착오의 범위를 좁히고 학습 이전에 과제에 따른 체계적 탐색을 가능하게 한다.
QuantFlow: 시계열 예측을 위한 연합학습 기반 Mamba 포스트-트랜스포머 파운데이션 모델
QuantFlow: A Federated Mamba-Based Post-Transformer Foundation Model for Time-Series Forecasting
시계열 예측은 금융, 에너지, 교통, 공중 보건, 산업 모니터링 분야의 의사결정을 지원한다. 최근 파운데이션 모델들은 예측 태스크 간 전이 성능을 향상시키고 있으나, 많은 모델이 중앙집중식 데이터와 트랜스포머 어텐션에 의존하여 장기적이고 고차원적이며 프라이버시에 민감한 신호에 대한 활용이 제한된다. 본 논문에서는 역전된 시퀀스 임베딩, 양방향 Mamba 상태공간 디코더, 분위수 회귀, 연합학습(federated learning)을 결합한 확률적 예측 프레임워크인 QuantFlow를 제안한다. 각 변수는 전체 관측 윈도우에 걸쳐 임베딩되고, 순방향 및 역방향으로 처리된 후 5개의 조건부 분위수로 투영된다. TSMixup은 시퀀스 구조를 보존하면서 디리클레 가중 보간을 통해 시간적 다양성을 확장한다. 실험은 암호화폐, 교통, 전력, ETT(Electricity Transformer Temperature), 인플루엔자, 기상 데이터를 대상으로 수행되었다. QuantFlow는 ETTm1에서 0.2834, Weather에서 0.2218의 평균 제곱 오차를 달성하였으며, 20개 클라이언트의 non-IID 환경 배포에서 원본 데이터를 중앙화하지 않고 3회의 통신 라운드 이후에도 유용한 정확도를 유지하였다. 실험 결과는 선택적 상태공간 모델링(selective state-space modelling)이 확장 가능하고 불확실성을 인지하며 프라이버시를 고려한 시계열 예측의 유망한 기반임을 시사하는 동시에, 불규칙한 역학 데이터 신호 및 장기 지평선 일반화에 대한 한계도 드러낸다.
멀티모달 그래프 기반 소셜 미디어 인기 예측 벤치마킹
Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction
소셜 미디어 인기도 예측은 초기 단계의 관측으로부터 온라인 콘텐츠의 향후 도달 범위나 영향력을 예측하는 것을 목표로 한다. 정확한 예측은 광고 최적화나 사용자, 크리에이터, 플랫폼의 전략적 콘텐츠 기획과 같은 주요 하위 응용을 가능하게 한다. 상당한 진전에도 불구하고, 기존의 인기도 예측 연구는 멀티모달 콘텐츠와 시간적 소셜 상호작용 신호를 함께 고려하지 못하는 경우가 많다. 더욱이 관련 문헌은 데이터셋, 모달리티, 관측 윈도우, 예측 대상, 평가 프로토콜에 걸쳐 매우 파편화되어 있다. 이러한 파편화는 공정한 비교를 방해하고, 텍스트, 시각, 시간, 상호작용 기반 신호가 인기도 역학을 어떻게 함께 형성하는지에 대한 체계적인 이해를 가린다. 이러한 문제를 해결하기 위해, 본 논문은 데이터셋, 모달리티, 시간적 상호작용 신호, 대표적인 베이스라인을 표준화된 평가 프로토콜 아래 통합하는 멀티모달 그래프 기반 인기도 예측 벤치마크인 MMG-Pop을 제안한다. 나아가 앞서 언급한 멀티모달 신호와 그래프 구조의 소셜 상호작용을 함께 모델링하는 통합 멀티모달 그래프 기반 네트워크인 MMG-PopNet을 제안한다. Bluesky와 Reddit 플랫폼에 걸친 MMG-Pop에서의 폭넓은 실험은 MMG-PopNet의 우수한 성능을 보여 주며, 플랫폼 간 학습 일반화, 멀티태스크 예측의 이점, 멀티모달리티의 기여, LLM 예측의 한계에 대한 새로운 통찰을 제공한다. 이러한 발견은 이질적인 모달리티와 사회 인식 에이전트 생태계 패러다임 하에서의 사회적 역학 모델링 및 개입에 관한 향후 연구의 토대를 마련한다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.