arXiv:2406.16513

Multi-Modal Vision Transformers for Crop Mapping from Satellite Image Time Series

Theresa Follath, David Mickisch, Jan Hemmerling, Stefan Erasmi, Marcel Schwieder, Begüm Demir

제출 2024-06-24

원문 초록

Using images acquired by different satellite sensors has shown to improve classification performance in the framework of crop mapping from satellite image time series (SITS). Existing state-of-the-art architectures use self-attention mechanisms to process the temporal dimension and convolutions for the spatial dimension of SITS. Motivated by the success of purely attention-based architectures in crop mapping from single-modal SITS, we introduce several multi-modal multi-temporal transformer-based architectures. Specifically, we investigate the effectiveness of Early Fusion, Cross Attention Fusion and Synchronized Class Token Fusion within the Temporo-Spatial Vision Transformer (TSViT). Experimental results demonstrate significant improvements over state-of-the-art architectures with both convolutional and self-attention components.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13357v5eess.SP공통 태그 Time Series

ECGGuard: 오류 정정 부호를 활용한 심전도 신호의 딥러닝 워터마킹

ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting Codes

웨어러블 심전도(ECG) 기록은 자동 판독에 이르기 전에 여러 네트워크와 시스템을 거치므로 환자 메타데이터가 유실되기 쉽다. 디지털 워터마킹은 이 메타데이터를 신호에 삽입할 수 있으나, 기존 방법은 시간 이동에 취약하며 파형 유사도가 높다고 해서 하류 진단이 동일하게 유지되는 것은 아니다. 본 논문은 단일 리드 ECG를 위한 딥러닝 워터마킹 프레임워크인 \rev{ECGGuard}를 제안한다. 완전 합성곱 생성기는 신호 양자화 없이 페이로드를 삽입하고, 검출기는 프레임 단위로 메시지를 복호화하며 워터마크의 존재 여부를 확인한다. 학습 중에는 고정된 부정맥 분류기가 자신의 예측을 바꾸는 변화를 억제하도록 페널티를 부과한다. 높은 비트 정확도가 전체 메시지의 복원을 보장하지 않으므로, 페이로드는 확장 해밍 부호, \rev{검증 데이터로 선택한 채널 순서}, 그리고 소프트 결정 복호화로 보호된다. MIT-BIH 부정맥 데이터베이스에서 \rev{세 번의 학습 실행을 평균했을 때 ECGGuard}는 10~50 샘플의 시간 이동에서도 비트 정확도를 \rev{98\%} 이상으로 유지하는 반면, 변환 영역 기반 기준 방법은 무작위 수준으로 떨어진다. 부호화된 16비트 페이로드는 깨끗한 구간의 \rev{99.95\%}에서 정확히 복원되며\rev{, 시간 이동, 10\% 샘플 삭제 또는 10\% 패킷 손실 조건에서도 96\% 이상}, \rev{처음 보는 피험자에 대해서는 99.1\%}에서 복원된다. \rev{가이드 역할을 하는 분류기에 대해, 진단 손실은 테스트 기록에서 심실 박동 민감도의 하락을 1.6 퍼센트포인트로 제한하고(이를 사용하지 않으면 35.0), 처음 보는 피험자에서는 12.2 포인트로 제한한다(사용하지 않으면 67.0). 독립적으로 학습된 분류기에서는 하락이 10.3 포인트로 커지며, 이 보호 효과는 외부 데이터베이스로는 전이되지 않는다.} \rev{ECGGuard}는 0.56백만 개의 파라미터를 가지며 데스크톱 CPU에서 구간당 약 \rev{19}~ms가 소요된다.

arXiv:2606.28228v3cs.LG공통 태그 Time Series

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2607.21776v2cs.LG공통 태그 Time Series

PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.

arXiv:2606.24969v2cs.LG공통 태그 Time Series

주파수 영역 리저버 컴퓨팅

Frequency Domain Reservoir Computing

트랜스포머의 시퀀스 길이에 대한 이차 병목이 순환 모델의 재부상을 이끌고 있지만, 복잡한 동역학을 효과적으로 포착하려면 효율적인 학습과 표현력이 높은 잠재 상태를 균형 있게 갖춘 구조가 필요하다. 에코 스테이트 네트워크(ESN)는 고정된 순환 가중치를 활용하여 시간 역전파를 피하고 닫힌 형태의 학습 해를 가능하게 하는 매력적인 접근법이다. 그러나 복잡한 과제에 필요한 표현력을 얻으려면 큰 리저버가 요구되어 $\mathcal{O}(N^2)$의 상태 갱신 병목이 드러나며, 이로 인해 ESN은 현대 순환 모델의 규모에 미치지 못한다. 이 한계를 해결하기 위해 본 논문은 전적으로 주파수 영역에서 동작하며 영역 전환 오버헤드를 피하여, 구조화된 순환(circulant) 재귀를 통해 밀집 비선형 갱신에 $\mathcal{O}(N)$ 복잡도를 달성하는 ESN 구조인 주파수 영역 리저버 컴퓨팅(Frequency Domain Reservoir Computing, FRESCO)을 소개한다. FRESCO는 새로운 차원 제로 패딩 입력 임베딩, 패킹된 주파수 영역 리드아웃, 그리고 주파수 영역에서 직접 적용되는 비선형성을 사용하여 학습과 추론의 계산 비용과 에너지 소비를 크게 줄인다. 나아가 FRESCO는 메모리 벤치마크, 순차 분류, 다변량 장기 예측에서 경쟁력 있는 예측 성능을 달성하여, 밀집 순환 구조를 위한 확장 가능하고 에너지 효율적인 방향을 제시한다.

arXiv:2607.09745v2cs.AI공통 태그 Time Series

SupplyNetPy: 임의 공급망 및 재고 네트워크의 고충실도 모델링과 시뮬레이션을 위한 오픈소스 Python 라이브러리

SupplyNetPy: An Open-Source Python Library for High-Fidelity Modeling and Simulation of Arbitrary Supply Chain and Inventory Networks

본 논문은 임의의 다단계 구조를 갖는 공급망 네트워크의 모델링 및 이산 사건 시뮬레이션을 위한 오픈소스 Python 라이브러리인 SupplyNetPy를 소개한다. 이 라이브러리는 다양한 보충 정책, 부패 가능 재고, 노드(node) 장애, 확률적 수요 및 리드 타임을 지원한다. 모든 컴포넌트는 상속을 통해 확장 가능하다. 사용자는 노드와 링크 속성을 가진 그래프로 공급망을 기술하며, 라이브러리는 시뮬레이션을 처리하고 로그 및 노드·네트워크 수준의 상세 성능 보고서를 제공한다. 본 논문은 SupplyNetPy의 개발 동기, 설계, 주요 기능, 아키텍처와 함께 상세한 검증(validation) 결과(분석적 벤치마크, 상용 도구, 발표된 사례 연구와의 비교)를 제시한다. SupplyNetPy 개발의 핵심 동기는 복잡한 모델의 프로그래밍 방식 생성 및 시뮬레이션으로, 설계 공간 탐험(exploration), 가상 시나리오 분석, 학습(training) 데이터 생성, 공급망 디지털 트윈을 가능하게 하는 데 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.