arXiv:2302.02025

Self-Supervised Transformer Architecture for Change Detection in Radio Access Networks

Igor Kozlov, Dmitriy Rivkin, Wei-Di Chang, Di wu, Xue Liu, Gregory Dudek

제출 2023-02-03

원문 초록

Radio Access Networks (RANs) for telecommunications represent large agglomerations of interconnected hardware consisting of hundreds of thousands of transmitting devices (cells). Such networks undergo frequent and often heterogeneous changes caused by network operators, who are seeking to tune their system parameters for optimal performance. The effects of such changes are challenging to predict and will become even more so with the adoption of 5G/6G networks. Therefore, RAN monitoring is vital for network operators. We propose a self-supervised learning framework that leverages self-attention and self-distillation for this task. It works by detecting changes in Performance Measurement data, a collection of time-varying metrics which reflect a set of diverse measurements of the network performance at the cell level. Experimental results show that our approach outperforms the state of the art by 4% on a real-world based dataset consisting of about hundred thousands timeseries. It also has the merits of being scalable and generalizable. This allows it to provide deep insight into the specifics of mode of operation changes while relying minimally on expert knowledge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09767v2eess.SP공통 태그 Self-Supervised Learning

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2607.08932v2cs.CV공통 태그 Self-Supervised Learning

비전 트랜스포머에서의 형태 기반 도형-배경 조직화

Shape-based Figure-Ground Organization in Vision Transformers

풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.

arXiv:2609.27149v2cs.CV공통 태그 Change Detection

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

arXiv:2610.10857v2cs.AI공통 태그 Self-Supervised Learning

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

arXiv:2607.22149v2cs.LG공통 태그 Self-Supervised Learning

공정한 자기지도 학습을 위한 편향 없는 Open World 정규화

Unbiased Open World Regularization for Fair Self-Supervised Learning

최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.

arXiv:2610.10571v2cs.LG공통 태그 Self-Supervised Learning

SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델

SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction

뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.