Semantic Communications for Wireless Sensing: RIS-aided Encoding and Self-supervised Decoding
원문 초록
Semantic communications can reduce the resource consumption by transmitting task-related semantic information extracted from source messages. However, when the source messages are utilized for various tasks, e.g., wireless sensing data for localization and activities detection, semantic communication technique is difficult to be implemented because of the increased processing complexity. In this paper, we propose the inverse semantic communications as a new paradigm. Instead of extracting semantic information from messages, we aim to encode the task-related source messages into a hyper-source message for data transmission or storage. Following this paradigm, we design an inverse semantic-aware wireless sensing framework with three algorithms for data sampling, reconfigurable intelligent surface (RIS)-aided encoding, and self-supervised decoding, respectively. Specifically, on the one hand, we propose a novel RIS hardware design for encoding several signal spectrums into one MetaSpectrum. To select the task-related signal spectrums for achieving efficient encoding, a semantic hash sampling method is introduced. On the other hand, we propose a self-supervised learning method for decoding the MetaSpectrums to obtain the original signal spectrums. Using the sensing data collected from real-world, we show that our framework can reduce the data volume by 95% compared to that before encoding, without affecting the accomplishment of sensing tasks. Moreover, compared with the typically used uniform sampling scheme, the proposed semantic hash sampling scheme can achieve 67% lower mean squared error in recovering the sensing parameters. In addition, experiment results demonstrate that the amplitude response matrix of the RIS enables the encryption of the sensing data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링
Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
PixCon: 기반 모델 반지도 분할을 위한 클린-포지티브 대조 학습
PixCon: Clean-Positive Contrastive Learning for Foundation-Model Semi-Supervised Segmentation
단순한 레이블 픽셀 대조 분기가 강력한 사전학습 인코더를 사용하는 준지도 분할을 개선할 수 있는가? 우리는 UniMatch V2의 DINOv2-Base 구현에 클래스별 메모리 뱅크를 추가한 PixCon으로 이 질문을 연구한다. 이 뱅크는 학생 모델의 예측이 레이블과 일치하는 위치에서만 정답 레이블이 있는 특징을 저장한다. 다중 양성 대조 손실은 이러한 특징을 사용하여 공유 인코더-디코더를 학습시키며, 헤드와 뱅크는 추론 시 폐기된다. 이는 신뢰도 임계값과 학습된 순위 부여를 제거함으로써 기존의 레이블 픽셀 뱅크를 단순화한다. 183개 레이블을 사용한 Pascal VOC에서 PixCon은 짝지어진 세 시드 모두에서 각각 0.20, 0.64, 1.83 mIoU 포인트를 향상시켜 평균을 87.01에서 87.90으로 높인다. 92개 레이블에서는 평균 향상이 0.40 포인트이며, Cityscapes와 ADE20K에서 단일 시드 차이는 -0.08에서 +0.14 포인트 범위이다. 예측 레이블 대조 대조군이 Pascal에서 거의 동일한 정확도에 도달하므로, 이러한 결과는 추가된 분기 자체를 뒷받침할 뿐 정확성 필터에 따른 정확도 이득을 뒷받침하지는 않는다. 정확한 기울기 분해는 잘못 레이블된 양성의 개수와 유사도로 가중된 영향력을 구별한다. 별도의 교사 모델 진단에서는 유지된 픽셀의 오류율이 Pascal에서 1.8%, ADE20K에서 10.6%로 나타난다. 이러한 진단은 학습 중인 뱅크를 측정하거나 최종 정확도를 예측하지는 않는다. PixCon은 측정된 실행에서 반복당 시간을 15.3-19.7% 증가시키며 추론 연산은 추가하지 않는다. 우리는 짝지어진 시드, 학습 비용, 그리고 증거의 한계를 보고한다.
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.