Generative Semantic Communication for Joint Image Transmission and Segmentation
원문 초록
Semantic communication has emerged as a promising technology for enhancing communication efficiency. However, most existing research emphasizes single-task reconstruction, neglecting model adaptability and generalization across multi-task systems. In this paper, we propose a novel generative semantic communication system that supports both image reconstruction and segmentation tasks. Our approach builds upon semantic knowledge bases (KBs) at both the transmitter and receiver, with each semantic KB comprising a source KB and a task KB. The source KB at the transmitter leverages a hierarchical Swin-Transformer, a generative AI scheme, to extract multi-level features from the input image. Concurrently, the counterpart source KB at the receiver utilizes hierarchical residual blocks to generate task-specific knowledge. Furthermore, the task KBs adopt a semantic similarity model to map different task requirements into pre-defined task instructions, thereby facilitating the feature selection of the source KBs. Additionally, we develop a unified residual block-based joint source and channel (JSCC) encoder and two task-specific JSCC decoders to achieve the two image tasks. In particular, a generative diffusion model is adopted to construct the JSCC decoder for the image reconstruction task. Experimental results show that our multi-task generative semantic communication system outperforms previous single-task communication systems in terms of peak signal-to-noise ratio and segmentation accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
레이아웃 인지 정렬과 구조 인지 추론을 통한 이질적 요소 인지 과학 문서 교차 버전 차이 분석
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
과학 문서의 교차 버전 차이 분석은 학술 출판 및 기술 문서화에서 필수적이지만, 과학 문서가 텍스트, 표, 수식, 그림, 레이아웃 단서와 같은 이질적 요소를 포함하는 페이지 구조 산출물이기 때문에 여전히 어려운 과제로 남아 있다. 기존의 텍스트 시퀀스 기반 방법은 종종 레이아웃 및 구조 정보를 잃는 반면, 이미지 기반 방법은 의미적 해석 가능성이 부족하고 렌더링 변화에 민감하다. 이러한 한계를 해결하기 위해, 본 논문은 과학 문서 차이 분석을 위한 레이아웃 인지 이질적 요소 인지 프레임워크를 제안한다. 이 프레임워크는 문서 버전을 의미적으로 유형화된 요소로 분해하고, 공간적·내용적·구조적 호환성을 공동으로 모델링하는 정렬 우선(alignment-first) 메커니즘을 통해 교차 버전 대응 관계를 수립하며, 정렬된 요소 쌍에 대해 유형 인지(type-aware) 차이 추론을 수행한다. 이는 텍스트, 표, 수식, 그림에 걸쳐 통합된 변경 탐지, 위치 특정(localization), 구조 인지(structure-awareness) 분석, 정렬/매칭 평가를 지원한다. 학술지 제작 교정(proofreading) 워크플로우에서 수집한 실제 과학 PDF 데이터에 대한 실험 결과, 제안된 프레임워크가 요소별 베이스라인을 일관되게 능가함을 보여준다. 텍스트, 표, 수식, 그림에 대해 각각 탐지 F1 점수 0.903, 0.855, 0.862, 0.845를 달성했으며, 위치 특정, 구조 인지, 매칭 품질에서도 추가적인 향상을 보였다. 소거(ablation) 및 민감도 분석은 교차 버전 정렬, 유형별 표현, 구조 인지 추론, 호환성 가중치 설계의 효과를 확인한다. 이러한 결과는 이질적 요소 인지 차이 분석이 실제 편집 제작 시나리오에서 과학 문서 비교를 위한 견고하고 해석 가능한 솔루션을 제공함을 보여준다.
참조 캡션을 넘어선 캡션 평가를 위한 재구성 기반 프레임워크
A Reconstruction-Based Framework for Caption Evaluation Beyond Reference Captions
이미지 캡셔닝(image captioning)은 비전-언어(vision-language) 연구의 핵심 과제이지만, 참조 캡션에 의존하지 않고 캡션이 이미지 의미를 얼마나 충실히 보존하는지 평가하는 문제는 아직 해결되지 않았다. 지배적인 평가 방식은 사람이 주석 단한 참조에 의존하며, 그 내용은 주석자의 의도와 캡셔닝 숙련도를 반영한다. 본 논문에서는 캡션 평가를 위한 재구성 기반 원칙을 연구한다: 캡션은 원본 이미지의 재구성을 가능하게 하는 능력만큼 좋다. 그러나 캡셔닝은 본질적으로 시각 정보를 압축하기 때문에 모든 세부 사항을 복원하는 것은 불가능하며, 재구성된 이미지와 원본 이미지 간의 픽셀 단위 비교는 실현 가능하지도 의미 있지도 않다. 캡션의 본질—근본적 목적은 이미지의 의미적 내용을 전달하는 것—에 대한 심층 분석을 통해, 우리는 수정된 원칙을 제안한다: 캡션은 원본과 의미적으로 동등한 재구성을 가능하게 하는 능력만큼 좋다. 의미적 동등성을 평가하기 위해, 우리는 다양한 하위 비전-언어 태스크에서 재구성이 원본 이미지와 일치하는지 검증하여 참조 없는(reference-free), 태스크 조건(task-conditioned) 캡션 점수를 도출한다. 우리는 구성 요소별 한계를 규명하고, 저비용 Captioning Turing Test 데이터셋(CTTD) 대리(surrogate) 방법을 도입한다.
6G 기반 연결 자율 주행 차량을 위한 VAE 기반 다중 태스크 위성 지원 시맨틱 통신 프레임워크
A VAE-Driven Multi-Task Satellite-Aided Semantic Communication Framework for 6G-Enabled Connected Autonomous Vehicles
스마트 교통 시스템의 발전과 6G 무선 통신 기술의 도입은 차량 네트워크 토폴로지를 크게 변화시켰다. 미래의 연결 자율 주행 차량(connected autonomous vehicle, CAV) 네트워크는 교통 표지판 인식 및 의사결정과 같은 안전 핵심(safety-critical) 응용을 위해 대역폭 효율적이고 신뢰할 수 있으며 지연 시간이 낮은 통신을 필요로 한다. 기존 통신 시스템은 과업 관련성과 무관하게 원시 데이터를 전송하므로, 상향링크 대역폭이 부족하고 전파 손실이 큰 자원 제약 위성 채널에서는 비효율적이다. 시맨틱 통신(semantic communication)은 전체 신호 표현 대신 과업 관련 정보를 전송함으로써 이러한 한계를 해결한다. 이는 핵심 의미 특징을 추출·전달하고, 심층 학습을 활용해 수신측에서 과업 성능을 최적화한다. 따라서 본 연구는 위성 지원 자율 주행을 위한 변분 오토인코더(VAE) 기반 다중 태스크 시맨틱 통신 프레임워크를 제안한다. 결정론적 오토인코더 기반 방법과 달리, 제안 모델은 확률적 잠재 표현을 사용하여 보다 견고하고 효율적인 인코딩을 수행한다. 학습된 특징은 잡음이 있는 무선 채널을 통해 전송되어 교통 표지판 재구성 및 분류를 수행한다. 이 프레임워크는 두 과업을 공동으로 최적화하도록 종단 간(end-to-end)으로 학습된다. 결과는 제안 접근법이 다양한 신호 대 잡음비(signal-to-noise ratio) 조건에서 안정적인 성능을 유지하면서 최대 87.23%에서 98.17%까지의 상당한 대역폭 절감을 달성함을 보여준다.
시각 번역에서 길을 잃다: EEG-이미지 재구성을 위한 비전-언어 모델(VLM) 기반 지각-의미 일관성 프레임워크
Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction
EEG-이미지 평가는 시각적 충실도와 복원 가능한 의미를 구분해야 한다. 그러나 EEG 기반 재구성은 흐릿하고 왜곡되며 세부 정보가 부족해, SSIM, LPIPS, CLIP이 의미적으로 복원 가능한 출력을 불이익 주거나 그럴듯하지만 잘못된 출력에 보상을 줄 수 있다. 우리는 ATM, ENIGMA, BrainVis, DreamDiffusion의 6,855개 정답/재구성 쌍을 의미 탐침, 캡션 가혹도 및 맹점(blind-spot) 비율, 제어된 열화를 통해 분석한다. 픽셀 지표는 의미적 일관성과 거의 상관관계가 없으며, 표현 지표는 지각적 오류와 의미적 오류를 혼동한다. 따라서 뇌-컴퓨터 인터페이스(BCI) 인지 프레임워크를 도입하여, 네 개의 비전-언어 모델(VLM)이 구조화된 질문을 통해 이미지 쌍을 평가하고 Tolerant Perceptual Alignment Score(T-PAS)와 Tolerant Semantic Alignment Score(T-SAS)를 산출한다. 이들의 합의는 BCI 일관성 점수(BCI-Coherence Score, BCS)로 응축되며, 이는 본 데이터에서 T-PAS MAE 0.079(r = 0.700) 및 T-SAS MAE 0.082(r = 0.850)를 달성하는 간결한 평가기이다. 인간 검증은 Cohen's kappa = 0.882 ± 0.174 및 Krippendorff's alpha = 0.882로 매우 신뢰할 수 있는 공동 일관성 판단을 보여 주며, 일반적인 시각 유사성보다 지각-의미 복원 가능성을 뒷받침한다. 코드와 자료는 https://sukt03.github.io/BCS/에서 이용할 수 있다.
MTEB-PT: 브라질 포르투갈어 텍스트 임베딩 벤치마크
MTEB-PT: A Text Embedding Benchmark for Brazilian Portuguese
포르투갈어 텍스트 임베딩에는 전용 벤치마크가 존재하지 않는다. 현재 평가는 영어 MS MARCO를 번역한 코퍼스나 단편적인 다국어 커버리지에 의존하며, 자국어 태스크는 분산되어 있고 통합되지 않은 상태다. 우리는 MTEB-PT를 소개한다. 이는 7개 카테고리(분류, 다중 레이블 분류, 쌍 분류, 의미적 텍스트 유사도, 클러스터링, 검색, 리랭킹)에 걸쳐 22개의 브라질 포르투갈어 네이티브 태스크로 구성된 벤치마크로, 포르투갈어로 작성되거나 수집된 데이터만을 허용하며 번역 데이터는 설계상 제외된다. 우리는 2,300만에서 270억 파라미터 규모의 93개 모델을 평가했다: 오픈 가중치 모델 73개와 상용 폐쇄형 API 20개. 리더보드와 함께 모든 주요 비교에 대한 통계적 분석 층을 제공한다: 태스크별 부트스트랩 신뢰구간, 쌍별 부트스트랩 유의성 검정, 문항반응이론(Item Response Theory)을 응용한 태스크·인스턴스 수준의 판별력 분석(각 태스크가 모델을 얼마나 명확하게 구분하는지), 그리고 리더보드 간 상관관계 분석. 세 가지 주요 발견이 눈에 띈다. 벤치마크는 약 12개 수준의 모델 티어를 명확히 구분하지만, 상위 6개 모델은 통계적으로 순위를 정하기 어려울 만큼 근접해 있다. 공개 라이선스를 가진 자체 호스팅 가능한 모델이 최상위 티어에 도달함으로써, 우수한 포르투갈어 임베딩 품질을 위해 상용 API가 필수적이지 않음을 보여준다. 또한 전 세계 다국어 리더보드에서의 모델 순위는 포르투갈어 순위를 중간 수준으로만 예측한다(공유 모델 55개에 대한 스피어만 상관계수 rho = 0.75; 한 모델은 다국어 리더보드에서 3위이지만 본 벤치마크에서는 49위), 따라서 네이티브 벤치마크는 다국어 리더보드가 측정하지 못하는 것을 측정한다. 우리는 모든 태스크, 코드, 그리고 공개 리더보드를 공개하여 실무자들이 네이티브 근거를 바탕으로 포르투갈어 임베딩 모델을 선택할 수 있도록 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.