arXiv:2210.06230

Formal Semantic Geometry over Transformer-based Variational AutoEncoder

Yingji Zhang, Danilo S. Carvalho, Ian Pratt-Hartmann, André Freitas

제출 2022-10-12

원문 초록

Formal/symbolic semantics can provide canonical, rigid controllability and interpretability to sentence representations due to their \textit{localisation} or \textit{composition} property. How can we deliver such property to the current distributional sentence representations to control and interpret the generation of language models (LMs)? In this work, we theoretically frame the sentence semantics as the composition of \textit{semantic role - word content} features and propose the formal semantic geometry. To inject such geometry into Transformer-based LMs (i.e. GPT2), we deploy Transformer-based Variational AutoEncoder with a supervision approach, where the sentence generation can be manipulated and explained over low-dimensional latent Gaussian space. In addition, we propose a new probing algorithm to guide the movement of sentence vectors over such geometry. Experimental results reveal that the formal semantic geometry can potentially deliver better control and interpretation to sentence generation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.18109v2cs.CL공통 태그 Sentence, Disentanglement

FLiP: 멀티모달 다국어 문장 임베딩의 이해 및 해석을 향하여

FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

본 논문은 사전학습된 문장 임베딩 공간을 이해하기 위한 인수분해 선형 투영(FLiP) 모델을 제안합니다. 우리는 다국어(LaBSE), 멀티모달(SONAR), API 기반(Gemini) 문장 임베딩 공간에서 여러 고자원 및 중자원 언어의 어휘적 내용을 복원하도록 FLiP 모델을 학습시킵니다. 우리는 FLiP가 임베딩에서 75% 이상의 어휘적 내용을 재현할 수 있음을 보여주며, 이는 기존의 인수분해되지 않은 기준 모델들을 현저히 능가합니다. 이를 진단 도구로 활용하여 선택된 문장 인코더들 간의 모달리티 및 언어 편향을 규명하고, 기존의 다운스트림 평가 작업에 의존하지 않고 실무자들에게 인코더에 대한 내재적 통찰을 제공합니다. 우리의 구현체는 https://github.com/BUTSpeechFIT/FLiP에서 공개되어 있습니다.

arXiv:2605.12567v4cs.CV공통 태그 Disentanglement

합성 개구 초음파의 적응형 IQ 신호 잡음 제거를 위한 일관성 유도 피라미드 자기 대조 분리

Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound

합성 개구 초음파(SAU)는 배열의 인접한 소자들을 부개구로 묶어 순차적으로 송신하고, 수신된 모든 신호를 합성하여 양방향 집속을 달성한다. 그러나 고유한 전자 잡음, 사이드로브, 스페클 잡음은 여전히 SAU 영상의 임상적 해석을 어렵게 한다. 기존 잡음 제거 방법은 명시적인 잡음 가정에 의존하거나 제한된 영상 도메인에서 사전 학습되어, 복잡한 \textit{in vivo} 잡음 조건에서 불가피한 도메인 이동에 직면한다. 본 연구는 B-모드 영상 형성 이전에 개구 의존적 열화를 억제하는 적응형 IQ 신호 잡음 제거 방법을 제안한다. 각 SAU 획득에서의 부개구 이벤트를 다중 잡음 측정으로 모델링하고, 개구 간 일관성을 피라미드 자기 대조 분리(PSCD) 프레임워크에서 대조 학습의 비평자로 확장한다. PSCD는 원시 IQ 텐서를 분리된 일관적 잠재 공간과 비일관적 잠재 공간으로 인코딩한 뒤, 전자로부터만 깨끗한 IQ 신호를 복원하여 일관적인 조직 정보를 유지하면서 비일관적 잡음을 억제한다. 개구 대 개구 대리 과제가 이중 도메인에서 복원을 자기 지도한다. 전체 프레임워크는 사전 학습이나 깨끗한 레이블 없이 단일 샷 데이터를 사용하여 테스트 시점에 최적화할 수 있다. 0에서 30 dB의 잡음 수준을 포함한 시뮬레이션에서 SNR 69.3$\%$, CNR 34.4$\%$의 향상을 보였다. 여섯 가지 심초음파 단면과 복부 영상을 포함한 \textit{in vivo} 실험에서는 두 개의 부개구만으로 SNR 84.8$\%$, CNR 25.7$\%$의 향상을 보였다. 또한 PSCD는 고주파 세부 정보를 보존하면서 더 높은 영상 해상도와 경계 선명도를 달성했다. 이러한 결과는 개구 간 측정 중복성을 활용하는 적응형 IQ 신호 잡음 제거가 도메인 이동과 사전 학습 비용 없이 정밀한 해부학적 시각화를 가능하게 함을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.