PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.18899v4eess.AS

[b] = [d] - [t] + [p]: 자기지도 음성 모델은 음운론적 벡터 연산을 발견한다

[b] = [d] - [t] + [p]: Self-supervised Speech Models Discover Phonological Vector Arithmetic

자기지도 음성 모델(S3M)은 풍부한 음성학적(phonetic) 정보를 인코딩하는 것으로 알려져 있으나, 이러한 정보가 어떻게 구조화되어 있는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 음운론적(phonological) 벡터에 특히 주목하여, 96개 언어에 걸쳐 S3M 표현의 기저 구조를 분석하는 종합적인 연구를 수행합니다. 먼저, 모델의 표현 공간 내에 음운 자질에 대응하는 선형 방향이 존재함을 보입니다. 나아가 이러한 음운 벡터의 크기(scale)가 대응하는 음운 자질의 음향적 실현 정도와 연속적인 방식으로 상관관계가 있음을 입증합니다. 예를 들어 [d]와 [t]의 차이는 유성성(voicing) 벡터를 형성하며, 이 벡터를 [p]에 더하면 [b]가 생성되고, 벡터의 크기를 조절하면 연속적인 유성성 변화가 나타납니다. 이러한 발견을 종합하면, S3M이 음운론적으로 해석 가능하고 구성적인(compositional) 벡터를 사용하여 음성을 인코딩하며, 음운론적 벡터 연산이 가능함을 보여줍니다. 모든 코드와 대화형 데모는 https://github.com/juice500ml/phonetic-arithmetic 에서 확인할 수 있습니다.

arXiv:2607.09020v1eess.AS

음운 활성화 매핑을 통한 음소 분할 및 인식

Phone Segmentation and Recognition through Phonological Activation Mapping

음소 분할과 음소 인식은 본질적으로 연관된 과제임에도 불구하고, 현대적 접근법들은 대개 이 두 과제를 별도로 모델링한다. 우리는 음성 구조가 자기지도 음성 모델(S3M)의 표현에 이미 잠재되어 있으며, 두 과제를 동시에 해결하기 위해서는 모델을 적절히 유도하는 것으로 충분하다고 주장한다. 우리는 S3M 기반의 음운 활성화 매핑(SPAM, Phonological Activation Mapping)을 활용하는데, 이는 각 S3M 표현 프레임을 유성음 여부(voicing) 및 비음성(nasality) 등의 음운적 특징(phonological feature) 활성화 벡터로 매핑한다. SPAM 위에 우리는 그래디언트 하강 없이 동작하는 경량의 두 가지 간단하지만 효과적인 예측 헤드를 도입한다: 인식 헤드와 분할 헤드. 제안하는 방법은 1분 미만의 음성 전사(phonetic transcription)만을 필요로 하며, 학습 중 보지 못한 음소에도 일반화된다. 다양한 데이터셋에 걸쳐 우리의 접근법은 강력한 분할 및 인식 성능을 달성한다.