arXiv:2609.16612v3 cs.SD

목소리를 가로지르는 구조: 고정된 오디오 인코더를 이용한 네 가지 발성 코퍼스의 음향 사건 유형 누적과 시퀀스 의존성 비교

Structure Across Voices: Comparing acoustic-event type accumulation and sequence dependence across four vocal corpora using frozen audio encoders

Mudit Sinha, Sanika Chavan

제출 2026-11-18

한국어 초록

매우 다른 발성 코퍼스들 사이의 음향 구조를 비교하는 것은 어렵다. 녹음마다 고유한 사건 단위가 다르고, 포함된 시퀀스의 양이 다르며, 수집 조건도 다르기 때문이다. 본 연구는 고정된 사전학습 오디오 인코더의 고차원 표현을 이용하여 음향 다양성과 시간적 조직을 측정한다. 정합 샘플링은 각 코퍼스의 고유한 사건 정의를 바꾸지 않으면서 새로운 음향 형태와 사건 간 관계를 관찰할 기회를 모든 코퍼스에 동일하게 부여한다. 비교마다 1,952개의 사건과 1,700개의 인접 쌍을 사용하여 향유고래 코다, 인간 음성의 음소, 벵골핀치의 음절, 흔한 마모셋의 울음소리를 비교한다. 고래는 인코더가 정의한 음향 군집의 누적이 가장 빠르고, 핀치는 일반적인 블록 내 셔플에 대비하여 반복 시퀀스 재현성이 가장 강하다. 인접 사건 간 의존성은 소스와 위치 통제 하에서 두 종 사이에 거의 일치한다. 두 번째로 앞선 사건은 다른 코퍼스에 비해 고래에서 보류된 데이터의 예측을 더 유리하게 변화시키지만, 고래 단독의 개선은 여전히 불확실하다. 파형 측정은 몇몇 차이를 재현하지만, 지속 시간과 수집 조건에 민감한 특성 또한 기여한다. 종합하면, 이 결과는 사전학습된 표현이 서로 다른 형태의 발성 조직을 어떻게 측정할 수 있는지를 보여주며, 파형 및 소스 통제는 비교의 범위를 규정한다.

원문 초록

Comparing acoustic structure across very different vocal corpora is difficult because the recordings use different native event units, contain different amounts of sequence, and were collected under different conditions. We use the high-dimensional representations of frozen, pretrained audio encoders to measure acoustic diversity and temporal organization. Matched sampling gives each corpus the same opportunities to observe new acoustic forms and relationships between events, without changing its native event definition. We compare sperm-whale codas, human speech phones, Bengalese-finch syllables, and common-marmoset calls using 1,952 events and 1,700 adjacent pairs per comparison. Whale shows the fastest accumulation of encoder-defined acoustic groups, while Finch has the strongest repeated-sequence recurrence against ordinary within-block shuffles. Their neighboring-event dependence is closely matched under a source-and-position control. A second preceding event changes held-out prediction more favorably for Whale than for the other corpora, although Whale's standalone improvement remains uncertain. Waveform measurements recover several differences, but duration and acquisition-sensitive properties also contribute. Together, the findings show how pretrained representations can measure distinct forms of vocal organization, while waveform and source controls define the scope of the comparison.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.16612v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.