해양 포유류 및 조류 발성에서 오디오 파운데이션 모델이 포착한 계통발생 신호: 도메인 특화 사전학습의 제한적 이점
Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining
학습된 오디오 임베딩은 아무도 학습하라고 알려주지 않은 구조를 인코딩하는가? 우리는 네 가지 대규모 사전학습 오디오 모델(AST, CLAP, BEATs-bio, BirdNET)을 학습 중 어느 것도 보지 못한 다운스트림 태스크, 즉 종 발성으로부터 계통발생 거리를 복원하는 문제로 탐색한다. 임베딩 공간의 기하가 생명의 나무를 따라간다면, 표현은 모델이 최적화 대상으로 삼았던 레이블보다 더 깊은 무언가를 포착하고 있는 것이다. 우리는 두 독립적인 방사군에 걸쳐 Mantel 검정을 수행한다. 32종 해양 포유류(왓킨스 해양 포유류 소리 데이터베이스의 1,754개 녹음)에서 파운데이션 모델은 26종 고래류 내에서 강한 계통발생 신호를 복원한다(CLAP r=0.82, BEATs-bio r=0.82, AST r=0.74; 모두 p<0.001). 이는 어떤 분류군에 대해서도 보고된 음향-계통발생 상관 중 가장 높은 수준에 해당한다. 수작업 MFCC 특징(105차원)은 아무것도 찾지 못한다(r=0.040, p=0.338). 모든 임베딩을 105차원으로 PCA 투영한 후에도 격차는 유지되므로, 이는 표현 크기의 인공물이 아니다. 지배적 주파수를 통제한 부분 Mantel 검정에서도 격차가 유지된다(부분 Mantel r=0.404, 설명 분산의 97% 유지). 따라서 이는 단순히 변장한 음높이(pitch)가 아니다. Jetz et al. (2012)의 계통수를 사용하여 20종 조류에 대해 분석을 반복하고, 이번에는 약 6,000종 조류에 대해 end-to-end로 학습된 분류기 BirdNET을 추가한다. 범용 파운데이션 모델은 다시 신호를 복원한다(AST r=0.55, CLAP r=0.52). 예상치 못한 결과는 BirdNET도 생물음향 BEATs-bio도 이들을 능가하지 못한다는 점이다(r는 약 0.32~0.36). 학습 도메인을 대상 분류군에 맞추는 것만으로는 도움이 되지 않는다. 사전학습된 오디오 임베딩은 두 독립적인 방사군에 걸쳐 진화 정보를 담고 있으며, 이것이 나타나려면 도메인 특화 사전학습이 필요하지 않다.