PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10663v1cs.SD

BEANS-Next 및 ROOTS: 생체음향학을 위한 오디오-언어 기능의 확장

BEANS-Next and ROOTS: Broadening Audio-Language Capabilities for Bioacoustics

생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.

arXiv:2610.02284v1cs.LG

펄스 간격 변화가 박쥐 발성 딥러닝 분류에 미치는 영향

Effects of interpulse-interval variation on deep-learning classification of bat vocalizations

시간적 맥락(temporal context)은 자동화된 박쥐 종 분류에 도움이 될 수 있지만, 특정 특징의 기여도는 여전히 불분명합니다. 본 연구에서는 연속된 발성 시작점 사이의 시간인 펄스 간격(interpulse interval, IPI)의 변화가 종을 구별하는 정보를 제공하는지, 그리고 트랜스포머(transformer) 기반 모델이 합성곱 신경망(CNN)보다 이러한 정보에 더 민감한지 조사했습니다. 연구진은 유럽 박쥐 녹음 자료로부터 두 가지 일치된 데이터셋을 생성했습니다. 하나는 원래의 발성 타이밍을 유지하는 자연적 IPI 조건이고, 다른 하나는 발성 시작점을 50ms 간격으로 배치한 정규화된 IPI 조건입니다. 각 조건 내에서 EfficientNet-B0과 PaSST를 파인튜닝하고 평가했습니다. 추가 실험에서는 각 구조를 자연적 IPI 및 정규화된 IPI 녹음 자료에서 별도로 학습시킨 후, 동일한 자연적 IPI 테스트 세트에서 평가했습니다. 마지막으로 사전학습된 분류기인 BatDetect2와 BAT를 두 조건 모두에서 평가했습니다. 조건 내 IPI 정규화는 모델에 따라 서로 다른 영향을 미쳤습니다. PaSST의 정확도는 자연적 IPI($71 \pm 2.3\%$) 조건과 정규화된 IPI($70 \pm 6.3\%$) 조건 간에 차이가 거의 없었던 반면, EfficientNet의 정확도는 $47 \pm 4.7\%$에서 $57 \pm 3.9\%$로 증가했습니다. PaSST는 두 조건 모두에서 EfficientNet을 능가했습니다. 교차 조건 평가에서는 자연적 IPI 녹음 자료로 학습한 모델이 자연적 IPI 테스트 세트에서 정규화된 IPI 녹음 자료로 학습한 모델보다 우수한 성능을 보였으며, 정확도는 EfficientNet의 경우 54%에서 50%로, PaSST의 경우 65%에서 57%로 감소했습니다. BatDetect2와 BAT는 IPI 조건 간 차이가 거의 없었습니다. 전반적으로 자연적 IPI 변화가 박쥐 종 분류에 실질적으로 기여하며 트랜스포머 기반 모델이 CNN 기반 모델보다 이를 더 효과적으로 활용한다는 가설을 뒷받침하는 근거는 제한적이었습니다. 그럼에도 불구하고 교차 조건에서의 성능 저하는 정규화된 조건에서 얻은 결과가 자연적 녹음 자료로 완전히 전이되지 않을 수 있음을 보여줍니다.

arXiv:2608.14824v2eess.AS

코끼리 발성 분류를 위한 매개변수 없는 퓨샷 평가

A Parameter-Free Few-Shot Evaluation for Elephant Vocalisation Classification

우리는 Elephant Voices(EV) 및 Linguistic Data Consortium(LDC) 데이터셋에서 고정된 사전학습 임베딩 위의 코끼리 발성에 대한 최근접 중심(centroid) 분류의 매개변수 없는 에피소드 평가를 제시한다. 우리가 묻는 것은 모든 라벨 데이터로 학습한 분류기에 어떤 임베딩이 최적인지가 아니라, 클래스당 예시(exemplar) 수가 달라질 때 가장 단순한 분류기가 어떻게 수행되는지이다. 각 클래스는 지원(support) 임베딩의 평균으로 모델링되고 각 쿼리는 제곱 유클리드 거리 하에서 가장 가까운 중심에 할당되므로 학습 가능한 매개변수는 없다. 평가는 mel frequency cepstral coefficient(MFCC) 특징과 함께 고정된 Perch(ver. 1), Perch(ver. 2), HuBERT(base, layer 2) 임베딩을 대상으로 하며, 학습된 분류기와 동일한 계층화 $K$-fold 교차 검증(validation) 프로토콜 하에서 $N$-way $k$-shot으로 수행한다. 이 임베딩 모델들 중 어느 것도 코끼리 울음 유형을 구별하도록 학습되지는 않았다. 더 작은 EV 데이터셋에서는 중심 분류기가 뚜렷이 데이터 효율적이다. Perch(ver. 1) 또는 Perch(ver. 2) 임베딩을 사용하면 평균 정밀도(mAP)에서 예시 한두 개부터 전 데이터로 학습한 로지스틱 회귀(LR) 기준선(baseline)을, 예시 두 개부터 순환(recurrent) 기준선을 추월한다. 강한 지도 end-to-end 기준선이 학습된 축소된 울음 유형 집합에서도 Perch(ver. 2) 임베딩을 쓰는 중심 분류기는 예시 두 개부터 mAP에서 해당 기준선을 역시 추월한다. 더 큰 LDC 데이터셋에서는 순환 기준선이 고려한 모든 $k$ 값에 대해 우위를 유지한다. LR만이 추월되며, 그것도 mAP에서만이다. 따라서 최근접 중심 분류는 예시가 적고 고정 임베딩이 이미 울음 유형을 분리할 때 바로 그때 선호된다.

arXiv:2607.13555v2eess.AS

롱테일 프레임 수준 생체음향 능동 학습을 위한 그래디언트 임베딩의 탐욕적 부피 극대화

Greedy Volume Maximization of Gradient Embeddings for Long-Tailed Frame-Level Bioacoustic Active Learning

생체음향 호출 유형 분류(classification)는 비용이 많이 드는 전문가 주석에 의존합니다. 능동 학습(active learning)은 소량의 배치(batch) 구간을 선택해 전문가 주석을 받고 라벨링된 구간을 분류기 학습(training)에 사용함으로써 이러한 부담을 줄일 수 있습니다. 이 환경은 까다롭습니다. 목표 호출은 극히 희소하고 호출 유형 분포는 롱테일(long-tailed)을 띠므로, 한정된 예산을 정보량이 풍부한 소수의 희귀 구간에 집중적으로 투입해야 합니다. 우리는 배치가 생성하는 공간의 부피를 가장 크게 확장하는 BADGE 그래디언트(gradient) 임베딩(embedding)을 갖는 구간을 탐욕적으로 추가하는 결정론적 배치 선택기인 BADGE-Greedy-DPP를 제안합니다. 이 로그 부피 목적 함수는 서브모듈러(submodular)하기 때문에, 탐욕적 규칙은 이 목적 함수의 최적치 대비 최소 (1-1/e) 비율의 배치 가치를 보장하며, 이는 기존 BADGE의 k-means++ 및 MCMC DPP 샘플링 휴리스틱에서는 제공하지 못하는 보장입니다. 또한 이 태스크에는 시간적 입도 불일치(temporal granularity mismatch)도 존재합니다. 획득 함수는 전체 구간을 평가하지만 구간 내부의 정보가 풍부한 프레임은 소수에 불과합니다. 따라서 균일 평균을 적용하면 이 프레임들이 희석됩니다. BADGE 구조는 프레임 단위로 적용될 때 예측 잔차가 집계된 유사 그래디언트에 가중치(weight)를 부여하므로 이러한 불일치를 자연스럽게 해결합니다. 즉, 확신을 갖고 예측된 '호출 없음' 프레임은 기여도가 미미한 반면, 불확실한 단 하나의 희귀 호출 프레임이 구간의 방향성을 결정할 수 있습니다. 희소하고 불균형한 하이에나 호출 유형 데이터셋(dataset)을 대상으로 한 10회 실행 전반에서, BADGE-Greedy-DPP는 가장 강력한 비-BADGE 기준선(baseline)인 MFFT 및 두 가지 바닐라 BADGE 순회 방식을 포함하여 비교된 모든 쿼리 전략 중 가장 우수한 전반적 및 희귀 호출 유형 성능을 달성합니다.

arXiv:2607.22458v1cs.LG

해양 포유류 및 조류 발성에서 오디오 파운데이션 모델이 포착한 계통발생 신호: 도메인 특화 사전학습의 제한적 이점

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

학습된 오디오 임베딩은 아무도 학습하라고 알려주지 않은 구조를 인코딩하는가? 우리는 네 가지 대규모 사전학습 오디오 모델(AST, CLAP, BEATs-bio, BirdNET)을 학습 중 어느 것도 보지 못한 다운스트림 태스크, 즉 종 발성으로부터 계통발생 거리를 복원하는 문제로 탐색한다. 임베딩 공간의 기하가 생명의 나무를 따라간다면, 표현은 모델이 최적화 대상으로 삼았던 레이블보다 더 깊은 무언가를 포착하고 있는 것이다. 우리는 두 독립적인 방사군에 걸쳐 Mantel 검정을 수행한다. 32종 해양 포유류(왓킨스 해양 포유류 소리 데이터베이스의 1,754개 녹음)에서 파운데이션 모델은 26종 고래류 내에서 강한 계통발생 신호를 복원한다(CLAP r=0.82, BEATs-bio r=0.82, AST r=0.74; 모두 p<0.001). 이는 어떤 분류군에 대해서도 보고된 음향-계통발생 상관 중 가장 높은 수준에 해당한다. 수작업 MFCC 특징(105차원)은 아무것도 찾지 못한다(r=0.040, p=0.338). 모든 임베딩을 105차원으로 PCA 투영한 후에도 격차는 유지되므로, 이는 표현 크기의 인공물이 아니다. 지배적 주파수를 통제한 부분 Mantel 검정에서도 격차가 유지된다(부분 Mantel r=0.404, 설명 분산의 97% 유지). 따라서 이는 단순히 변장한 음높이(pitch)가 아니다. Jetz et al. (2012)의 계통수를 사용하여 20종 조류에 대해 분석을 반복하고, 이번에는 약 6,000종 조류에 대해 end-to-end로 학습된 분류기 BirdNET을 추가한다. 범용 파운데이션 모델은 다시 신호를 복원한다(AST r=0.55, CLAP r=0.52). 예상치 못한 결과는 BirdNET도 생물음향 BEATs-bio도 이들을 능가하지 못한다는 점이다(r는 약 0.32~0.36). 학습 도메인을 대상 분류군에 맞추는 것만으로는 도움이 되지 않는다. 사전학습된 오디오 임베딩은 두 독립적인 방사군에 걸쳐 진화 정보를 담고 있으며, 이것이 나타나려면 도메인 특화 사전학습이 필요하지 않다.

arXiv:2607.14474v1cs.SD

토큰은 경쟁할 수 있는가? BirdCLEF+ 2026에서 지도 학습 CNN 백본 대비 토큰 표현

Can Tokens Compete? Token Representations against Supervised CNN Backbones for BirdCLEF+ 2026

본 논문은 DS@GT ARC 팀의 BirdCLEF+ 2026 접근 방식을 설명한다. BirdCLEF+ 2026은 Pantanal 습지의 사운드스케이프에서 동물 발성을 다중 레이블로 탐지하는 과제이다. 2026년판은 약 1시간 분량의 라벨이 붙은 사운드스케이프를 추가하여, 과제를 라벨 집합에 맞춘 지도 학습 파이프라인 중심으로 전환한다. 먼저, 고정(frozen) Perch v2 백본, 학습된 HGNetV2-B0 음향 이벤트 탐지(sound-event detection) 네트워크, 비조류 prototypical 헤드를 앙상블한 경쟁력 있는 지도 학습 기준선(baseline)을 구축하였으며, 90분 CPU 예산 내에서 private leaderboard 점수 0.936, 순위 1894를 달성하였다. 둘째, 토큰 기반 표현이 경쟁할 수 있는지를 묻고, 신경 오디오 코덱(neural audio codec)의 codec 표현과 foundational 임베딩(embedding)의 의미적(semantic) 표현을 대조한다. AudioSet에서 학습된 4개의 토큰 기반 인코더와 2개의 생물음향(bioacoustic) 전문 모델을 비교한다. 이 연구의 저장소는 https://github.com/dsgt-arc/birdclef-2026 에서 확인할 수 있다.

arXiv:2607.14072v1cs.LG

MetaPerch: Learning from metadata for bioacoustics foundation models

부제와 초록을 번역 규칙에 맞춰 정리했습니다. ```json {"title_ko": "MetaPerch: 생물음향 파운데이션 모델을 위한 메타데이터 학습", "abstract_ko": "생물음향 파운데이션 모델은 지리적·생태적으로 다양한 데이터를 위해 Xeno-Canto와 같은 대규모 시민 과학 플랫폼에 의존한다. 최근 연구는 이 대규모 데이터로 학습할 때 감독(supervision)만으로도 최첨단(SotA) 종 탐지 모델을 만들 수 있음을 보여주었다. 그러나 이러한 커뮤니티 주도 데이터 허브 내에서 쉽게 이용 가능한 녹음 메타데이터 형태의 미활용 잠재력이 남아 있다. 본 연구에서는 위치와 시간과 같은 메타데이터를 보조 감독 신호로 활용하는 방안을 탐구하여, 모델이 학습된 표현에서 종-메타데이터 상관관계를 활용할 수 있도록 한다. 보조 메타데이터 손실은 발성(vocalization)만으로는 얻을 수 없는 추가 정보를 제공하여, 종 분포 및 음향 도메인 이동에 더 잘 일반화되는 더 풍부하고 견고한 표현을 유도할 수 있다. 이는 실제 수동 음향 모니터링(PAM) 환경에 배포할 때 중요한 과제이다. 우리는 MetaPerch라는 새로운 파운데이션 모델을 제안하며, 이 모델은 여러 도전적인 도메인에서 강력한 종 동정 성능을 달성한다. 또한 17개 생물음향 데이터셋에 대해 9가지 다양한 메타데이터 소스의 효과에 관한 광범위한 실증 연구를 제시한다."} ```

arXiv:2607.07733v1cs.SD

최소 어노테이션 수중음향 데이터 탐험을 위한 자기지도 접근법

A Self-Supervised Approach for Minimal-Annotation Hydroacoustic Data Exploration

수동 수중음향 모니터링의 대규모 데이터를 최소한의 어노테이션으로 탐색하기 위해, Masked AutoEncoder(MAE)로 스펙트로그램 패치 임베딩을 학습한 뒤 UMAP과 HDBSCAN으로 이벤트 수준 클러스터링을 수행하는 자기지도 파이프라인을 제안한다. 인도양 마요트 섬 인근의 다년간 수중음향 데이터셋에 적용한 결과, 317개 클러스터를 1시간 이내에 15개 클래스로 매핑하였고 기존 탐지기에 필적하는 분류 성능과 함께 미지의 신호 패턴까지 발견하는 실용적 가치를 입증하였다.

arXiv:2607.06063v1cs.SD

Determinantal point process sampling for bioacoustic active learning

생태음향 모니터링의 방대한 오디오 데이터 주석 비용을 줄이기 위해, 클래스 균형 불확실성과 임베딩 공간 참신성을 결합하고 행렬식 포인트 프로세스(Determinantal Point Process, DPP)로 비중복 배치를 선택하는 능동학습(active learning) 획득 방법인 CARE-DPP를 제안한다. BioDCASE 2026 챌린지의 BirdSet 및 ATBFL 데이터셋 평가에서 공식 CoreSet 기준선 대비 평균 AULC 0.46 대비 0.50을 달성했으며, 에블레이션 연구를 통해 DPP 배치 다양화와 적응형 획득 스케줄이 성능 향상의 주요 요인임을 확인했다.

arXiv:2606.13236v1cs.LG

곤충의 노래 해독: Orthoptera 생물음향 분류를 위한 멀티태스크 반지도학습 분류기

Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier

기존 자동화 도구의 한계를 극복하기 위해 약한 지도 종 분류, 자기지도학습, 지식 증류를 결합한 반지도학습 멀티태스크 프레임워크인 PULSE를 제안한다. 이 도메인 적응 전문 모델은 최신 범용 모델을 모든 지표에서 능가하며, 학습된 임베딩은 생태학적으로 유의미한 구조를 포함한다.

arXiv:2606.12503v1cs.LG

Dolph2Vec: 돌고래 발성의 자기지도 표현

Dolph2Vec: Self-Supervised Representations of Dolphin Vocalizations

돌고래 의사소통의 정밀한 구조를 분석하기 위해 5년간의 장기 녹음 데이터셋을 구축하고 Wav2Vec2.0을 기반으로 한 종 특화 자기지도학습(SSL) 모델인 Dolph2Vec을 제안한다. 이 모델은 기존 범용 모델보다 휘슬 분류 및 탐지 성능이 뛰어나며, 돌고래 휘슬 카테고리와 정렬되는 해석 가능한 음향 단위를 학습함을 입증한다.