실시간 화자 분할을 위한 새로움 게이팅 메모리
Surprise-Gated Memory for Live Speaker Diarization
한국어 초록
본 연구는 연속적인 시각 학습용 새로움 게이팅 메모리(SGM)를 실시간 화자 분할로 옮긴다. 가중치를 고정한 인코더와 보정된 새로움 신호를 사용한다. 이 신호는 한 번의 관측으로 에피소드 메모리에 기록할지를 정하며, 기록은 주기적 재생으로 공고화된다. 스트리밍 화자 분할 시스템은 새로 들어온 음성이 이전에 들은 화자의 음성인지 새 화자의 음성인지 판단해야 한다. 이처럼 이미 아는 것과 새로운 것을 구분하는 일은 새로움 게이트가 처리하도록 설계된 판단이다. 미세조정 후 가중치를 고정한 DiariZen을 백본으로 사용하는 온라인 시스템 SGM-Diar는 회의 종료 시까지 결과를 수정할 수 있는 모드에서, 단순 온라인 기준선과 오프라인 오라클 사이의 분할 오류 격차를 줄였다. AMI-SDM에서는 격차 9.2포인트 중 4.8포인트(52%), VoxConverse에서는 2.3포인트 중 1.9포인트(82%)를 좁혔다. 보정은 개발 데이터에서 확정했으며, 다른 도메인에 적용할 때 다시 조정하지 않았다. AMI 회의 세 건과 VoxConverse 세션 다섯 건에서 시드 하나로 실행한 결과이므로, 절대 오류율보다 조건 사이의 순위에 의미가 있다. 오류율 외에 게이트의 동작도 직접 측정했다. 한 번 들은 화자의 재현율은 0.857이었다. 화자가 익숙해질수록 새로움 반응이 약해졌으며, 화자 재식별은 중간에 침묵이 얼마나 길었는지에 영향을 받지 않았다. 실제로는 새 화자가 아닌데 새 화자로 판단한 비율은 0.001이었다. 구성 요소 비교 실험 두 건에서 시각 SGM 연구의 핵심 예측도 음성에서 재현됐다. 이동 창으로 기록을 재생하는 방식이 재생하지 않는 것보다 성능이 낮았다. 메모리는 회의 안에서만 쓰이고 종료와 함께 지워진다. 실행 중에는 그래디언트로 시스템을 갱신하지 않는다. SGM-Diar를 개념 증명으로 제시하고 한계를 명시한다.
원문 초록
We transpose the Surprise-Gated Memory recipe, a frozen encoder plus a calibrated novelty signal that gates a one-shot episodic store consolidated by periodic replay, from continual visual learning to live speaker diarization. The moment-to-moment question a streaming diarizer must answer, whether an arriving voice belongs to an already-heard speaker or a new one, is a known-versus-novel decision, exactly the decision the surprise gate is built for. On a frozen fine-tuned DiariZen backbone, our online system SGM-Diar recovers 4.8 of the 9.2 diarization-error points separating a naive online baseline from the offline oracle on AMI-SDM (52%) and 1.9 of 2.3 points on VoxConverse (82%), in the end-of-meeting revisable mode, with calibration frozen on development data and transferred cross-domain without adjustment. These are single-seed runs on three AMI meetings and five VoxConverse sessions, so the ordering of conditions rather than the absolute rates is the result. Beyond error rate, we measure the gate's behaviour directly and find a coherent memory-like profile: one-shot speaker recall at 0.857, a novelty response that habituates as speakers become familiar, re-identification that is invariant to the length of intervening silence, and a false-novelty rate of 0.001. Two ablations reproduce, now on audio, the central prediction of the visual SGM work: a sliding replay window is worse than no replay at all. The memory is strictly intra-meeting and is wiped at the end, and no gradient touches the run-time system. We report SGM-Diar as a proof-of-concept and state its limitations explicitly.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20819v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.