SignAligner: 두 가지 세분화 수준의 구간 생성으로 수어 영상 정렬하기
SignAligner: Dual-Granularity Span Generation for Sign Language Alignment
한국어 초록
대규모 수어 말뭉치에는 두 수준의 시간 레이블이 유용하다. 자막 구간은 자막 정렬에, 단어 구간은 수어 단어 검출에 쓰인다. 수어 단어 검출로 말뭉치 전체에서 단어의 시간 위치를 찾을 수 있지만, 자막과 단어 구간을 함께 사용해 자막 정렬을 학습하는 방법은 충분히 연구되지 않았다. 프롬프트 조건부 비전-언어 구간 생성기 SignAligner를 소개한다. 수어 비디오와 자막 문장 또는 목표 단어 쿼리를 받아 시작 및 끝 프레임을 텍스트로 출력한다. 먼저 자막 구간과 수어 단어 검출에서 얻은 단어 구간을 함께 학습한다. 이어 단어 예시를 보조 데이터로 유지하며, 구간 겹침을 기반으로 한 보상으로 모델을 정제한다. BBC와 옥스퍼드가 구축한 영국 수어 말뭉치 BOBSL의 자막 테스트 세트에서 정제 모델은 F1@0.50(시간 구간의 교집합 대 합집합 비율 임계값을 0.5로 둔 F1) 66.68을 달성했다. 외부 수어 영상 자료를 쓰지 않은 비교 시스템 중 가장 높았다. 겹침 보상으로 정제하는 방식은 같은 공동 학습 모델을 교차 엔트로피로 계속 학습하는 방식보다 우수했다. 코드, 레이블, 최대 갱신 예산을 동일하게 맞춘 두 생성기 비교에서도 단어 구간을 함께 학습하면 자막 정렬이 개선됐다. 두 모델 모두 겹침 보상으로 정제한 뒤에도 이점이 유지됐다. 단어 쿼리에 대해 정제 모델은 비디오의 고정 위치에서만 답하지 않고 질의한 단어를 따라갔다. 해당 수어 표현이 비디오 중앙에서 벗어나 있을 때 위치만 사용한 예측보다 훨씬 정확했다. 이 결과는 겹침 보상으로 정제한 공유 구간 생성기 하나로 자막을 정렬하고 사람이 검토할 단어 구간을 생성할 수 있음을 뒷받침한다.
원문 초록
Large sign-language corpora benefit from temporal labels at two scales: subtitle spans for subtitle alignment and word spans for sign spotting. Sign spottings already locate words in time at corpus scale, but training subtitle alignment jointly on subtitle and word spans remains underexplored. We present SignAligner, a prompt-conditioned visual-language span generator that maps a sign-language video and a subtitle-sentence or target-word query to a textual start/end frame interval. It is first trained jointly on subtitle spans and word spans from sign spottings, then refined with overlap-based rewards while retaining auxiliary word examples. On the subtitle test set of the British Broadcasting Corporation-Oxford British Sign Language (BOBSL) corpus, the refined model reaches 66.68 F1@0.50 (F1 with a temporal intersection-over-union threshold of one half), the best among compared systems without external sign-video resources. This overlap-reward refinement outperforms cross-entropy continuation from the same jointly trained model. Joint training with word spans improves subtitle alignment in a pair of our generators matched in code, labels and maximum update budget. The advantage remains after both models of the pair are refined with overlap rewards. For word queries, the refined model follows the queried word, not a fixed position in the video: when the word's sign lies away from the video centre, it is far more accurate than predictions that use position alone. Together, these findings support one shared span generator refined with overlap rewards, aligning subtitles and producing word spans for human review.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22409v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.