arXiv:2607.27826v1 cs.AI

수어 질의응답: 수어 이해를 위한 새로운 과제, 벤치마크 및 기준선

Sign Language Question Answering: A New Task, Benchmark, and Baseline for Sign Language Understanding

Shiwei Gan, Lichen Wang, Xiao Liu, Yafeng Yin, Kuizhuang Liu, Sanglu Lu, Lei Xie

제출 2026-07-30

한국어 초록

최근 수어(Sign Language, SL) 이해(SLU)의 발전은 연속 수어 인식 및 수어 번역과 같은 과제에서 괄목할 만한 진전을 이끌어냈습니다. 그러나 이러한 과제들은 사전에 정의된 목표로 설계되어, 모델이 수어 영상에서 글로스(gloss)나 음성 언어 문장으로의 고정된 매핑을 학습하도록 요구합니다. 결과적으로 이는 모델이 수어 영상의 의미론적 내용을 진정으로 이해하고 있는지에 대해 제한된 평가만을 제공합니다. 이러한 한계를 해결하기 위해, \textbf{저희는 모델이 수어 영상에 대한 임의의 자연어 질문에 답하도록 요구함으로써 수어 이해를 평가하는 새로운 과제인 수어 질의응답(Sign Language Question Answering, SLQA)을 처음으로 제안합니다}. 이전의 SLU 과제들과 달리, SLQA는 인식 및 번역을 넘어 다양한 추론 능력을 평가하는 더욱 유연하고 포괄적인 평가 프레임워크를 제공합니다. 이 과제를 촉진하기 위해, \textbf{저희는 정교하게 설계된 템플릿을 사용하여 기존의 글로스 및 문장 주석으로부터 질문-답변 쌍을 자동 생성함으로써 PHOENIX14T 및 CSL-Daily를 기반으로 한 두 개의 SignQA 벤치마크를 추가로 구축합니다}. 그 결과로 도출된 데이터셋은 위치 추론, 구조적 추론, 시각적 탐색, 글로스 인식, 번역 이해를 포함한 상호 보완적인 5가지 질문 범주를 다룹니다. \textbf{마지막으로, 질문 조건부 변조 시간 다운샘플링(Question-Conditioned Modulated Temporal Downsampling) 모듈과 도메인 내 지식 전이 전략을 갖춘 단순하면서도 효과적인 기준선 모델을 제안합니다}. 이를 통해 질문 인식 시간 특징 모델링을 강화하는 동시에 기존 SLU 과제로부터 효과적인 지식 전이를 가능하게 합니다. 광범위한 실험을 통해 저희의 기준선 모델이 모든 질문 범주에 걸쳐 대표적인 비전-언어 모델들을 지속적으로 능가함을 입증하며, 향후 SLQA 연구를 위한 강력한 벤치마크를 정립합니다. 데이터셋은 https://huggingface.co/datasets/hulala/SignQA-2026 에서 이용할 수 있습니다.

원문 초록

Recent advances in sign language (SL) understanding (SLU) have led to remarkable progress in tasks such as continuous SL recognition and SL translation. However, these tasks are designed with predefined objectives, requiring models to learn a fixed mapping from sign videos to glosses or spoken-language sentences. As a result, they provide only a limited assessment of whether a model truly understands the semantic content of SL videos. To address this limitation, \textbf{we first propose a new task, Sign Language Question Answering (SLQA)}, which evaluates SL understanding by requiring models to answer arbitrary natural language questions about SL videos. Unlike previous SLU tasks, SLQA provides a more flexible and comprehensive evaluation framework that assesses multiple reasoning capabilities beyond recognition and translation. To facilitate this task, \textbf{we further construct two SignQA benchmarks} based on PHOENIX14T and CSL-Daily by automatically generating question-answer pairs from existing gloss and sentence annotations using carefully designed templates. The resulting datasets cover five complementary question categories, including position reasoning, structural reasoning, visual search, gloss recognition, and translation understanding. \textbf{Finally, we propose a simple yet effective baseline model} equipped with a Question-Conditioned Modulated Temporal Downsampling module and an in-domain knowledge transfer strategy, enabling effective knowledge transfer from existing SLU tasks while enhancing question-aware temporal feature modeling. Extensive experiments demonstrate that our baseline consistently outperforms representative vision-language models across all question categories, establishing a strong benchmark for future research on SLQA. Datasets are available at:{https://huggingface.co/datasets/hulala/SignQA-2026}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.27826v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.