Sign Language Production (SLP) generates continuous signing from a linguistic input and drives accessibility technologies such as signing avatars. Current generators, diffusion models included, regress joint coordinates as an unstructured vector, so nothing ensures that the generated body respects anatomy or the mechanics of movement. Physics has entered SLP only through geometric loss terms, whose benefit for intelligibility has not been verified, and the dynamics of the signing body has not been modelled. We present PIDiffSign, a diffusion model informed by physics at two levels. For kinematics, a forward-kinematics head outputs bone directions and lengths and composes them into an anatomically exact skeleton. For dynamics, a rigid-body model of the upper body with anthropometric parameters supports two training priors. A physical-plausibility suite that includes two laws of motor control evaluates the generated signing. Under a controlled protocol, the head lowers back-translation word error rate by about five points on PHOENIX14T and CSL-Daily, whereas geometric penalties have no measurable effect; a control experiment traces the gain to the kinematic-chain representation and not to bone-length conservation. The dynamics priors gain about one further point over matched non-physical controls on PHOENIX14T, but not on CSL-Daily. Generated signing follows the laws of motor control as closely as real signing but carries markedly less kinetic energy. The exact skeletons can drive rigged avatars directly, and the suite offers a physical benchmark for future SLP systems.
대화 내 감정 인식(ERC)은 감성 컴퓨팅(affective computing)의 핵심 요소이지만, 기존의 수어 감정 데이터셋은 주로 고립된 문장에 초점을 맞추고 있어 대화 문맥이 결여되어 있습니다. 이러한 고립된 발화만을 대상으로 학습(training)된 모델은 이전 대화 흐름을 활용할 수 없어 실제 환경에서 성능 저하를 보입니다. 이러한 구조적 한계를 해결하기 위해, 본 연구에서는 수어 비디오 분석에 ERC 태스크를 도입하고 eJSL Dialog 데이터셋을 제안합니다. STUDIES 코퍼스의 스크립트를 기반으로 구축된 이 데이터셋은 480개의 고유한 대화로 구성된 1,920개의 비디오 샘플을 포함합니다. 저자들은 단일 시각 네트워크부터 다중모달(multimodal) 대화형 아키텍처에 이르는 모델들을 사용하여 본 데이터셋에 대해 체계적인 벤치마킹을 수행합니다. 실험 결과는 현재 벤치마크 환경에서 대화형 ERC 프레임워크를 수어 대화로 확장할 수 있는 가능성을 제시하는 동시에, 수어 특유의 감정적 단서를 포착하는 데 기존 시각적 표상이 지닌 한계점을 드러냄으로써, 수어 특화 시각 모델링 및 더 큰 규모의 수어 대화 학습 자원에 대한 향후 연구의 필요성을 강조합니다.
수화언어는 수백만 명의 농인(Deaf) 및 난청인(hard-of-hearing)을 위한 주요 의사소통 수단이지만, 비디오 디퓨전 모델의 학습과 평가 비용이 높아 텍스트-수화자(text-to-signer) 비디오 생성은 여전히 비용이 많이 든다. 본 논문은 단일 NVIDIA L4 GPU에서 실행되는 짧은 수화 클립용 텍스트 조건부 디퓨전 모델인 Text2Sign을 제안한다. 동결(frozen)된 비전-언어(vision-language) 텍스트 인코더와 3D 인코더-디코더, 그리고 분해(factorized) 시공간(spatiotemporal) 어텐션을 결합하여 전체 비디오 어텐션의 비용을 줄이면서 동작 일관성(motion coherence)을 유지한다. 합성곱 전용 및 트랜스포머 스타일 백본, 동결된 사전학습 및 과제별 텍스트 인코더, 분해 어텐션 대 전체(full) 어텐션을 비교한다. 수화자 비중복(signer-disjoint) How2Sign 분할에서, 최고의 단기 실행 ablation은 검증 손실 0.0648에 도달하고, 장기 실행 체크포인트는 0.00999에 도달한다. 간소화된 평가 슬라이스에서, 후자는 guidance scale 5.0의 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 시간적 일관성 $1.0000 \pm 0.0000$을 달성한다. 32프레임, $64 \times 64$ 클립을 12.60초, 즉 초당 2.54프레임으로 생성하며, 추론 메모리 피크는 3.12 GB이다. 홀드아웃(held-out) 디노이징 감사(audit)는 프롬프트 민감도가 약함을 보여준다: 텍스트를 제거하면 후기 타임스텝(late-timestep) 손실이 0.9875에서 0.9891로 증가하는 반면, 섞인(shuffled) 프롬프트는 올바른 프롬프트와 유사한 성능을 보인다. 따라서 동결된 텍스트 조건화는 짧은 예산의 검증 손실을 개선하지만, 프롬프트별 분리는 여전히 제한적이다. 이 시스템은 저해상도의 짧은 클립에 한정되며 전문 언어학적 평가가 부족하므로, 완전한 수화언어 프로덕션 시스템이라기보다 단일 GPU 연구 기준선으로 보아야 한다. 코드는 https://github.com/xiaruize0911/text2sign 에서 이용할 수 있다.
수화 모델은 역사적으로 구어(텍스트 및 음성) 모델에 비해 뒤처져 왔다. 최근 연구는 수화 번역 및 단독 수화 인식과 같은 과제에서 그 성능을 크게 향상시켰다. 그러나 기존 모델이 수화의 다양한 언어학적 현상을 어느 정도 포착하는지, 그리고 수화에서 사용되는 여러 발화 요소(손, 상체, 얼굴)의 단서를 얼마나 잘 활용하는지는 여전히 불분명하다. 우리는 미국 수화(ASL)를 위한 새로운 벤치마크 데이터셋인 ASL Minimal Translation Pairs(ASL-MTP)를 제안한다. 이 데이터셋은 수화 언어학적 현상의 여러 유형과 이에 대응하는 최소 번역 쌍으로 나누어 이러한 언어학적 분석을 수행할 수 있도록 구성되어 있다. 사례 연구로 ASL-MTP를 사용하여 최신 ASL-영어 번역 모델을 분석한다. 학습 및 추론 중 다양한 입력 단서를 제거(ablation)하고 ASL-MTP의 현상에 대해 평가함으로써 모델에 대한 표적 분석을 수행한다. 결과는 대부분의 현상에서 모델이 우연 수준 이상의 성능을 보이지만, 수동적(manual) 단서에 강하게 의존하는 반면 중요한 비수동적(non-manual) 단서를 자주 놓친다는 것을 보여준다.
수어 생성(SLG, sign language generation)은 텍스트-수어 생성(text-to-sign generation)으로도 알려져 있으며, 수어 사용자와 비수어 사용자 간의 의사소통 격차를 해소하는 것을 목표로 한다. 다른 많은 생성 과제와 달리 SLG는 두 가지 근본적인 언어학적 제약을 만족해야 한다. 첫째, 수어는 gloss라고 불리는 단어와 유사한 단위에 정렬된 제스처 순서를 통해 의미를 표현하므로, 의도한 의미를 보존하기 위해 올바른 어휘 순서(lexical ordering)가 필요하다. 둘째, 각 제스처는 의도된 gloss를 충실히 반영해야 한다(의미 정확도). 최근의 진전에도 불구하고, 기존 SLG 방법은 종종 잘못된 어휘 순서와 낮은 의미 정확도의 수어를 생성한다. 기존 접근법의 흔한 한계는 전역 융합(globally fused) 조건화 전략에서 비롯되며, 이는 gloss와 실제화된 수어 세그먼트 간의 시간적 대응, 즉 시간적 그라운딩(temporal grounding)을 약화시킨다. 이는 종종 잘못된 어휘 순서와 의미적으로 모호한 수어를 초래한다. 이 한계를 해결하기 위해, 우리는 시간적 그라운딩을 보장하기 위해 시간 해상도(timE-Resolved) 조건화를 갖춘 SIGN(SIGN language generation) 프레임워크인 SIGNER를 제안하며, temporal-gloss condition과 국소 시간 융합(LTF, local temporal fusion)을 활용한다. SIGNER는 입력 텍스트로부터 gloss sequence와 그 지속 시간을 추정하고, 시간 차원 전반에 gloss 의미를 할당하여 temporal-gloss condition을 구성한다. 다음으로, 우리는 디노이징(denoising) 과정 동안 제한된 시간 윈도우 내에서 temporal-gloss condition을 통합하는, 시간적 그라운딩된 융합 모듈인 LTF를 도입한다. 조건 융합에서 시간적 국소성(temporal locality)을 강제함으로써, LTF는 시간적 그라운딩을 유지하여 올바른 어휘 순서와 더 명확한 gloss별 의미를 달성한다. Phoenix-2014T와 CSL-Daily에서의 실험은 최신 최고(state-of-the-art) 성능을 보여주며, 모션 평활도(motion-smoothness) 분석으로 추가로 뒷받침된다. 프로젝트 페이지는 https://taeryunglee.github.io/projects/signer 에서 확인할 수 있다.
NEST-V1은 구어 입력에서 행복·중립·슬픔 감정을 반영한 네팔 수화(Nepali Sign Language) 아바타를 생성하는 저자원 멀티모달 개념 증명 프레임워크로, 공유 음향 인코더로 자동 음성 인식(ASR)과 감정 분류를 동시에 수행한다. 50명 화자 600개 오디오 샘플에서 ASR 81.1%, 감정 인식 79.21%를 달성했으며, 22.1M 매개변수 경량 구조로 분리 모델 대비 37% 매개변수 효율을 보인다.
수어 모델은 일반적으로 제한된 조건에서 촬영된 데이터셋으로 학습되며, 시점·배경·서명자 신원의 다양성이 부족하여 실제 환경의 분포 변화(distribution shift)에 대한 견고성이 낮다. 본 논문에서는 ASL, CSL, 독일 수어(DGS)를 아우르는 대규모 증강 데이터셋인 SignNet-1M을 소개한다. SignNet-1M은 세 가지 축을 따라 현실적인 변형을 합성한다: (i) 3D Gaussian Splatting(3DGS)을 통한 새로운 시점 렌더링(회전 및 줌), (ii) 수어 동작과 언어적 내용을 보존하면서 배경 교체 및 서명자 대체를 위한 확산 모델 기반 장면·신원 편집, (iii) 실제 촬영 영상과의 유사성을 높이기 위해 캡처 및 압축 아티팩트(예: 포즈/시간적 교란 및 비디오 수준 손상)를 모사하는 후처리 증강. 데이터셋 공개 외에도, 다운스트림 태스크(예: 번역 및 인식) 전반에 걸친 통합 벤치마크 스위트와 각 증강 구성 요소를 분리하는 에블레이션 실험을 제공한다. 다양한 백본(backbone)에 걸친 실험에서, SignNet-1M으로 학습하면 교차 시점, 교차 배경, 교차 신원 및 후처리 변화 조건 하에서 일관되게 일반화 성능이 향상되면서도 강한 인-분포(in-distribution) 성능이 유지됨을 보인다. 데이터셋, 전체 증강 파이프라인 및 벤치마크는 https://signnet.chatsign.ai/ 에서 이용 가능하다.
수어 생성(SLP)을 위한 잠재 확산 접근법은 수어 포즈 시퀀스의 인코딩을 학습하는 초기 단계에 의존하며, 이를 통해 결과적 잠재 공간에서 생성 모델링을 가능하게 한다. 이 단계에서 사용되는 오토인코더는 일반적으로 SLP에서 흔히 쓰이는 기하학적 지표를 통해 재구성 품질 측면에서 평가된다. 유용하긴 하지만, 이러한 지표는 하류 생성 모델의 학습과 성능에 영향을 줄 수 있는 잠재 공간 특성을 완전히 포착하지는 못한다. 본 연구에서는 수어 포즈 인코딩을 위한 변분 자동인코더(VAE)의 아키텍처 및 학습 목표 설계 선택이 잠재 공간 구조에 어떤 영향을 미치는지, 그리고 이러한 차이가 텍스트-수어 생성을 위한 잠재 확산 모델의 성능으로 어떻게 이어지는지 조사한다. Phoenix14T 데이터셋에 대한 실험에서, 역번역(back-translation) BLEU 점수로 측정한 생성 성능의 변동은 때로 VAE 재구성 정확도만으로는 설명하기 어렵고, 잠재 공간 특성의 차이로 더 잘 설명될 수 있음을 보여준다.
수화는 전 세계 청각 장애인 및 난청인 커뮤니티의 주요 의사소통 수단이지만, 동영상에서 수화 제스처를 인식하고 이를 자연어 텍스트로 번역하는 자동화 도구는 여전히 제한적이며, 특히 저자원(low-resource) 인도 언어에 대해서는 더욱 그렇다. 우리는 2단계 심층 학습 파이프라인을 제안한다. 이 파이프라인은 (i) 파인튜닝(fine-tuning)된 VideoMAE 동영상 트랜스포머를 사용하여 짧은 수화 동영상 클립을 영어 단어 레이블로 분류하고, (ii) Meta AI의 No Language Left Behind(NLLB-200) 다국어 번역 모델을 사용하여 예측된 영어 레이블을 힌디어, 텔루구어, 벵골어로 번역한다. 분류 모델은 IIT Madras의 AI4Bharat 인도 수어 동영상 코퍼스의 13개 클래스 부분집합에서 파인튜닝되며, 각 동영상에서 균일하게 샘플링한 16프레임 클립을 224 x 224 해상도로 처리한다. 소규모 학술 설정(13개 클래스, 197개 클립, 80-20 분할)에서 파인튜닝된 모델은 15 에포크 후 99% 학습(training) 정확도와 78% 검증(validation) 정확도에 도달한다. 혼동 행렬과 분류 보고서를 통해 클래스별 세부 분석을 제공하고, 지배적인 실패 모드(ugly, deaf, blind, hat, dress와 같이 혼동되기 쉬운 형용사 쌍 등)를 식별하며, 사용자가 업로드한 동영상을 입력받아 예측된 영어 레이블과 그에 대한 힌디어, 텔루구어, 벵골어 번역을 반환하는 Streamlit 기반 추론 데모를 설명한다. 적용 범위, 한계(작은 레이블 집합, 연속 수화가 아닌 고립 단어 방식, 단일 수화자 스타일 민감성, 단일 단어 기계 번역의 모호성), 그리고 문장 수준 생성 및 더 큰 어휘로 확장하는 것을 포함한 향후 연구 방향을 논의한다. 재현 가능성을 위해 코드를 공개한다.
비전-언어-행동(VLA) 모델은 시각 관측에 기반한 자연어 지시를 통해 로봇이 조작 작업을 수행할 수 있게 한다. 그러나 기존 VLA 인터페이스는 주로 음성이나 텍스트 입력에 의존하여, 청각 장애, 난청, 언어 장애 사용자의 접근성을 제한한다. 본 연구는 접근 가능한 인간-로봇 상호작용을 위한 실시간 수어 기반 VLA 프레임워크인 SignVLA를 제안한다. 이 시스템은 모듈형 수어-텍스트 인터페이스를 도입하여, 시각적 수어 제스처를 하류 VLA 정책과 호환되는 의미적 지시로 변환한다. 비디오 스트림이 주어지면 SignVLA는 손 랜드마크 특징을 추출하고, 알파벳 및 명령 수준의 수어 인식을 위해 시간적 제스처 역학을 포착하기 위해 어텐션 강화 장단기 메모리(LSTM) 네트워크를 사용한다. 시간적 안정화 모듈은 실시간 상호작용 환경에서 예측 일관성을 더욱 개선한다. 생성된 지시 시퀀스는 수어 조건화 로봇 조작을 위해 하류 VLA 정책으로 전달된다. 실험 결과는 안정적인 실시간 수어 인식과 수어 입력에 의해 구동되는 조작 작업의 성공적 실행을 보여준다. 본 연구 결과는 경량 시간적 수어 인식이 다중모달 체화 지능을 위한 효과적이고 실용적인 접근성 계층으로 기능할 수 있음을 시사한다.
수화는 농인 및 난청인(Deaf and Hard-of-Hearing, DHH) 커뮤니티에서 사용하는 표현력이 풍부한 시각적 언어입니다. 수화 인식, 번역 및 생성 분야에서 상당한 진전이 있었음에도 불구하고, 파편화된 데이터셋(dataset), 불일치하는 주석(annotation), 그리고 제한된 언어적 범위로 인해 발전이 제약받고 있습니다. 기존 벤치마크(benchmark)는 종종 실제 의사소통 요구사항을 반영하지 못하며, 이러한 한계에 대한 체계적인 분석은 여전히 부족합니다. 본 조사에서 우리는 35개 수화에 걸친 120개의 자원을 포괄하는 수화 데이터셋의 포괄적인 색인을 제시합니다. 우리는 모달리티 불균형, 주석 세분성, 수화 사용자 바이어스(bias)와 같은 주요 과제를 분석하고, 향후 데이터셋 설계를 위한 고려사항을 개략적으로 설명합니다. 또한, 우리는 표준화된 문서화와 재현 가능한 평가를 지원하기 위해 24개 필드로 구성된 수화 데이터시트(Sign-Language Datasheet)를 소개하고 공개 GitHub 저장소(https://github.com/Ginqwerty/Open-Sign-Language)를 공개합니다. 전반적으로, 우리의 연구는 실제 응용 프로그램에서 포용적이고 견고하며 확장 가능한 수화 기술을 개발하기 위한 통합적이고 실용적인 기반을 제공합니다.