arXiv:1908.01341

SF-Net: Structured Feature Network for Continuous Sign Language Recognition

Zhaoyang Yang, Zhenmei Shi, Xiaoyong Shen, Yu-Wing Tai

제출 2019-08-04

원문 초록

Continuous sign language recognition (SLR) aims to translate a signing sequence into a sentence. It is very challenging as sign language is rich in vocabulary, while many among them contain similar gestures and motions. Moreover, it is weakly supervised as the alignment of signing glosses is not available. In this paper, we propose Structured Feature Network (SF-Net) to address these challenges by effectively learn multiple levels of semantic information in the data. The proposed SF-Net extracts features in a structured manner and gradually encodes information at the frame level, the gloss level and the sentence level into the feature representation. The proposed SF-Net can be trained end-to-end without the help of other models or pre-training. We tested the proposed SF-Net on two large scale public SLR datasets collected from different continuous SLR scenarios. Results show that the proposed SF-Net clearly outperforms previous sequence level supervision based methods in terms of both accuracy and adaptability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23277v4cs.CL공통 태그 Sentence공식 코드 · Papers with Code

Sentinel: 효율적인 LLM 컨텍스트 압축을 위한 어텐션 프로빙 기반 컨텍스트 활용 해독

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression

검색된 컨텍스트는 길고 잡음이 많으며 중복되는 경우가 많아, 답변 생성에 앞서 질의 인식 압축이 필요하다. 네이티브 어텐션은 컨텍스트 선택을 위한 신호를 제공하지만, 헤드마다 동작이 이질적이어서 이를 문장 유용도 점수로 직접 집계하기가 복잡하다. 본 논문은 층과 헤드에 걸친 부호 있는 선형 리드아웃을 통해 이러한 신호를 결합하도록 학습하는 문장 수준 압축기 Sentinel을 제안한다. 기존 QA 근거 주석을 사용하여 리드아웃만 학습하며, 백본은 고정된 상태로 유지되고 문장 점수 산정에는 자기회귀 생성이 필요하지 않다. 12개의 LongBench 과제 전반에서, 0.5B 백본을 사용하는 Sentinel은 2,000 토큰 예산 조건에서 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, DeepSeek V4.1 Flash의 세 리더 각각에 대해 여러 과제에서 전체 컨텍스트(Full Context)보다 우수한 성능을 보인다. 영어 전용 QA 지도만 사용했음에도 동일한 리드아웃이 과제별 재학습 없이 중국어 과제로 전이된다. 길이별 계층화 프로파일링에서도 LLMLingua-2 및 CPC보다 압축 지연 시간과 GPU 메모리 사용량이 더 낮음을 확인했다.

arXiv:2505.10267v2cs.CV공통 태그 Sign Language Recognition공식 코드 · Papers with Code

HandReader: 효율적인 지문자 인식을 위한 고급 기법

HandReader: Advanced Techniques for Efficient Fingerspelling Recognition

지문자는 수어(SL)의 중요한 구성 요소로, 고유명사를 표현할 수 있게 하며 수화 중 빠른 손동작이 특징이다. 기존의 지문자 인식 연구는 영상의 시간 차원을 처리하는 데 초점을 맞추어 왔으나, 이러한 접근법의 정확도를 개선할 여지는 여전히 남아 있다. 본 논문은 지문자 인식 과제를 해결하기 위해 설계된 세 가지 아키텍처의 묶음인 HandReader를 소개한다. HandReader$_{RGB}$는 새로운 시간 이동 적응 모듈(TSAM)을 사용하여 길이가 다양한 영상의 RGB 특징을 처리하면서 중요한 순차 정보를 보존한다. HandReader$_{KP}$는 키포인트를 텐서로 다루는 제안된 시간적 자세 인코더(TPE)를 기반으로 한다. 이러한 키포인트를 배치로 구성하면 인코더가 이를 2D 및 3D 합성곱 계층에 통과시켜 시간 및 공간 정보를 활용하고 키포인트 좌표를 누적할 수 있다. 또한 RGB와 키포인트 양식의 이점을 모두 얻기 위해 결합 인코더를 갖춘 아키텍처인 HandReader_RGB+KP도 소개한다. 각 HandReader 모델은 고유한 장점을 지니며 ChicagoFSWild 및 ChicagoFSWild+ 데이터셋에서 최고 수준의 결과를 달성한다. 더불어 본 논문에서 제시하는 러시아 지문자 최초의 공개 데이터셋인 Znaki에서도 모델들이 높은 성능을 보인다. Znaki 데이터셋과 HandReader 사전 학습 모델은 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.