arXiv:2012.10930

Guidance Module Network for Video Captioning

Xiao Zhang, Chunsheng Liu, Faliang Chang

제출 2020-12-20

원문 초록

Video captioning has been a challenging and significant task that describes the content of a video clip in a single sentence. The model of video captioning is usually an encoder-decoder. We find that the normalization of extracted video features can improve the final performance of video captioning. Encoder-decoder model is usually trained using teacher-enforced strategies to make the prediction probability of each word close to a 0-1 distribution and ignore other words. In this paper, we present a novel architecture which introduces a guidance module to encourage the encoder-decoder model to generate words related to the past and future words in a caption. Based on the normalization and guidance module, guidance module net (GMNet) is built. Experimental results on commonly used dataset MSVD show that proposed GMNet can improve the performance of the encoder-decoder model on video captioning tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24095v1cs.CV공통 태그 Decoder, Sentence

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2607.05052v1cs.CL공통 태그 Decoder, Sentence

독립 레이블을 넘어서: 인간 가치 탐지를 위한 슈바르츠 기하학적 디코딩

Beyond Independent Labels: Schwartz-Geometry Decoding for Human Value Detection

인간 가치 탐지는 일반적으로 19개의 정제된 슈바르츠 가치에 대한 문장 수준의 다중 레이블 분류(multi-label classification)로 공식화되며, 각 레이블은 독립적으로 예측된다. 그러나 슈바르츠 이론은 이 가치들을 원형의 동기적 연속체(circular motivational continuum)로 설명하며, 인접한 가치는 서로 양립 가능하고 대립하는 가치는 긴장 관계에 있다. 우리는 이 구조를 명시적인 출력 공간 기하학(output-space geometry)으로 구체화하여 하드 제약(hard constraint)이 아닌 소프트 바이어스로 활용할 수 있는지를 탐구한다. DeBERTa-v3-base 분류기를 대상으로, 이를 주입하는 두 가지 방법을 비교한다: 학습 시 기하학 인식 목적 함수(geometry-aware objectives)와 전체 레이블 집합을 공동으로 점수화하는 사후(post-hoc) 슈바르츠 인식 에너지 디코더(Schwartz-aware energy decoder). 5개의 시드에 걸쳐, 학습 시 기하학은 제한적인 성능 향상만을 보이며—진정한 연속체에 대해서도 무작위 순서 대비 더 크지 않은 수준이었다—반면 디코더는 우리가 새롭게 제안하는 이론 인식 일관성 지표에서 레이블 집합을 연속체에 더 일관되게 만들며, 선택 규칙에 의해 Macro-F1 및 Micro-F1은 유지된다. 이 성능 향상은 진정한 슈바르츠 순서에 특정적이며, 동일한 디코더를 통한 무작위 순열이나 경험적 공동 출현 그래프에서는 나타나지 않는다. 제한된 Qwen2.5-72B-Instruct 진단 실험은 추론 시 연속체를 제공하면 동작이 변하지만 지도 학습 기반 구조적 예측에는 미치지 못함을 보여준다. 따라서 이론 인식 디코딩은 가치 탐지를 해당 레이블 공간에 충실하게 만드는 경량의 제어 가능한 방법을 제공한다.

arXiv:2607.02963v1cs.CV공통 태그 Decoder, Video Captioning

옴니-모달 밀집 비디오 캡셔닝을 위한 병렬화된 자기회귀 디코딩

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.