arXiv:1709.09118

Tensor Product Generation Networks for Deep NLP Modeling

Qiuyuan Huang, Paul Smolensky, Xiaodong He, Li Deng, Dapeng Wu

제출 2017-09-26

원문 초록

We present a new approach to the design of deep networks for natural language processing (NLP), based on the general technique of Tensor Product Representations (TPRs) for encoding and processing symbol structures in distributed neural networks. A network architecture --- the Tensor Product Generation Network (TPGN) --- is proposed which is capable in principle of carrying out TPR computation, but which uses unconstrained deep learning to design its internal representations. Instantiated in a model for image-caption generation, TPGN outperforms LSTM baselines when evaluated on the COCO dataset. The TPR-capable structure enables interpretation of internal representations and operations, which prove to contain considerable grammatical content. Our caption-generation model can be interpreted as generating sequences of grammatical categories and retrieving words by their categories from a plan encoded as a distributed representation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.20091cs.CV공통 태그 Caption Generation공식 코드 · Papers with Code

VideoMultiAgents: A Multi-Agent Framework for Video Question Answering

비디오 질문 응답(Video Question Answering, VQA)은 본질적으로 시각적, 시간적, 언어적 단서를 통합하여 비디오 콘텐츠에 대한 더 깊은 이해를 달성하는 다중 모달 추론에 의존합니다. 그러나 기존의 많은 방법들은 프레임 수준의 캡션을 단일 모델에 입력하는 방식에 의존하여 시간적 및 상호작용적 맥락을 적절히 포착하기 어렵습니다. 이러한 한계를 해결하기 위해, 우리는 비디오 멀티 에이전트(VideoMultiAgents)라는 프레임워크를 소개합니다. 이 프레임워크는 비전, 장면 그래프 분석, 텍스트 처리를 위한 전문화된 에이전트를 통합하여 보완적인 다중 모달 추론을 활용하여 비디오 이해를 향상시킵니다. 우리의 접근 방식은 또한 주어진 쿼리와 직접적으로 관련된 객체, 행동 및 시간적 전환을 강조하는 캡션을 생성하는 질문 유도 캡션 생성으로 보완되어 답변 정확성을 향상시킵니다. 실험 결과, 우리의 방법이 Intent-QA에서 79.0% (+6.2% 이전 SOTA 대비), EgoSchema 하위 집합에서 75.4% (+3.4%), NExT-QA에서 79.6% (+0.4%)의 최첨단 성능을 달성함을 보여줍니다. 소스 코드는 https://github.com/PanasonicConnect/VideoMultiAgents에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.