PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01637v1cs.CV

베트남어 시각적 질의응답을 위한 다층 융합 트랜스포머 기반 시각 및 텍스트 표현 융합

Fusing Visual and Textual Representations via Multi-layer Fusing Transformers for Vietnamese Visual Question Answering

최근 수십 년간 인공지능은 이미지를 이해하고 상호작용하는 데 있어 상당한 진전을 이루었습니다. 이러한 기술의 중요한 응용 분야 중 하나는 컴퓨터가 자연스러운 방식으로 이미지에 대한 질문을 이해하고 답하도록 요구하는 연구 분야인 시각적 질의응답(Visual Question Answering, VQA)입니다. 영어 대상의 VQA에 대한 광범위한 연구 및 개발에도 불구하고, 다른 언어, 특히 베트남어에 대해서는 유사한 노력이 거의 이루어지지 않았습니다. 이러한 격차는 베트남어 환경에서 VQA 기술의 발전을 위한 중대한 도전 과제이자 기회를 제공합니다. 이 격차를 해소함으로써 베트남어 VQA 분야는 인공지능 연구의 다양성을 풍부하게 할 뿐만 아니라 전 세계 베트남어 사용자를 대상으로 교육, 의료, 엔터테인먼트 등 다양한 영역에서 실용적인 응용을 가능하게 합니다. 따라서 베트남어 VQA 시스템의 탐험(exploration)과 개발은 컴퓨터 비전과 자연어 처리의 교차점에서 연구와 실용적 응용 모두를 발전시킬 수 있는 막대한 잠재력을 지니고 있습니다. 본 논문에서는 서로 다른 층(layer)의 이미지 및 텍스트가 가진 다중 모달리티 특징을 하나의 통합된 표현으로 결합하기 위해 교차 어텐션(cross attention) 모듈을 활용하는 다층 융합 트랜스포머(Multi-layer Fusing Transformer) 모델을 제안합니다. 제안하는 아키텍처를 통해 저수준부터 고수준까지의 정보를 추출할 수 있습니다. 상세한 실험과 제거 연구(ablation study)를 통해 본 모델은 베트남어 ViVQA 데이터셋에서 경쟁력 있는 베이스라인 대비 유망한 결과를 달성합니다.