$M^3 QuestionIng$: 멀티모달 멀티스팬 의료 질의응답
$M^3 QuestionIng$: Multi-modal Multi-span Medical Question Answering
의료 분야, 특히 예방 의료에서의 AI 도입이 증가함에 따라 의료 질의응답(MedQA)의 접근성과 정밀도에 대한 필요성이 부각되고 있다. 최근 몇 년간, 쿼리에 대한 답변이 원본 문서의 여러 섹션 또는 단락에 걸쳐 있을 수 있는 멀티스팬 의료 질의응답 시스템 개발에 상당한 노력이 기울여졌다. 그러나 기존 시스템들은 원본 문서에 텍스트와 시각적 콘텐츠가 모두 포함되어 있고 더 나은 이해를 위해 이미지를 포함한 답변이 필요한 실제 시나리오와 부합하지 못한다. 이러한 격차를 해소하기 위해, 우리는 다양한 텍스트 및 시각적 스팬에서 추출된 포괄적인 답변 생성을 강화하기 위해 시각적 단서를 활용하는 멀티모달 멀티스팬 의료 질의응답 프레임워크인 $M^3QAFrame$을 제안한다. 이 모델은 컨텍스트, 쿼리, 이미지를 입력으로 받아 텍스트 답변과 관련 이미지를 모두 포함한 답변을 출력한다. 텍스트 및 이미지 임베딩은 트랜스포머 기반 아키텍처를 통해 처리되어 문장 및 이미지 관련성을 판단한다. 우리는 쿼리, 의료 컨텍스트, 관련 의료 이미지, 추출적 답변을 포함하는 멀티모달 멀티스팬 의료 질의응답($M^3 QuestionIng$) 데이터셋을 구축하였다. 또한, 쿼리와 컨텍스트 이해를 향상시키기 위해 각 쿼리-답변 쌍에 사용자 의도와 쿼리 유형이 레이블링되었다. 광범위한 실험을 통해, 우리의 접근 방식이 다양한 평가 지표에서 기존 방법들을 일관되게 능가함을 확인하였다.