인공지능을 활용한 대규모 만화 연구: PAGE 프레임워크와 미국 코믹스 및 일본 만화에 관한 세 가지 연구
Studying Comics at Scale with Artificial Intelligence: The PAGE Framework and Three Studies of American Comics and Japanese Manga
만화는 수십만 쪽에 걸쳐 대중 독자가 당대의 지도자, 전쟁, 영웅을 접했던 20세기의 위대한 시각적 기록 중 하나입니다. 그러나 이러한 기록의 대부분은 전체적인 관점에서 연구된 적이 없으며, 만화학 연구는 책 한 권씩 개별적으로 진행되어 왔습니다. 본 연구에서는 생성형 모델을 포함한 인공지능이 매체 자체의 발전을 위해 이러한 상황을 변화시킬 수 있다고 주장합니다. 우리는 인공지능을 만화 연구의 도구로 활용하는 프레임워크인 PAGE를 제안합니다. 이 프레임워크는 모든 스캔본을 패널, 텍스트, 서지 기록으로 파싱하고, 인간 코더처럼 작성된 코드북을 따르는 비전-언어 모델(vision-language model)로 각 페이지에 주석을 달며, 이러한 판독 결과의 샘플을 인간 주석에 그라운딩(grounding)하고, 출판사와 장르를 통제한 추정치를 바탕으로 아카이브 전반의 변화를 설명합니다. 우리는 서로 다른 역량에 기반한 세 가지 연구를 통해 3,929권의 미국 만화책(1938~1956년)과 87권의 일본 만화에 이 프레임워크를 적용해 보입니다. 첫 번째 연구는 텍스트 검색과 시각적 판독을 결합하여 대중 매체가 정치 권력을 어떻게 묘사했는지 복원합니다. 두 번째 연구는 산업 전반에 걸친 페이지의 시각적 형태를 측정하고 개별 작가의 화풍을 복원합니다. 세 번째 연구는 인간 주석과의 대조 검증을 거쳐 두 만화 전통 전반에서 누가 발화하는지 추적합니다. 연구를 넘어, 동일한 도구를 활용해 그려진 내용을 바탕으로 아카이브를 검색 가능하게 만들고, 시각장애인 및 저시력자 독자에게 만화에 대한 접근성을 제공하며, 훼손되기 쉬운 소장본을 보존하고 이름이 명시되지 않은 작가의 공로를 인정하는 데 도움을 줄 수 있습니다. 마지막으로 우리는 인공지능이 만화라는 매체의 연구, 보존, 영향력 확대를 강화하는 연구 의제를 제시합니다.