arXiv:2610.13840v1 cs.AI

인공지능을 활용한 대규모 만화 연구: PAGE 프레임워크와 미국 코믹스 및 일본 만화에 관한 세 가지 연구

Studying Comics at Scale with Artificial Intelligence: The PAGE Framework and Three Studies of American Comics and Japanese Manga

Emilio Ferrara

제출 2026-10-09

한국어 초록

만화는 수십만 쪽에 걸쳐 대중 독자가 당대의 지도자, 전쟁, 영웅을 접했던 20세기의 위대한 시각적 기록 중 하나입니다. 그러나 이러한 기록의 대부분은 전체적인 관점에서 연구된 적이 없으며, 만화학 연구는 책 한 권씩 개별적으로 진행되어 왔습니다. 본 연구에서는 생성형 모델을 포함한 인공지능이 매체 자체의 발전을 위해 이러한 상황을 변화시킬 수 있다고 주장합니다. 우리는 인공지능을 만화 연구의 도구로 활용하는 프레임워크인 PAGE를 제안합니다. 이 프레임워크는 모든 스캔본을 패널, 텍스트, 서지 기록으로 파싱하고, 인간 코더처럼 작성된 코드북을 따르는 비전-언어 모델(vision-language model)로 각 페이지에 주석을 달며, 이러한 판독 결과의 샘플을 인간 주석에 그라운딩(grounding)하고, 출판사와 장르를 통제한 추정치를 바탕으로 아카이브 전반의 변화를 설명합니다. 우리는 서로 다른 역량에 기반한 세 가지 연구를 통해 3,929권의 미국 만화책(1938~1956년)과 87권의 일본 만화에 이 프레임워크를 적용해 보입니다. 첫 번째 연구는 텍스트 검색과 시각적 판독을 결합하여 대중 매체가 정치 권력을 어떻게 묘사했는지 복원합니다. 두 번째 연구는 산업 전반에 걸친 페이지의 시각적 형태를 측정하고 개별 작가의 화풍을 복원합니다. 세 번째 연구는 인간 주석과의 대조 검증을 거쳐 두 만화 전통 전반에서 누가 발화하는지 추적합니다. 연구를 넘어, 동일한 도구를 활용해 그려진 내용을 바탕으로 아카이브를 검색 가능하게 만들고, 시각장애인 및 저시력자 독자에게 만화에 대한 접근성을 제공하며, 훼손되기 쉬운 소장본을 보존하고 이름이 명시되지 않은 작가의 공로를 인정하는 데 도움을 줄 수 있습니다. 마지막으로 우리는 인공지능이 만화라는 매체의 연구, 보존, 영향력 확대를 강화하는 연구 의제를 제시합니다.

원문 초록

Comics are one of the great visual records of the twentieth century: hundreds of thousands of pages in which a mass readership saw its leaders, its wars and its heroes. Most of this record has never been studied as a whole; comics scholarship proceeds one book at a time. We argue that artificial intelligence, including generative models, can change this to the benefit of the medium itself. We propose PAGE, a framework that makes artificial intelligence an instrument for comics research. It parses every scan into panels, text and a bibliographic record; annotates each page with a vision-language model that follows a written codebook, as a human coder would; grounds samples of these readings in human annotation; and explains change across an archive, with estimates controlled for publisher and genre. We demonstrate the framework on 3,929 American comic books (1938--1956) and 87 volumes of Japanese manga, in three studies, each resting on a different capability. The first pairs text search with visual reading to recover how a mass medium portrayed political power. The second measures the page's visual form across an industry and recovers the hand of individual artists. The third follows who speaks across two comics traditions, checked against human annotation. Beyond research, the same instruments can make archives searchable by what is drawn, open comics to blind and low-vision readers, and help preserve fragile collections and credit uncredited artists. We outline a research agenda in which artificial intelligence strengthens the study, preservation and reach of the medium.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13840v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.16839v4cs.CV공통 태그 vision-language model공식 코드 · Papers with Code

LaViDa: 멀티모달 이해를 위한 대규모 디퓨전 언어 모델

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.

arXiv:2607.12818v3cs.CV공통 태그 vision-language model

Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning

시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.

arXiv:2607.10130v2cs.CV공통 태그 vision-language model

TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.

arXiv:2510.04532v3cs.AI공통 태그 vision-language model

보이는 것 그 이상인가? 비전-언어 주행 모델 학습에서 추론과 계획 간의 단절 규명

More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models

비전-언어 모델(VLM) 기반 주행 에이전트는 자연어 추론을 먼저 생성한 뒤 궤적 계획을 예측함으로써 설명 가능한 엔드투엔드 자율주행을 실현할 것으로 기대받고 있습니다. 그러나 계획이 이러한 추론에 의해 인과적으로 구동되는지는 매우 중요하지만 검증되지 않은 가정으로 남아 있습니다. 이를 조사하기 위해, 본 연구에서는 nuPlan으로부터 자동 생성된 계획 정렬 사고의 연쇄(CoT)를 포함하는 대규모 주행 시각적 질의응답(VQA) 코퍼스인 DriveMind를 구축합니다. 본 데이터 생성 과정은 센서와 어노테이션을 정형화된 입력으로 변환하며, 특히 사전 정보(prior)와 추론 대상 신호를 분리하여 명확한 정보 절제(ablation)를 가능하게 합니다. DriveMind를 사용하여 지도 미세조정(SFT) 및 그룹 상대 정책 최적화(GRPO)로 대표적인 VLM 에이전트를 학습시키고 nuPlan 메트릭으로 평가합니다. 안타깝게도 실험 결과는 추론-계획 간의 일관된 인과적 단절을 나타냅니다. 자차(ego)/내비게이션 사전 정보를 제거하면 계획 점수가 크게 하락하는 반면, CoT를 제거해도 점수 변화는 미미합니다. 어텐션 분석 또한 계획 단계가 CoT보다는 주로 사전 정보에 집중함을 보여줍니다. 이러한 증거를 바탕으로, 본 연구는 학습을 통해 산출된 추론이 인과적 매개체가 아니라 부수적인 부산물에 불과하다고 상정하는 '추론-계획 분리 가설(Reasoning-Planning Decoupling Hypothesis)'을 제안합니다. 효율적인 진단을 위해, 사소한 입력 섭동에 대한 계획 강건성을 평가하여 에이전트의 사전 정보 의존도를 측정하는 새로운 학습 무관(training-free) 프로브를 도입합니다. 요약하자면, 본 연구는 향후 모델의 인과적 충실성을 평가할 수 있는 새로운 데이터셋과 진단 도구를 커뮤니티에 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.