PRISM: 멀티모달 유추를 측정하고 개선하기 위한 범주론적 프레임워크
PRISM: A Category-Theoretic Framework for Measuring and Refining Multimodal Analogies
유추적 추론(analogical reasoning)은 서로 다른 도메인 간의 관계 구조를 식별하고 보존하는 것을 수반합니다. 그러나 AI 기반 멀티모달 유추 생성에 대한 기존 접근 방식들은 생성된 결과물에서 이러한 구조가 이해되고 유지되는지 여부를 해석 가능하게 측정하는 방법이 부족합니다. 본 논문에서는 시각적 은유 생성을 통해 평가된, 멀티모달 유추에서 관계적 정렬을 측정하고 개선하기 위한 모달리티 독립적(modality-agnostic) 프레임워크인 PRISM(Pullback Refinement via Interpretable Structural Mapping)을 제안하여 이러한 공백을 해결합니다. PRISM은 유추를 범주론(category theory)에 기반한 명시적인 관계 매핑으로 표현하며, 비전-언어 모델(VLM)을 활용하여 여러 모달리티에 걸쳐 이러한 구조를 인스턴스화합니다. 첫 번째 구성 요소인 풀백 점수(pullback score)는 결과 그래프 표현으로부터 관계적 정렬을 정량화합니다. AnaloBench 벤치마크에서 풀백 점수만으로 올바른 유추를 선택했을 때 82.5%의 정확도를 달성하여 해당 점수가 유의미한 관계 정보를 포착함을 입증했습니다. PRISM의 두 번째 구성 요소는 풀백 점수를 문맥 내 피드백(in-context feedback) 신호로 사용하여 생성된 이미지가 더 깊은 관계적 깊이를 갖도록 반복적으로 수정하는 반복 정제 루프(iterative refinement loop)입니다. VLM 기반 평가(VLM-as-a-judge) 및 인간 평가 결과, PRISM은 제로샷(zero-shot) 생성 대비 은유 일관성과 유추 적절성을 지속적으로 향상시키며, 쌍별 비교에서 인간 참가자의 57.65%가 정제된 결과물을 선호했습니다. 그러나 정성적 분석에 따르면 이러한 정제 과정이 진정으로 더 깊은 관계적 대응보다는 시각적으로 복잡하게 얽힌 구성을 선호하게 만들 수도 있음을 보여줍니다.