MMArt: 시각 예술 이해를 위한 다중 관점 멀티모달 데이터셋
MMArt: A Multi-Perspective Multimodal Dataset for Visual Art Understanding
한국어 초록
최근의 비전-언어 모델(vision-language model)은 인상적인 범용 시각적 이해 능력을 보여주지만, 예술 해석에 있어서는 여전히 피상적인 수준에 머물러 있다. 이러한 모델들은 표면적인 내용은 설명하지만 형식적 분석, 근거 있는 역사적 해석, 또는 정서적 특성화에는 어려움을 겪는다. 우리는 이것이 모델의 한계일 뿐만 아니라 데이터셋의 한계이기도 하다고 주장한다. 기존의 예술 데이터셋은 단일 관점 자원으로, 동일한 작품에 대해 서사적(narrative), 형식적(formal), 정서적(emotional), 역사적(historical) 관점을 동시에 제공하는 데이터셋은 존재하지 않는다. 우리는 74,234점의 WikiArt 회화로 구성된 대규모 데이터셋인 MMArt를 소개한다. 각 작품에는 독립적으로 주석이 달린 네 가지 관점과 이를 통합한 캡션이 함께 제공되며, 이는 특화된 비전-언어 모델 또는 사람에 의한 주석(annotation)을 통해 생성되고 상호 보완적인 품질 평가를 통해 검증되었다. 두 가지 상보성(complementarity) 분석을 통해 각 관점이 실제로 서로 다른 정보를 담고 있음을 입증하였다. 생성적(generative) 분석 결과, 형식적 분석 설명이 구성적 스타일을 가장 잘 보존하며, 역사적 설명은 재구성된 이미지에서 강한 정서적 신호를 담고 있는 것으로 나타났다. 판별적(discriminative) 검색 분석은 과제 간 비대칭성을 드러낸다. 서사적 설명은 검색 성능을 견인하는 반면(R@1 = 44.0%), 재구성에서는 가장 강력했던 형식적 설명은 검색 규모에서는 거의 판별력을 갖지 못한다(R@1 = 7.8%). Leave-one-out 분석은 나아가 역사적 설명이 두 과제 모두에서 가장 대체하기 어려운 관점임을 확인시켜 준다. 두 분석을 종합하면, 단일 관점만으로는 모든 과제에 충분하지 않음이 입증되며, 이는 MMArt의 다중 관점(multi-perspective) 설계를 직접적으로 뒷받침한다. 데이터셋, 코드, 추가 정보는 https://shuaiwang97.github.io/MMArt/ 에서 확인할 수 있다.
원문 초록
Recent vision-language models demonstrate impressive general visual understanding, yet their art interpretation remains shallow: they describe surface content but struggle with formal analysis, grounded historical interpretation, or affective characterization. We argue this is not only a model but also a dataset limitation. Existing art datasets are single perspective resources, where no dataset provides narrative, formal, emotional, and historical perspectives simultaneously for the same artworks. We introduce MMArt, a large-scale dataset of 74,234 WikiArt paintings, each annotated with four independently annotated perspectives plus a harmonized unified caption, produced by specialized vision-language models or human annotation and validated through complementary quality evaluations. Two complementarity analyses establish that perspectives encode genuinely distinct information. A generative analysis shows that formal analysis descriptions best preserve compositional style, and historical descriptions carry strong affective signal in reconstructed images. A discriminative retrieval analysis reveals task-asymmetry: narrative descriptions drive retrieval (R@1 = 44.0%), while formal descriptions, strongest for reconstruction, are nearly nondiscriminative at retrieval scale (R@1 = 7.8%). Leave-one-out analysis further confirms that historical descriptions are the least replaceable perspective across both tasks. Together, the two analyses establish that no single perspective suffices for all tasks, directly motivating MMArt multi-perspective design. The dataset, code, and additional information are available at https://shuaiwang97.github.io/MMArt/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.10706v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성
Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks
뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.
MarsRecon: 화성을 위한 자기지도 및 멀티모달 표면 표현
MarsRecon: Self-Supervised and Multimodal Surface Representations for Mars
고해상도 궤도 영상은 화성 표면에 대한 풍부한 기록을 제공하지만, 지질학적 라벨의 희소성으로 인해 지도 학습 기반의 표현 학습(representation learning)에는 한계가 있다. 본 논문에서는 올림푸스 산(Olympus Mons)의 HiRISE 관측 자료로부터 시각 및 멀티모달(multimodal) 표현을 학습하기 위한 지리공간 인지형 파이프라인인 MarsRecon을 제시한다. 이 파이프라인은 NASA Planetary Data System 데이터를 캘리브레이션하고, 유효한 지리참조 패치를 추출하며, 라벨이 없는 영상에 대해 마스크드 오토인코더(masked autoencoder)를 학습한다. 주요 Stage A 모델 시리즈에서 입력 해상도를 높이고 유효하지 않은 토큰(token)을 필터링함으로써 홀드아웃 재구성 손실을 0.1751에서 0.1342로 감소시켰다. 이어 시각 인코더를 동결(freeze)하고 해당 특징을 관측 텍스트, 좌표, 국소-전역(local-global) 이미지 컨텍스트와 정렬한다. 현재 가장 성능이 뛰어난 국소 우선(local-primary) 모델은 홀드아웃 테스트 분할에서 0.3787의 이미지-텍스트 recall@10(재현율@10), 0.9161의 텍스트-이미지 recall@10, 0.4350의 국소-전역 recall@10을 달성한다. 이러한 결과는 화성에 특화된 실용적인 사전학습(pre-training) 및 검색 파이프라인을 구축함을 보여주며, 해당 임베딩(embedding)의 더 폭넓은 유용성을 평가하기 위해서는 추가적인 크롭 중첩 제어 및 다운스트림 지질학적 평가가 필요하다.
참조 캡션을 넘어선 캡션 평가를 위한 재구성 기반 프레임워크
A Reconstruction-Based Framework for Caption Evaluation Beyond Reference Captions
이미지 캡셔닝(image captioning)은 비전-언어(vision-language) 연구의 핵심 과제이지만, 참조 캡션에 의존하지 않고 캡션이 이미지 의미를 얼마나 충실히 보존하는지 평가하는 문제는 아직 해결되지 않았다. 지배적인 평가 방식은 사람이 주석 단한 참조에 의존하며, 그 내용은 주석자의 의도와 캡셔닝 숙련도를 반영한다. 본 논문에서는 캡션 평가를 위한 재구성 기반 원칙을 연구한다: 캡션은 원본 이미지의 재구성을 가능하게 하는 능력만큼 좋다. 그러나 캡셔닝은 본질적으로 시각 정보를 압축하기 때문에 모든 세부 사항을 복원하는 것은 불가능하며, 재구성된 이미지와 원본 이미지 간의 픽셀 단위 비교는 실현 가능하지도 의미 있지도 않다. 캡션의 본질—근본적 목적은 이미지의 의미적 내용을 전달하는 것—에 대한 심층 분석을 통해, 우리는 수정된 원칙을 제안한다: 캡션은 원본과 의미적으로 동등한 재구성을 가능하게 하는 능력만큼 좋다. 의미적 동등성을 평가하기 위해, 우리는 다양한 하위 비전-언어 태스크에서 재구성이 원본 이미지와 일치하는지 검증하여 참조 없는(reference-free), 태스크 조건(task-conditioned) 캡션 점수를 도출한다. 우리는 구성 요소별 한계를 규명하고, 저비용 Captioning Turing Test 데이터셋(CTTD) 대리(surrogate) 방법을 도입한다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double
캡션 병목 모델
Caption Bottleneck Models
개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.