PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.10706v3cs.CV

MMArt: 시각 예술 이해를 위한 다중 관점 멀티모달 데이터셋

MMArt: A Multi-Perspective Multimodal Dataset for Visual Art Understanding

최근의 비전-언어 모델(vision-language model)은 인상적인 범용 시각적 이해 능력을 보여주지만, 예술 해석에 있어서는 여전히 피상적인 수준에 머물러 있다. 이러한 모델들은 표면적인 내용은 설명하지만 형식적 분석, 근거 있는 역사적 해석, 또는 정서적 특성화에는 어려움을 겪는다. 우리는 이것이 모델의 한계일 뿐만 아니라 데이터셋의 한계이기도 하다고 주장한다. 기존의 예술 데이터셋은 단일 관점 자원으로, 동일한 작품에 대해 서사적(narrative), 형식적(formal), 정서적(emotional), 역사적(historical) 관점을 동시에 제공하는 데이터셋은 존재하지 않는다. 우리는 74,234점의 WikiArt 회화로 구성된 대규모 데이터셋인 MMArt를 소개한다. 각 작품에는 독립적으로 주석이 달린 네 가지 관점과 이를 통합한 캡션이 함께 제공되며, 이는 특화된 비전-언어 모델 또는 사람에 의한 주석(annotation)을 통해 생성되고 상호 보완적인 품질 평가를 통해 검증되었다. 두 가지 상보성(complementarity) 분석을 통해 각 관점이 실제로 서로 다른 정보를 담고 있음을 입증하였다. 생성적(generative) 분석 결과, 형식적 분석 설명이 구성적 스타일을 가장 잘 보존하며, 역사적 설명은 재구성된 이미지에서 강한 정서적 신호를 담고 있는 것으로 나타났다. 판별적(discriminative) 검색 분석은 과제 간 비대칭성을 드러낸다. 서사적 설명은 검색 성능을 견인하는 반면(R@1 = 44.0%), 재구성에서는 가장 강력했던 형식적 설명은 검색 규모에서는 거의 판별력을 갖지 못한다(R@1 = 7.8%). Leave-one-out 분석은 나아가 역사적 설명이 두 과제 모두에서 가장 대체하기 어려운 관점임을 확인시켜 준다. 두 분석을 종합하면, 단일 관점만으로는 모든 과제에 충분하지 않음이 입증되며, 이는 MMArt의 다중 관점(multi-perspective) 설계를 직접적으로 뒷받침한다. 데이터셋, 코드, 추가 정보는 https://shuaiwang97.github.io/MMArt/ 에서 확인할 수 있다.

arXiv:2607.11341v1cs.CL

The In-Car Sign Language Corpus (ICSL): A Multi-Modal Resource for Constrained-Space Sign Language Recognition

This paper addresses the challenges of using sign language within shared mobility services, such as taxis, carpools, or ride-sharing platforms. The use of sign language recognition (SLR) in real-world, confined environments, specifically vehicle interiors remains largely unexplored. To motivate research in this area, we present the In-Car Sign Language (ICSL) dataset for Brazilian Sign Language (Libras), with the long-term goal of improving public transport accessibility for the Deaf and Hard-of-Hearing community. The dataset consists of: (1) high-precision laboratory motion capture (MoCap) data to establish an idealized linguistic baseline and (2) real-world multi-modal in-car recordings captured using a 2D camera and 3D Time-of-Flight sensors. The dataset provides a basis for comparative analyses between synthesized signing avatar animations and recorded real signing interpreter videos, which enable future research into robust "in-the-wild" SLR models and domain adaptation. We describe in detail the use cases, the setup, the data collection protocol, and the metadata structure of the corpus. In total, we recorded a multimodal dataset exceeding 1.5 million frames, comprising the synchronized multimodal streams described above featuring Libras users across various in-car scenarios. The corpus is provided with gloss annotation of lexical signs and non-lexical sign language elements specially designed to support the training and evaluation of deep neural networks for constrained space recognition. In-vehicle signing offers a technically significant example of a constrained, occluded, and non-frontal environment. While recognizing the diverse communication strategies already employed by the Deaf community, identifying automotive-specific limitations provides a useful stepping stone for research into enhancing in-car accessibility and passenger quality of life.

arXiv:2607.10287v1cs.CV

InterPet4D: 반려동물 모션 생성을 위한 멀티모달 4D 인간-반려동물 상호작용 데이터셋

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

인간-반려동물 상호작용 추정 및 생성은 고품질 대규모 데이터셋의 부재로 인해 충분히 연구되지 않은 분야입니다. 우리는 인간과 개 사이의 자연스러운 상호작용을 포착한 최초의 멀티모달 데이터셋인 InterPet4D를 제시합니다. 동기화된 다중 시점 캡처 시스템을 사용하여 인간-개 복종 훈련 장면을 녹화하고, 다중 시점 및 에고센트릭 영상, 세그멘테이션, 2D 및 3D 키포인트, 메시, 오디오 트랙을 포함한 인간과 개 각각에 대한 어노테이션을 제공합니다. InterPet4D는 23명의 인간 참가자와 상호작용하는 11개 품종의 개 13마리로부터 수집한 680만 프레임으로 구성됩니다. 나아가 인간-반려동물 상호작용 모션 생성을 위한 InterPetMoGen 프레임워크를 소개합니다. 제안한 모델은 FID 점수 11.21을 달성하며 Seq2Seq 및 DiT 베이스라인을 크게 상회하여, 현실적인 인간-반려동물 상호작용 모델링에 있어 InterPet4D의 효과성을 입증합니다.

arXiv:2606.31980v1cs.CL

DigitalCoach: 인간과 에이전트 기반 컴퓨터 사용 코칭에서의 소통 및 그라운딩 격차

DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching

인간 전문가-초보자 간 컴퓨터 사용 코칭 세션 72개, 22,752개의 대화 턴, 28.1시간의 화면 녹화로 구성된 멀티모달 데이터셋 DigitalCoach를 소개하며, 이를 통해 최신 모델의 코칭 능력을 평가한다. 평가 결과 모델은 인간에 비해 직접 지시는 많지만 설명·오류 진단·시각적 그라운딩이 부족하여, 학습자가 수동적으로 지시를 따르게 하는 커뮤니케이션 및 그라운딩 격차가 확인되었다.

arXiv:2606.31069v1cs.CL

키워드 추출을 위한 학술 논문 멀티모달 데이터셋 구축

Building a Multimodal Dataset of Academic Paper for Keyword Extraction

지금까지 키워드 추출 태스크는 주로 텍스트 데이터에만 의존해 왔다. 이미지와 오디오 모달리티의 시각적 세부 정보 및 음성 특징을 무시하면 정보 풍부성이 저하되고 잠재적 상관관계가 간과되어, 모델의 데이터 표현 학습 능력과 예측 정확도가 제한된다. 또한 키워드 추출 태스크를 위한 멀티모달 데이터셋은 현재 매우 부족하여 멀티모달 키워드 추출 연구의 진전을 저해하고 있다. 이에 본 연구는 1,000개의 샘플로 구성된 학술 논문 멀티모달 데이터셋을 구축하였으며, 각 샘플에는 논문 텍스트, 이미지, 오디오 및 키워드가 포함된다. 비지도 및 지도 방식의 키워드 추출 방법을 바탕으로, 논문 텍스트 데이터와 이미지 및 오디오에서 추출한 텍스트를 활용하여 실험을 수행하였다. 목표는 서로 다른 모달 정보 및 멀티모달 정보 융합에 따른 키워드 추출 성능 차이를 분석하는 것이다. 실험 결과, 서로 다른 모달리티의 텍스트는 모델 내에서 고유한 특성을 나타냄을 확인하였다. 논문 텍스트, 이미지 텍스트, 오디오 텍스트를 연결(concatenation)하면 학술 논문의 키워드 추출 성능을 효과적으로 향상시킬 수 있다.

arXiv:2605.25806v2cs.CV

여성 안전에 초점을 맞춘 분석: 멀티모달 데이터셋으로 VAD 모델을 향상시킬 수 있는가?

An Analysis Focused on Womens Safety: Can VAD Models Be Enhanced by a Multi-modal Dataset?

현대 사회에서 여성의 안전과 보안은 매우 중요하다. 여성 대상 범죄는 낮 시간뿐만 아니라 저조도 조건에서도 발생한다. 이러한 사건은 종종 낮은 해상도로 작동하는 실제 감시 카메라를 통해 촬영된다. 컴퓨터 비전(CV) 관련 연구가 상당한 진전을 이루었음에도, 여성 안전에 초점을 맞춘 비디오 이상 탐지(VAD)는 아직 충분히 다루어지지 않았다. 기존 비디오 이상 데이터셋은 조명이 좋고 고해상도의 클로즈업 영상으로 구성되어 있으며, chain snatching, 스토킹, 부적절한 접촉 및 기타 미묘한 형태의 여성 대상 범죄와 같은 여성 중심 이상(anomaly)을 반영하지 못한다. 이러한 문제를 해결하기 위해, 우리는 1001개의 영상(텍스트 설명 포함, 정상 500개, 이상 501개)으로 구성되고 5가지 유형의 여성 중심 범죄로 분류된 새로운 멀티모달 벤치마크인 ExtrAnom 데이터셋을 제안한다. 데이터셋은 저조도(8%), 저해상도 영상(13%), 롱샷(15%), 낮 시간 이상 영상(64%)을 포함한다. 또한 스토킹(3.9%), chain snatching(17.6%), 납치(7.3%), 암살(2.3%), 괴롭힘(18.9%), 정상(50%)과 같은 이벤트를 포함한다. 각 영상에는 사람이 생성한 설명 1개와 대규모 언어 모델(LLM)이 생성한 설명 3개를 포함하여 총 4개의 텍스트 주석이 보완되어, 교차 모달 및 VLM 기반 검증을 가능하게 한다. 여성 중심 데이터셋을 만드는 목적은 시각적으로 관찰 가능한 여성 중심 이상 패턴을 정확하게 탐지하는 것이다. 데이터셋은 VLM이 영상 수준의 설명을 정확하게 생성할 수 있도록 보완한다. ExtrAnom은 인기 있는 단일 모달 및 멀티모달 VAD 데이터셋(예: XD-Violence, UCF-Crime, UCA)과 SOTA 방법들에 대해 벤치마크되었다. 실험 결과, 기존 데이터셋은 여성 중심 이상을 탐지하기 위한 모델 학습에 불충분함을 보여준다.