PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2407.07111v2cs.CV공식 코드 · Papers with Code

확산 모델 기반 비디오 편집: 서베이

Diffusion Model-Based Video Editing: A Survey

확산 모델(Diffusion Models, DM)의 급격한 발전은 이미지 및 비디오 응용 분야를 크게 발전시켜 "원하는 것을 그대로 보는 것(what you want is what you see)"을 현실로 만들었습니다. 이 중 비디오 편집은 상당한 주목을 받으며 연구 활동이 급증하고 있어, 기존 문헌에 대한 포괄적이고 체계적인 검토가 필요한 시점입니다. 본 논문은 이론적 토대와 실질적인 응용을 포함한 확산 모델 기반 비디오 편집 기법을 검토합니다. 먼저 수학적 정식화와 이미지 도메인의 주요 방법들을 개괄합니다. 이어서 핵심 기술 간의 고유한 연결성을 바탕으로 비디오 편집 접근법을 분류하여 발전 궤적을 묘사합니다. 또한 본 논문은 포인트 기반 편집과 포즈 유도 인간 비디오 편집을 비롯한 새로운 응용 분야도 다룹니다. 아울러 새로 소개하는 V2VBench를 사용한 종합적인 비교를 제시합니다. 본 논문은 지금까지 달성된 진전을 기반으로, 현재 직면한 과제와 향후 연구를 위한 잠재적 방향을 제시하며 마무리합니다.

arXiv:2410.22046v4cs.SD공식 코드 · Papers with Code

CHORDONOMICON: 666,000곡과 해당 화음 진행으로 구성된 데이터셋

CHORDONOMICON: A Dataset of 666,000 Songs and their Chord Progressions

화음 진행(chord progression)은 음악의 구조 및 전달되는 감정과 관련된 중요한 정보를 담고 있습니다. 이는 음악 작곡의 중추 역할을 하며, 많은 경우 음악가가 음악을 따라 연주하는 데 필요한 유일한 정보이기도 합니다. 이러한 중요성에도 불구하고, 데이터 도메인으로서의 화음 진행은 여전히 충분히 탐색되지 않았습니다. 기존 데이터셋은 음악 이해 모델을 엄격하게 평가(evaluation)하는 데 필요한 규모, 구조적 주석, 메타데이터 다양성이 부족합니다. 본 연구에서는 사용자 생성 진행 및 관련 메타데이터의 다양한 소스를 스크래핑하여 제작되었으며, 널리 확립된 이전 데이터셋들과 강한 유사성을 보이는 666,000개 이상의 곡 수준 심볼릭 화음 진행을 포함하는 해당 분야 최대 규모의 데이터셋인 Chordonomicon을 제시합니다. 이 데이터셋은 구조적 파트(verse, chorus, bridge 등), 장르, 발매일로 주석이 달려 있습니다. 데이터셋 자체를 넘어, 엄격한 완전 일치(exact-match) 평가 기준 하에 여러 컨텍스트 윈도우(context window) 크기와 데이터 규모에 걸쳐 세 가지 시퀀스 모델링 아키텍처(RNN, GRU, LSTM)를 평가하는 다음 화음 예측을 위한 재현 가능한 벤치마크(benchmark) 스위트를 제안합니다. 실험 결과, 구조적 파트 주석이 예측 성능을 일관되게 향상시키는 것으로 나타났습니다. Chordonomicon은 화음 예측, 분류(classification), 생성 등을 다루는 향후 연구의 공정하고 재현 가능한 비교를 지원하기 위해 분할 방법론, 베이스라인, 평가 프로토콜을 함께 제공하는 공개 벤치마크로 출시됩니다.

arXiv:2412.02575v3cs.CV공식 코드 · Papers with Code

원격 탐사 영상을 위한 카피-무브 위조 탐지 및 질의응답

Copy-Move Forgery Detection and Question Answering for Remote Sensing Image

토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.

arXiv:2411.19537v4cs.CV공식 코드 · Papers with Code

생성 AI 시대의 딥페이크 미디어 생성 및 탐지: 서베이와 전망

Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook

딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.

arXiv:2405.12775v2cs.MM공식 코드 · Papers with Code

다중모달 발화에서 의미 발견을 위한 비지도 다중모달 클러스터링

Unsupervised Multimodal Clustering for Semantics Discovery in Multimodal Utterances

다중모달 발화의 의미를 발견하는 것은 인간 언어를 이해하고 인간-기계 상호작용을 향상시키는 데 필수적이다. 기존 방법들은 비지도 시나리오에서 복잡한 의미를 식별하기 위해 비언어적 정보를 활용하는 데 한계를 보인다. 본 논문은 이 분야에 선구적인 기여를 하는 새로운 비지도 다중모달 클러스터링 방법(UMC)을 제안한다. UMC는 다중모달 데이터에 대한 증강 뷰(augmentation views)를 구성하는 독특한 접근법을 도입하며, 이를 통해 후속 클러스터링을 위한 잘 초기화된 표현을 확립하기 위한 사전학습을 수행한다. 각 샘플의 최근접 이웃 밀도에 따라 고품질 샘플을 동적으로 선택하여 표현 학습의 지침으로 활용하는 혁신적인 전략을 제안한다. 또한 각 클러스터에서 top-$K$ 매개변수의 최적값을 자동으로 결정하여 샘플 선택을 정제할 수 있다. 마지막으로, 고품질과 저품질 샘플을 모두 사용하여 효과적인 클러스터링에 유리한 표현을 학습한다. 벤치마크 다중모달 의도(intent) 및 대화 행위(dialogue act) 데이터셋에 기준선(baseline)을 구축한다. UMC는 최신(state-of-the-art) 방법 대비 클러스터링 지표에서 2-7% 점수의 현저한 향상을 보이며, 이 영역에서 최초의 성공적인 시도임을 보여준다. 전체 코드와 데이터는 https://github.com/thuiar/UMC 에서 이용 가능하다.