PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.06592v2cs.CV공식 코드 · Papers with Code

대규모 언어 모델의 멀티모달 융합을 위한 단일모달 미세조정 기반 배치 증강

Batch Augmentation with Unimodal Fine-tuning for Multimodal Fusion of Large Language Models

본 논문에서는 멀티모달(multimodal) 학습을 위한 단일모달 미세조정(unimodal fine-tuning) 기반 배치 증강(batch augmentation) 기법을 제안합니다. 먼저 사전학습된 단일모달 모델에서 출발하여 응용 데이터로 해당 단일모달 모델들을 미세조정합니다. 그 후, 단일모달 모델들의 정보를 입력받아 출력을 제공하는 다층 퍼셉트론(MLP) 헤드를 구성합니다. 마지막으로 배치 증강을 적용하여 MLP 층과 단일모달 부분을 함께 학습합니다. 데이터에 따라 일부 단일모달 모델은 하드코딩된 스크립트나 AI 에이전트로 대체될 수 있습니다. 또한 데이터 증강이 가능한 경우 단일모달 학습 과정에서도 배치 증강을 따를 수 있습니다. 우리는 멀티모달 데이터에 대한 배치 증강을 구현하는 멀티모달 배치 증강 데이터로더 스크립트를 작성했습니다. 제안하는 방법은 FPU23 초음파 및 UPMC Food-101 멀티모달 데이터셋에서 검증되었습니다. 제안된 학습법을 적용한 멀티모달 대규모 언어 모델(LLM)은 두 데이터셋 전반에 걸쳐 조사된 기법들 중 가장 우수한 평균 결과를 달성했습니다. 문헌 조사에 따르면, 비전용으로 ViT-L/16 모델을, 텍스트용으로 GPT-2 모델을 적용했을 때 제안하는 방법은 UPMC Food-101 데이터셋에서 93.29%의 최고 수준(SOTA) 정확도를 달성했습니다. 우리는 제안하는 방법과 기존 대응 방식들의 스크립트를 github.com/dipuk0506/multimodal 저장소에 공개합니다.

arXiv:2505.02393v3cs.CV공식 코드 · Papers with Code

비디오 이상 탐지를 위한 이미지와 합성 이벤트의 불확실성 가중 융합

Uncertainty-Weighted Fusion of Image and Synthetic Event for Video Anomaly Detection

대부분의 기존 비디오 이상 탐지기(video anomaly detector)는 RGB 프레임에만 의존하므로, 이상 이벤트를 식별하는 데 중요한 급격하거나 일시적인 모션 단서를 포착하는 능력이 제한됩니다. 본 연구에서는 원리 기반 가중 메커니즘을 통해 상호 보완적인 RGB 및 합성 모션 정보를 통합하는 프레임워크인 Uncertainty Weighted Image Event Fusion(IEF-VAD)을 제안합니다. 이 방법은 합성 모션 단서의 높은 분산 및 꼬리가 두꺼운(heavy-tailed) 특성을 스튜던트 t(Student's t) 가능도(likelihood)로 모델링하고, 이미지 모달리티가 모션 정보를 압도하는 것을 방지하기 위해 라플라스 근사(Laplace approximation)를 사용하여 값 수준 역분산 가중치를 계산하며, 잔여 교차 모달 노이즈를 억제하기 위해 반복적 정제(iterative refinement)를 수행합니다. 이러한 정식화는 모달리티 지배(modality dominance) 현상을 자주 겪는 크로스 어텐션(cross-attention)이나 게이팅 기반 접근 방식에 비해 더 균형 잡히고 신뢰할 수 있는 융합 과정을 제공합니다. 이벤트 카메라나 프레임 수준의 주석 없이도 IEF-VAD는 여러 실제 이상 탐지 벤치마크(benchmark)에서 새로운 최고 성능(SOTA)을 달성하며 개별 모달리티에 열화가 적용되어도 안정성을 유지합니다. 이러한 결과는 상호 보완적인 모션 단서를 추출하고 통합하는 것이 다양한 환경 전반에서 강건한 비디오 이해를 위한 효과적인 방향임을 보여줍니다.

arXiv:2505.10931v4cs.CV공식 코드 · Papers with Code

M4-SAR: A Multi-Resolution, Multi-Polarization, Multi-Scene, Multi-Source Dataset and Benchmark for optical-SAR Object Detection

Single-source remote sensing object detection using optical or SAR images struggles in complex environments. Optical images offer rich textural details but are often affected by low-light, cloud-obscured, or low-resolution conditions, reducing the detection performance. SAR images are robust to weather, but suffer from speckle noise and limited semantic expressiveness. Optical and SAR images provide complementary advantages, and fusing them can significantly improve the detection accuracy. However, progress in this field is hindered by the lack of large-scale, standardized datasets. To address these challenges, we propose a new comprehensive dataset for optical-SAR fusion object detection, named Multi-resolution, Multi-polarization, Multi-scene, Multi-source SAR dataset (M4-SAR). It contains 112,174 instance-level aligned image pairs and nearly one million labeled instances with arbitrary orientations, spanning six key categories. To enable standardized evaluation, we develop a unified benchmarking toolkit that integrates six state-of-the-art multi-source fusion methods. Additionally, we propose E2E-OSDet, a novel end-to-end multi-source fusion detection framework that mitigates cross-domain discrepancies and establishes a robust baseline for future studies. Extensive experiments on M4-SAR demonstrate that fusing optical and SAR data can improve mAP by 5.7\% over single-source inputs, with particularly significant gains in complex environments. The dataset and code are publicly available at https://github.com/wchao0601/M4-SAR.