PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03320v1cs.CV

LBTCap: 실시간 원격 탐사 이미지 변화 캡셔닝을 위한 경량 양방향 트랜스포머

LBTCap: A Lightweight Bilateral Transformer for Real-Time Remote Sensing Image Change Captioning

원격 탐사 이미지 변화 캡셔닝(RSICC)은 쌍을 이루는 원격 탐사 이미지(RSI) 간의 의미론적 변화를 자연어로 기술하는 작업으로, 도시 계획, 재난 대응, 환경 모니터링 등의 응용 분야를 지원한다. 최근 방법들은 높은 캡셔닝 정확도를 달성하고 있으나, 대부분 실제 실시간 배포에 필수적인 연산 효율성과 추론 속도를 간과하고 있다. 이에 본 논문에서는 쌍을 이루는 RSI의 효율적 처리를 위해 변화 전후 특징을 공동으로 모델링하는 양방향 트랜스포머 기반의 경량 RSICC 프레임워크인 LBTCap을 제안한다. 구체적으로, 쌍 입력에 대한 양방향 어텐션 메커니즘을 도입하였다: 두 시간적 이미지는 두 이미지에 공유되는 동일한 쿼리 및 키 행렬에 의해 각각의 쿼리와 키로 투영되고, 밸류는 두 이미지의 연결(concatenation)로 구성되며, 생성된 두 어텐션 맵은 고정된 차감 연산 대신 학습 가능한 구조적 양방향 가중치에 의해 결합된다. 이 설계는 두 시간적 브랜치를 명시적으로 유지하면서도 컴팩트한 구조를 갖추며, 잘라낸 백본(truncated backbone) 및 그룹 쿼리 어텐션(grouped-query attention)과 함께 LBTCap은 총 39.99M개의 파라미터만을 사용하고, 그 중 변화 인식 인코더(change-aware encoder)는 단 2.78M을 차지한다. 두 개의 공개 RSICC 데이터셋에 대한 광범위한 실험 결과, LBTCap은 최신 기법들의 정확도에 필적하거나 근접하면서도 훨씬 적은 파라미터를 사용하고 현저히 빠른 추론 속도로 동작하며, 양방향 정식화의 이점은 저자원 환경에서 가장 두드러지게 나타나, 실용적인 RSICC를 위한 우수한 정확도-효율성 트레이드오프를 입증한다.

arXiv:2606.27410v1eess.IV

DFM: 원격 탐사 이미지 변화 캡셔닝을 위한 텍스트 유도 게이트 대조 손실 기반 차이 특징 모델링

DFM: Difference Feature Modeling with Text-Guided Gated Contrastive Loss for Remote Sensing Image Change Captioning

원격 탐사 이미지 변화 캡셔닝(Remote Sensing Image Change Captioning, RSICC)의 주요 목표는 서로 다른 시점에 촬영된 원격 탐사 이미지 간 변화에 대한 설명을 자동으로 생성하는 것이다. 기존 모델들은 여전히 단일 자기회귀(autoregressive) 생성 패러다임에 의존하며, 이는 이미지 간 판별적 차이를 포착하는 것보다 쉽게 생성되는 어휘 학습을 우선시하는 경향이 있다. 이를 해결하기 위해, 우리는 학습 패러다임을 재구성하고 새로운 차이 특징 모델링(Difference Feature Modeling, DFM) 프레임워크를 제안한다. 구체적으로, 텍스트 유도 게이트 대조 손실(Text-guided Gated Contrastive Loss, TGCL)을 도입하여 비전 인코더가 텍스트 모달 관점에서 핵심 특징을 추출하도록 유도한다. 또한, 사전학습된 변화 탐지(Change Detection) 모델을 통합하여 안정적인 변화 탐지 지식을 전이한다. 표현을 더욱 향상시키기 위해, 다중 스케일 차이 표현의 융합을 달성하고 이를 통해 다중 시점(multi-temporal) 이미지 간 포괄적인 시공간 변화를 포착하는 공동 특징 모델링(Joint Feature Modeling, JFM) 모듈을 설계한다. 여러 데이터셋에 대한 광범위한 실험을 통해 우리 접근법의 효과를 입증한다.

arXiv:2606.28266v1cs.CV

RSICCLLM: 원격 탐사 영상 변화 캡셔닝을 위한 멀티모달 대규모 언어 모델

RSICCLLM: A Multimodal Large Language Model for Remote Sensing Image Change Captioning

원격 탐사 영상 변화 캡셔닝(RSICC)은 이중 시점 원격 탐사 영상 간의 변화를 설명하는 것을 목표로 하며, 상당한 연구 및 응용 가치를 지닌다. 그러나 기존 방법의 대부분은 전통적인 심층 학습 아키텍처에 의존하고 있으며, 제한된 모델 용량이 성능을 제약한다. 일반 분야에서는 대규모 모델의 사후 학습 기법이 큰 성공을 거두었지만, 데이터 부족과 세밀한 변화 이해의 필요성으로 인해 RSICC로의 직접 전이는 여전히 어렵다. 이를 해결하기 위해, 본 연구는 RSICCLLM을 제안한다. 이는 RSICC에서 대규모 비전-언어 모델을 위한 최초의 사후 학습 프레임워크이다. 구체적으로, 데이터 생성 패러다임을 설계하고, 지시 데이터셋 RSICI를 공개하며, 태스크 특화 RSICC 벤치마크를 구축한다. 또한 변화 표현을 명시적으로 추출하고 모델이 시간적 차이를 인지하고 이해하도록 안내하는 차이 인식 지도 미세조정(Difference-aware Supervised Fine-tuning)을 도입한다. 더 나아가, 두 가지 상보적인 부정 샘플 구성 전략을 활용하여 선호 데이터셋 RSICP를 구성하고 모델 성능을 더욱 정제하는 이중 부정 선호 최적화(Dual-Negative Preference Optimization, DNPO)를 제안한다. 광범위한 실험을 통해 RSICCLLM의 우수한 능력이 검증되었으며, 7B 파라미터만으로 더 큰 규모의 모델들을 능가하는 뛰어난 결과를 달성한다. 코드와 데이터셋은 https://github.com/keaill/RSICCLLM 에서 공개될 예정이다.