arXiv:2609.22379v1 cs.CV

MarsRecon: 화성을 위한 자기지도 및 멀티모달 표면 표현

MarsRecon: Self-Supervised and Multimodal Surface Representations for Mars

Akshay Naik, Marius F. R. Juston, Jay Mahajan

제출 2026-09-22

한국어 초록

고해상도 궤도 영상은 화성 표면에 대한 풍부한 기록을 제공하지만, 지질학적 라벨의 희소성으로 인해 지도 학습 기반의 표현 학습(representation learning)에는 한계가 있다. 본 논문에서는 올림푸스 산(Olympus Mons)의 HiRISE 관측 자료로부터 시각 및 멀티모달(multimodal) 표현을 학습하기 위한 지리공간 인지형 파이프라인인 MarsRecon을 제시한다. 이 파이프라인은 NASA Planetary Data System 데이터를 캘리브레이션하고, 유효한 지리참조 패치를 추출하며, 라벨이 없는 영상에 대해 마스크드 오토인코더(masked autoencoder)를 학습한다. 주요 Stage A 모델 시리즈에서 입력 해상도를 높이고 유효하지 않은 토큰(token)을 필터링함으로써 홀드아웃 재구성 손실을 0.1751에서 0.1342로 감소시켰다. 이어 시각 인코더를 동결(freeze)하고 해당 특징을 관측 텍스트, 좌표, 국소-전역(local-global) 이미지 컨텍스트와 정렬한다. 현재 가장 성능이 뛰어난 국소 우선(local-primary) 모델은 홀드아웃 테스트 분할에서 0.3787의 이미지-텍스트 recall@10(재현율@10), 0.9161의 텍스트-이미지 recall@10, 0.4350의 국소-전역 recall@10을 달성한다. 이러한 결과는 화성에 특화된 실용적인 사전학습(pre-training) 및 검색 파이프라인을 구축함을 보여주며, 해당 임베딩(embedding)의 더 폭넓은 유용성을 평가하기 위해서는 추가적인 크롭 중첩 제어 및 다운스트림 지질학적 평가가 필요하다.

원문 초록

High-resolution orbital imagery offers a rich record of the Martian surface, but sparse geological labels limit supervised representation learning. We present MarsRecon, a geospatially aware pipeline for learning visual and multimodal representations from HiRISE observations of Olympus Mons. The pipeline calibrates NASA Planetary Data System products, extracts valid georeferenced patches, and trains a masked autoencoder on unlabeled imagery. Increasing input resolution and filtering invalid tokens reduced held-out reconstruction loss from 0.1751 to 0.1342 in the principal Stage A model series. We then freeze the visual encoder and align its features with observation text, coordinates, and local--global image context. The strongest current local-primary model achieves image-to-text recall@10 of 0.3787, text-to-image recall@10 of 0.9161, and local-to-global recall@10 of 0.4350 on the held-out test split. These results establish a working Mars-specific pretraining and retrieval pipeline; further crop-overlap controls and downstream geological evaluations are needed to assess the broader utility of its embeddings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22379v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15891v1cs.CV공통 태그 Self-Supervised Learning, Representation Learning

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2610.13437v1cs.AI공통 태그 Self-Supervised Learning, Representation Learning

HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단

Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC

표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.

arXiv:2610.13547v1cs.CV공통 태그 Representation Learning, remote sensing

MOSAIC: 원격 탐사 영상 초해상화를 위한 이미지 유도 프로토타입 조건화 기반 다중 스케일 객체 중심 슬롯 적응

MOSAIC: Multi-Scale Object-Centric Slot Adaptation with Image-Guided Prototype Conditioning for Remote Sensing Image Super-Resolution

사전학습된 확산 트랜스포머(diffusion Transformer)는 영상 복원을 위한 강력한 생성 사전 정보(generative prior)를 제공하지만, 이를 구조에 민감한 태스크에 적응시키는 것은 여전히 어렵습니다. 기존 방법들은 주로 조밀한(dense) 저해상도 특징을 조건으로 활용하는데, 이는 두드러진 객체와 지배적인 배경을 서로 얽히게 만들고 스케일 및 샘플 전반에 걸쳐 반복되는 구조에 대해 제한적인 추상화만을 제공하는 경우가 많습니다. 본 논문에서는 생성 모델 적응을 위해 간결한 구조적 조건을 학습하는 객체 중심 표현 학습 프레임워크인 MOSAIC을 제안합니다. MOSAIC은 열화된 관측 영상을 상호보완적인 객체 수준 및 레이아웃 수준의 단서를 포착하는 구조적 슬롯으로 정리하고, 이를 여러 해상도에 걸쳐 통합하며, 공유된 프로토타입 메모리에서 반복되는 사전 정보를 검색하여 불완전한 영상 고유 정보를 보완합니다. 이렇게 도출된 표현은 경량 잔차 변조(residual modulation)를 통해 고정된(frozen) 확산 트랜스포머의 선택된 레이어에 주입되어 사전학습된 생성 사전 정보를 보존합니다. 우리는 소형 객체, 반복적인 구조, 대규모 스케일 변화로 인해 도전적인 시험대가 되는 원격 탐사 영상 초해상화에 MOSAIC을 적용합니다. UCMerced, AID, RSSCN7 데이터셋에 대한 실험 결과, $\times 2$ 및 $\times 4$ 설정 전반에서 일관된 PSNR 향상을 보였으며 $\times 4$에서 우수한 LPIPS 결과를 나타냈습니다. 정성적 결과 또한 소형 객체, 구조적 경계, 반복적인 공간 패턴의 보존 성능이 향상되었음을 입증합니다.

arXiv:2610.13553v1cs.CV공통 태그 Representation Learning, Image Retrieval

크로스뷰 지오로컬라이제이션에서 뷰 변화에 대응하는 전체적 장면 레이아웃 학습

Learning Holistic Scene Layout against View Shifts in Cross-View Geo-Localization

크로스뷰 지오로컬라이제이션(cross-view geo-localization)은 시점 변화로 인한 극심한 외형 변화와 기하학적 왜곡 때문에 여전히 어려운 과제이다. 기존 방법들은 주로 판별적 특징(feature) 학습이나 명시적인 기하학적 정렬에 의존하지만, 중요한 관찰 하나를 간과하는 경우가 많다: 인간은 고립된 지역적(local) 시각적 단서에만 의존하기보다 여러 랜드마크의 공간적 맥락(spatial context)을 통합하여 장면을 매칭하는 경향이 있다는 것이다. 이에 착안하여, 우리는 특징 맵(feature map)을 네 개의 직교하는 방향을 따라 순회하며 각 공간적 위치에서 결과로 얻어진 방향별 표현(directional representation) 간의 상호작용을 모델링하는 공간 맥락 모델링(Spatial Context Modeling, SCM) 모듈을 제안한다. 상호 보완적인 방향별 관찰들을 집계함으로써, SCM은 더 풍부한 장면 레이아웃 표현을 구성한다. 신뢰할 수 있는 공간적 맥락은 견고한 시각적 특징에 의존하기 때문에, 우리는 주파수 영역(frequency domain)에서 안정적인 구조적 단서를 추출하는 고주파 정보 안내(High-Frequency Information Guidance, HFIG) 모듈을 도입한다. 외형 변화에 덜 민감한 에지(edge)와 윤곽(contour)을 강조함으로써, HFIG는 모델이 더 견고한 표현을 학습하도록 유도한다. 광범위한 실험을 통해 우리의 방법이 표준 크로스뷰 지오로컬라이제이션 벤치마크에서 경쟁력 있는 성능을 달성하면서도, 방향(orientation)을 알 수 없고 시야각(field of view, FoV)이 제한된 더 어려운 시나리오에서 강한 견고성을 보인다는 것을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.