arXiv:2212.06717

A Machine Learning Enhanced Approach for Automated Sunquake Detection in Acoustic Emission Maps

Vanessa Mercea, Alin Razvan Paraschiv, Daniela Adriana Lacatus, Anca Marginean, Diana Besliu-Ionescu

제출 2022-12-13

원문 초록

Sunquakes are seismic emissions visible on the solar surface, associated with some solar flares. Although discovered in 1998, they have only recently become a more commonly detected phenomenon. Despite the availability of several manual detection guidelines, to our knowledge, the astrophysical data produced for sunquakes is new to the field of Machine Learning. Detecting sunquakes is a daunting task for human operators and this work aims to ease and, if possible, to improve their detection. Thus, we introduce a dataset constructed from acoustic egression-power maps of solar active regions obtained for Solar Cycles 23 and 24 using the holography method. We then present a pedagogical approach to the application of machine learning representation methods for sunquake detection using AutoEncoders, Contrastive Learning, Object Detection and recurrent techniques, which we enhance by introducing several custom domain-specific data augmentation transformations. We address the main challenges of the automated sunquake detection task, namely the very high noise patterns in and outside the active region shadow and the extreme class imbalance given by the limited number of frames that present sunquake signatures. With our trained models, we find temporal and spatial locations of peculiar acoustic emission and qualitatively associate them to eruptive and high energy emission. While noting that these models are still in a prototype stage and there is much room for improvement in metrics and bias levels, we hypothesize that their agreement on example use cases has the potential to enable detection of weak solar acoustic manifestations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Object Detection

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2609.24031v2cs.CV공통 태그 Object Detection, Contrastive Learning

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2610.00030v1cs.CV공통 태그 Data Augmentation, Object Detection

객체 검출에서의 도메인 일반화와 합성 데이터: 조력자, 탐침, 그리고 격차

Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap

객체 검출(object detection) 모델은 예를 들어 날씨 유형, 운용 환경(environment), 객체 외형의 변화 등으로 인해 발생하는 분포 변화(distribution shift) 하에 배포될 때 종종 성능 저하를 겪습니다. 도메인 일반화(Domain Generalization, DG)는 이러한 변화 속에서도 강건함을 유지하고 보지 못한 도메인(unseen domain)으로 잘 일반화되는 모델을 개발하는 것을 목표로 합니다. 객체 검출 모델은 위치 추정(localization) 및 다중 스케일 표현과 관련된 추가적인 문제에 직면함에도 불구하고, 객체 검출 모델에 구체적으로 초점을 맞춘 DG 연구는 부족한 상황입니다. 합성 데이터는 다양하고 새로운 대규모 샘플 생성을 가능하게 함으로써 DG를 지원하는 유망한 도구입니다. 본 논문에서는 객체 검출 중심의 DG 리뷰를 제시하고 상호 보완적인 세 가지 관점에서 합성 데이터의 역할을 살펴봅니다. 첫째, 합성 데이터는 분포 변화에 대한 강건성을 향상시키는 것을 목표로 하는 다양화 및 정렬(alignment) 전략을 통해 DG의 조력자(enabler) 역할을 합니다. 둘째, 실패 모드를 식별하고 이해하기 위한 제어된 실험을 가능하게 하는 탐침(probe) 역할을 합니다. 셋째, 합성 이미지로 학습된 모델을 실제 데이터에 배포할 때 발생하는 특히 까다로운 형태의 도메인 변화인 합성-실제 간 격차(synthetic-to-real gap)에 대해 논의합니다. 이러한 관점들을 검토함으로써 객체 검출을 위한 기존 DG 접근법의 한계를 식별하고, 향후 연구에는 도메인 변화 하에서 위치 추정과 분류(classification)를 모두 명시적으로 다루는 표현 인식(representation-aware) 방법이 필요함을 주장합니다.

arXiv:2609.28471v1cs.CL공통 태그 Data Augmentation, Contrastive Learning

저작자 검증을 위한 대조 학습

Contrastive Learning for Authorship Verification

우리 결과는 테스트된 설정에서 저작자 검증에 대한 분류 기반 접근법보다 대조 학습이 더 우수한 성능을 보임을 나타낸다. 손실 함수, 배치 크기, 학습 기간, 사전학습 모델, 입력 컨텍스트 길이, 무작위 텍스트 구간 데이터 증강을 모델 성능의 중요한 요인으로 확인했다. 이러한 고려사항을 바탕으로 PAN21 저작자 검증 태스크에서 98.4% 정확도를 달성하는 ModernBERT Bi-Encoder 모델을 개발했다.

arXiv:2609.28078v1cs.CV공통 태그 Object Detection, Contrastive Learning

LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리

LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT

세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.

arXiv:2609.24152v1cs.IR공통 태그 Object Detection, Contrastive Learning

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.