PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.23441v2cs.LG

종단적 의료 영상을 위한 확률적 샴 MAE 사전학습

Stochastic Siamese MAE Pretraining for Longitudinal Medical Images

시간을 인지하는(temporally aware) 영상 표현은 종단적(longitudinal) 의료 데이터셋의 3D 볼륨에서 질환 진행을 포착하는 데 필수적입니다. 그러나 마스크 오토인코딩(MAE)과 같은 최신 자기지도학습(self-supervised learning) 접근법은 강력한 표현 학습 능력에도 불구하고 시간적 인지 능력이 부족합니다. 본 논문에서는 2개의 입력 볼륨 간의 시차를 조건으로 하여 확률적 과정을 통해 시간 정보를 인코딩하는 샴 MAE(Siamese MAE) 프레임워크인 STAMP(Stochastic Temporal Autoencoder with Masked Pretraining)를 제안합니다. 서로 다른 시점의 스캔을 비교하지만 질환 진행에 내재된 불확실성을 설명하지 못하는 결정론적(deterministic) 샴 접근법과 달리, STAMP는 MAE 재구성 손실(reconstruction loss)을 조건부 변분 추론(conditional variational inference) 목적함수로 재구성하여 시간 역학을 확률적으로 학습합니다. 저자들은 환자당 여러 번의 방문 기록이 있는 2개의 OCT 및 1개의 MRI 데이터셋에서 STAMP를 평가했습니다. STAMP로 사전학습된 ViT 모델은 질환의 기저에 있는 비결정론적 시간 역학 학습을 요구하는 다양한 후기 단계 연령 관련 황반변성 및 알츠하이머병 진행 예측에서 기존의 시간적 MAE 방식과 파운데이션 모델을 모두 능가하는 성능을 보였습니다.

arXiv:2607.04044v2cs.CV

SiamJEPA: JEPA에서 샴 학생 인코더의 역할에 관한 연구

SiamJEPA: On the Role of Siamese Student Encoders in JEPA

최근 결합 임베딩 예측 아키텍처(JEPA)는 자기지도 표현 학습을 위한 유망한 프레임워크로서 컴퓨터 비전 및 머신러닝 커뮤니티에서 큰 주목을 받고 있다. 픽셀을 재구성하는 마스크드 오토인코더와 달리, JEPA 모델은 마스킹된 영역의 잠재 임베딩을 예측함으로써 표현을 학습한다. I-JEPA, V-JEPA 등 기존 JEPA 기반 방법들은 학생 네트워크에 단일 인코더를 사용하는 것이 일반적이다. 반면, 학생 네트워크에 샴(Siamese) 인코더를 사용하는 방식은 뇌에서 영감을 받은 표현 학습 프레임워크와 더 자연스럽게 부합하지만, JEPA 모델에서 그 역할은 아직 충분히 탐구되지 않았다. 본 논문에서는 JEPA 기반 표현 학습에서 샴 학생 인코더의 효과를 규명한다. 이를 위해 지수 이동 평균(EMA) 교사 네트워크를 갖춘 마스크드 샴 학생 인코더로 구성된 SiamJEPA를 제안한다. SiamJEPA는 뇌에서 영감을 받은 표현 학습 모델인 PhiNet의 JEPA 공식화로도 해석될 수 있다. ImageNet 선형 프로빙에 대한 광범위한 실험을 통해, 샴 인코더가 JEPA 목적 함수에 효과적인 정규화기(regularizer)로 작용하여 표현 분리성을 향상시키고 학습 초기 단계에서 학습을 가속화함을 입증한다. 나아가, SiamJEPA는 제한된 학습 예산 하에서 비교 가능한 단일 인코더 JEPA 변형들을 일관되게 능가하며, 더 긴 학습을 필요로 하는 마스크드 오토인코더(MAE)보다 높은 선형 프로빙 정확도를 달성한다. 본 연구 결과는 샴 학생 인코더가 단순한 아키텍처적 선택이 아니라 예측적 표현 학습을 위한 중요한 귀납적 바이어스를 구성함을 밝힌다. 이러한 결과는 JEPA 기반 모델 설계에 대한 새로운 통찰을 제공하며, 샴 학생 아키텍처를 도입하는 것이 자기지도 표현 학습을 개선하기 위한 간단하면서도 효과적인 접근 방식임을 시사한다.

arXiv:2607.11140v1cs.LG

Learning Subgroup Relations Using Siamese Graph Neural Networks

Determining whether one finite group is isomorphic to a subgroup of another is a fundamental problem in computational group theory. In this work, we propose a Siamese Graph Neural Network (Siamese GNN) for subgroup prediction using Cayley graph representations of finite groups. Each input group is represented by its undirected Cayley graph and encoded by one branch of a Siamese GNN to produce a graph embedding. The resulting graph embeddings are combined with algebraic features derived directly from the input groups to construct a joint feature vector, which is processed by a fully connected classifier to predict subgroup relations between finite groups. By integrating graph-based structural representations with algebraic features, the proposed framework provides a unified approach for learning subgroup relations from finite groups. Experimental results demonstrate the effectiveness of the proposed architecture, achieving a test accuracy of 95.9% (47/49) on an independent test set and illustrating the potential of geometric deep learning for subgroup prediction.

arXiv:2208.00657v2cs.CV

SiamixFormer: 이중 시기 원격 탐사 이미지에서 정확한 건물 탐지 및 변화 탐지를 위한 시간적 융합을 갖춘 완전 트랜스포머 기반 샴 네트워크

SiamixFormer: a fully-transformer Siamese network with temporal Fusion for accurate building detection and change detection in bi-temporal remote sensing images

원격 탐사 이미지를 이용한 건물 탐지 및 변화 탐지는 도시 계획과 구조 계획에 도움을 줄 수 있으며, 자연재해 이후 건물 피해 평가에도 활용될 수 있다. 현재 건물 탐지를 위한 기존 모델 대부분은 단일 이미지(재난 전 이미지)만을 사용하여 건물을 탐지한다. 이는 재난 후 이미지가 붕괴된 건물의 존재로 인해 모델의 성능을 저하시킨다는 관점에 기반한다. 본 논문에서는 재난 전·후 이미지를 입력으로 사용하는 샴(siamese) 모델인 SiamixFormer를 제안한다. 제안 모델은 두 개의 인코더를 가지며 계층적 트랜스포머 아키텍처를 채택한다. 두 인코더의 각 단계 출력은 시간적 트랜스포머(temporal transformer)에 입력되어 특징 융합을 수행하는데, 쿼리(query)는 재난 전 이미지에서, 키(key)와 값(value)은 재난 후 이미지에서 생성된다. 이를 통해 특징 융합 시 시간적 특징도 함께 고려된다. 시간적 트랜스포머를 특징 융합에 활용하는 또 다른 장점은 CNN에 비해 트랜스포머 인코더가 생성하는 대규모 수용 영역(receptive field)을 더 잘 유지할 수 있다는 점이다. 최종적으로 시간적 트랜스포머의 출력은 각 단계에서 단순한 MLP 디코더에 입력된다. SiamixFormer 모델은 건물 탐지를 위해 xBD 및 WHU 데이터셋에서, 변화 탐지를 위해 LEVIR-CD 및 CDD 데이터셋에서 평가되었으며, 최신 기법(state-of-the-art)을 능가하는 성능을 달성하였다.