PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39871v3cs.CV

초분광 영상 모델을 위한 PyTorch 라이브러리: 기술 보고서

A PyTorch Library for Hyperspectral Image Models: Technical Report

초분광 원격 탐사는 분광-공간 CNN, Vision Transformer, Mamba, 그래프 신경망(GNN), Kolmogorov-Arnold 네트워크, 자기지도 마스크 오토인코딩을 포함한 다양한 심층 학습(deep learning) 패러다임 전반에서 발전해 왔습니다. 그러나 분산된 저장소, 호환되지 않는 텐서(tensor) 규칙, 비표준화된 평가 방식으로 인해 여전히 진전이 저해되고 있습니다. Hyperspectral Image Models는 공통 레지스트리, 자동 4D/5D 텐서 적응, 표준화된 생성자를 통해 6개 패러다임에 걸친 55개 대표 모델을 통합하는 모듈형 프레임워크로 이러한 과제를 해결합니다. 이 라이브러리는 항공(Airborne), 위성(Spaceborne), UAV, 화성 CRISM 센서의 24개 벤치마크 씬을 통합하며, 캐싱, 레이블 재매핑, PCA, 명시적 밴드 선택 또는 원시 스펙트럼, 선택적 공간 맥스 풀링(pooling), 임의의 PxP 패치 추출을 지원합니다. 겹치는 윈도우로 인한 정확도 과대를 방지하기 위해, 클래스 균형 무작위 분할과 학습-테스트 픽셀 중첩을 제거하는 체비쇼프 가드 밴드(Chebyshev guard band) 기반의 공간적으로 분리된 영역 블로킹을 지원합니다. 실험은 결정론적 시드와 완전한 출처 추적 기능을 갖춘 단일 설정을 사용하여 LaTeX 벤치마크 표와 분류(classification) 맵을 생성합니다. 1,320회의 모델-씬 평가와 6,600회의 시드 기반 실행 결과, 패러다임 평균 간의 차이가 15%p인 것에 비해 평균 정확도가 Botswana의 96.40%에서 Houston 2018의 56.70%에 이르러 아키텍처보다 씬 난이도가 지배적인 영향을 미치는 것으로 나타났습니다. 어떤 패러다임도 보편적으로 우세하지 않았으며, 1M 미만 매개변수(parameter) 모델이 두 자릿수(orders of magnitude) 더 큰 아키텍처와 대등한 성능을 보일 수 있었습니다. 코드는 https://github.com/Tanishq251/Hyperspectral-Image-Models 에서 공개되어 있습니다.

arXiv:2610.00006v1cs.CV

창발적 객체 바인딩은 유한한 공간적 지평을 가진다

Emergent Object Binding Has a Finite Spatial Horizon

사전학습된 비전 트랜스포머(Vision Transformer)는 두 이미지 패치가 동일한 객체에 속하는지 여부를 인코딩합니다. 이 IsSameObject 신호는 동결된 패치 임베딩(embedding)에서 높은 정확도로 디코딩할 수 있으며, 이는 자기지도 사전학습(self-supervised pre-training)만으로도 객체 바인딩(object binding)이 창발(emerge)함을 시사합니다. 본 논문에서는 이러한 단일 정확도 수치가 해당 신호의 구조를 가리고 있음을 보여줍니다. 바인딩은 국소적입니다. 동일한 객체의 두 패치가 바인딩된 것으로 디코딩될 확률은 패치 간의 거리에 따라 단조 감소하며 0이 아닌 하한선(floor)에서 평탄해지는데, 이러한 감쇠는 유한한 길이 스케일을 가진 지수 함수로 잘 설명됩니다. 이러한 감쇠 현상은 객체 크기 전반, 세 가지 프로브(probe) 계열 전반, ADE20K와 COCO 데이터셋 모두, 그리고 DINO 및 CLIP 백본 전반에서 유지되며, 이는 디코더가 아닌 표현(representation) 자체의 특성임을 나타냅니다. 바인딩을 유한한 범위를 갖는 국소적 공간 일관성으로 해석하면 종합 점수로는 설명되지 않던 일련의 동작들을 설명할 수 있습니다. 즉, 바인딩은 큰 객체에서 약화되고, 서로 다른 클래스의 객체보다 동일한 클래스의 구별되는 객체를 덜 안정적으로 분리하며, 객체의 부분들을 전체와 그룹화합니다. 반면에 객체 크기를 통제하면 가림(occlusion)에 의해서는 영향을 받지 않습니다. 저자들은 교란 변수를 통제하여 각각의 동작을 매핑합니다. 예비 관찰로서 지평(horizon)과 그 하한선은 DINOv2와 DINOv3에서 서로 다른 깊이로 구성되어 있으며, 프로브된 레이어 수가 적고 두 모델 간의 교란 변수가 존재함을 고려할 때 이는 시사점을 주는 결과로서 보고합니다.