PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28187v1cs.CV

두 개의 글로벌 크롭만으로 충분: DINO 스타일 자기지도 학습에서 시맨틱 창발의 위치

Two Global Crops Suffice: Locating Semantic Emergence in DINO-Style Self-Supervised Learning

DINO 스타일 목적 함수로 학습된 자기지도 비전 트랜스포머는 시각 과제 전반에서 놀라운 수준의 창발적 시맨틱 표현 품질을 보이지만, 이러한 행동을 뒷받침하는 메커니즘은 여전히 불명확하다. 우리는 DINO 계열에 대한 체계적인 실증적 해부를 제시하고, 시맨틱 표현이 주로 동일한 이미지 인스턴스의 기하학적으로 서로 다른 글로벌 뷰(global view) 사이의 일관성을 강제함으로써 형성됨을 보인다. 이 인스턴스 특이적 글로벌 정렬은 DINO 스타일 학습의 시맨틱 닻(anchor) 역할을 한다. 시맨틱 대응(semantic correspondence)과 다양한 2D 및 3D 다운스트림 과제에서 평가한 통제된 재학습 실험 전반에서, 패치 수준 마스킹 목적은 이 글로벌 정렬과 공동으로 학습될 때만 시맨틱을 향상시키며, 이는 iBOT 목적이 독립적으로 시맨틱 구조를 생성하기보다 기존 시맨틱 구조를 정제하고 조밀하게 한다는 것을 시사한다. 대조적으로, 로컬-투-글로벌 뷰 정렬은 순수한 글로벌 정렬을 넘어 고정된 연산량에서 시맨틱 특성을 실질적으로 개선하지 않는다. 학습 설계를 넘어, 시맨틱 표현 품질을 어떻게 평가해야 하는지를 재검토한다: 분류 정확도가 표준 검증 점수인 반면, 시맨틱 대응은 다운스트림 과제 성능을 더 신뢰성 있게 예측하는 보완적 축을 제공한다. 종합하면, 이러한 발견은 DINO 스타일 학습의 기능적 분해를 제공하며, 자기지도 비전 모델에서 시맨틱 표현이 어떻게 창발하는지 이해하는 데 중요한 한 걸음을 나타낸다.

arXiv:2607.21371v1cs.CV

DINOde: 오픈 어휘 의미 분할을 위한 연속적 비전-텍스트 정렬

DINOde: Continuous Vision-Text Alignment for Open-Vocabulary Semantic Segmentation

오픈 어휘 의미 분할(OVSS)은 텍스트 의미를 활용하여 사전 정의된 범주를 넘어 객체를 분할한다. 자기 지도(self-supervised) 모델 DINOv3는 강력한 구조화된 시각 표현을 제공하지만, 고유한 텍스트 정렬이 없어 OVSS에 직접 적용하기 어렵다. 이 간극을 메우기 위해 CLIP 텍스트 임베딩(embedding)을 DINO 시각 매니폴드(manifold)와 연속적으로 정렬하는 ODE 기반 프레임워크인 DINOde를 제안한다. 우리 접근법은 두 가지 상보적 구성 요소를 사용한다: (i) 연속 ODE 궤적을 통해 텍스트 임베딩을 DINO 매니폴드 쪽으로 진화시키는 Semantic Text Flow(STF), (ii) DINO의 CLS 토큰이 담고 있는 전역적 이미지 표현을 점진적으로 정제하는 Global Context Flow(GCF). 이 진화 과정에서 특징(feature) 공간의 초구면(hyperspherical) 기하를 보존하기 위해, 학습된 속도장(velocity field)을 접공간(tangent space)에 제약하는 Velocity Tangent Projection을 추가로 도입한다. 정렬을 연속 궤적으로 모델링함으로써 DINOde는 이산 MLP 투영에 내재된 매니폴드 얽힘(manifold entanglement)을 피하고, 더 견고한 교차 모달 정렬을 달성한다. 광범위한 실험 결과, DINOde는 기존 방법들을 일관되게 능가하며 여러 OVSS 벤치마크(benchmark)에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/yoon307/DINOde 에서 제공된다.

arXiv:2512.07331v2cs.CV

유도 병목: 비전 트랜스포머에서 데이터 주도적 표현 희소성의 창발

The Inductive Bottleneck: Data-Driven Emergence of Representational Sparsity in Vision Transformers

비전 트랜스포머(ViT)는 합성곱 신경망(CNN)에 내재된 계층적 유도 편향(inductive bias)이 없어, 이론상 모든 층에서 고차원 표현을 유지할 수 있다. 그러나 최근 관측에 따르면 ViT는 종종 "U자형" 엔트로피 프로파일을 자발적으로 나타내는데, 중간 층에서 정보를 압축한 뒤 최종 분류를 위해 다시 확장한다. 본 연구에서 우리는 이 "유도 병목(Inductive Bottleneck)"이 구조적 인공물이 아니라 데이터 의존적 적응임을 보인다. 구성적 복잡도가 서로 다른 데이터셋(UC Merced, Tiny ImageNet, CIFAR-100)에서 DINO로 학습된 ViT의 층별 유효 인코딩 차원(Effective Encoding Dimension, EED)을 분석한 결과, 병목의 깊이가 과제가 요구하는 의미적 추상화와 강하게 상관관계가 있음을 보인다. 텍스처 중심 데이터셋은 전 구간에서 고랭크(high-rank) 표현을 유지하는 반면, 객체 중심(object-centric) 데이터셋은 네트워크가 중간 층에서 고주파(high-frequency) 정보를 억제하도록 유도하여, 의미적 특징을 분리하기 위해 병목을 효과적으로 "학습"한다는 점을 발견한다.

arXiv:2507.19474v2cs.CV

DINO-SLAM: 신경 암시적·명시적 표현을 위한 DINO 기반 RGB-D SLAM

DINO-SLAM: DINO-informed RGB-D SLAM for Neural Implicit and Explicit Representations

본 논문은 DINO-SLAM을 제안한다. DINO-SLAM은 DINO가 제공하는 더 포괄적인 의미(semantic) 이해를 통해 SLAM 시스템에서 암시적 표현(Neural Radiance Field, NeRF)과 명시적 표현(Gaussian Splatting, GS)을 향상시키는 DINO 기반 설계 전략이다. 그러나 DINO만으로는 적절한 3D 기하(geometry) 이해가 부족하여 개선 폭이 제한적이다. 따라서 본 연구는 Scene Geometry Encoder(SGE)를 사용하여 DINO 특징(feature)을 기하 인식 DINO 특징(geoDINO)으로 풍부하게 만들고, 순수 DINO 특징이 포착하지 못하는 기하적 관계를 더 잘 이해한다. 이를 바탕으로 geoDINO 특징을 통합한 NeRF 및 GS SLAM 시스템을 위한 두 가지 기본 패러다임을 제안한다. 최신(state-of-the-art) 방법들과 비교했을 때, 제안한 DINO 기반 파이프라인은 Replica, ScanNet, TUM 데이터셋에서 우수한 성능을 달성한다.

arXiv:2603.01115v2cs.CV

LUMOS: 분할을 위한 잠재적 범용 의료 사전지식

LUMOS: Latent Universal Medical Priors for Segmentation

범용 비전 파운데이션 모델(VFM)은 주로 자연 이미지를 기반으로 개발되어 왔으며, 의료 이미지 분할에서의 활용도는 비용이 많이 드는 적응 또는 도메인별 미세조정에 의존하는 것으로 흔히 간주된다. 본 논문에서는 이 가정을 다른 관점에서 재검토한다: VFM 분할기가 시각적 규칙성을 재학습하도록 요구하는 대신, 해부학적 경계 구분에 필요한 저수준 시각적 사전지식이 범용 VFM 내에 이미 잠재되어 있는지를 탐구한다. 우리는 의료 감독 없이도 동결된 VFM이 전이 가능한 시각적 규칙성을 인코딩함을 관찰하였다. 이러한 속성은 자연 이미지에만 국한되지 않고 의료 이미지 이해에도 근본적으로 중요하다. 이 관찰에 동기를 얻어, 범용 VFM 사전지식을 기존 의료 분할기에 증폭시키는 새로운 프레임워크인 LUMOS(Latent Universal Medical PriOrs for Segmentation)를 제안한다. LUMOS는 두 가지 핵심 구성 요소로 이루어진다: (1) 동결된 비전 파운데이션 모델로부터 시각적 단서를 증류하는 Pathfinder, (2) 증류된 시각적 규칙성의 공간적 가이던스로 기존 의료 네트워크에 활력을 불어넣는 Inspiror. 이를 통해 분할기는 제한된 의료 어노테이션만으로 복잡한 시각적 규칙성을 완전히 학습하는 부담에서 벗어나 태스크별 해부학적 경계 구분에 집중할 수 있다. 다양한 의료 데이터셋과 토큰 기반 VFM에 걸쳐, LUMOS는 동결된 토큰 공간이 패치 수준의 패턴 관련성을 보존할 때 범용 VFM이 공간적 사전지식 생성기로 기능할 수 있음을 보여준다. DINO는 안정적인 백본 매칭 성능 향상을 제공하는 반면, SigLIP은 상이한 토큰 세분성과 표현 목표로 인한 VFM 특유의 민감도를 드러낸다.

arXiv:2603.13994v3cs.CV

자기지도 비전 트랜스포머에서의 인간과 유사한 객체 그룹화

Human-like Object Grouping in Self-supervised Vision Transformers

자기지도 학습으로 훈련된 비전 트랜스포머가 인간의 객체 그룹화 지각과 얼마나 잘 정렬되는지를 측정하기 위해, 자연 장면에서 두 점이 동일 객체 위에 있는지를 판단하는 1,000회 이상 규모의 행동 벤치마크를 구축하고 다양한 비전 모델을 평가했다. DINO 목표로 훈련된 트랜스포머 모델이 가장 강한 인간 정렬을 보였으며, 패치 간 유사도 기반의 객체 중심성 메트릭과 Gram 행렬 구조가 이 정렬을 이끄는 핵심 요인임을 확인했다.

arXiv:2606.22556v1cs.CV

HiMatch-AD: DINOv3 기반 학습 불필요 의료 이상 탐지를 위한 계층적 매칭

HiMatch-AD: DINOv3-driven Hierarchical Matching for Training-free Medical Anomaly Detection

의료 영상 분석에서 이상 탐지는 필수적이며, 병리학적 영역은 종종 정상 해부학적 구조로부터 드문 편차로 나타난다. 학습 기반 방법은 유망한 성능을 달성했지만, 과제별 최적화와 광범위한 정상 데이터를 요구하여 모달리티와 기관 간 확장성을 제한한다. 학습 불필요 접근법은 사전학습된 시각 표현을 활용하여 더 큰 유연성을 제공하지만, 기존 방법은 일반적으로 단순한 최근접 이웃 검색과 단순한 집계 전략에 의존하여 계층적 의미를 포착하지 못하고 다중 이상 반응의 신뢰성을 무시할 수 있다. 본 연구에서는 학습 불필요 의료 이상 탐지를 위한 DINOv3 기반 계층적 매칭 프레임워크인 HiMatch-AD를 제안한다. 우리 방법은 먼저 전역 CLS 토큰 유사성과 패치 수준 표현을 함께 고려하는 이중 분기 매칭을 통해 의미적으로 관련된 정상 참조를 검색한다. 그다음 클러스터링된 정상 특징과 쿼리 표현을 비교하여 여러 트란스포머 단계에 걸쳐 계층적 이상 맵을 생성한다. 이상 반응을 견고하게 집계하기 위해, 신뢰성에 따라 맵에 적응적으로 가중치를 부여하는 통합 불확실성 기반 융합 메커니즘을 도입한다. 전체 프레임워크는 어떠한 과제별 학습도 없이 동작한다. 뇌 MRI, 간 CT, 망막 OCT 데이터셋을 포함한 BMAD 벤치마크에 대한 광범위한 실험은 HiMatch-AD가 학습 기반 및 DINO 기반 최신(state-of-the-art) 방법 모두를 일관되게 능가함을 보여주며, 이는 확장 가능한 의료 이상 탐지를 위한 다수준 매칭과 불확실성 인식 융합의 효과를 강조한다.

arXiv:2606.17972v1cs.CV

SegDINO: 효율적인 의료 이미지 분할을 위한 DINO 내 다중 스케일 구조 도입

SegDINO: Introducing Multi-Scale Structure into DINO for Efficient Medical Image Segmentation

자기 지도(self-supervised) DINO 모델은 강력한 전이 가능한 시각 표현을 제공하지만, 이미지 분할에 직접 적용하는 것은 여전히 어렵습니다. 기존 접근 방식은 복잡한 업샘플링(upsampling)을 갖춘 무거운 디코더에 의존하여 상당한 매개변수 및 계산 오버헤드를 초래합니다. 우리는 DINO 특징에 스케일(scale)을 도입하는 것이 디코더 용량을 늘리는 것보다 훨씬 더 중요하다는 것을 관찰했습니다. 본 연구에서 우리는 DINOv3 백본(backbone)과 경량 스케일 모델링을 통합한 효율적인 분할 프레임워크인 SegDINO를 제안합니다. SegDINO는 중간 DINO 특징을 의사 다중 스케일 계층 구조로 재구성하는 토큰 피라미드 적응(Token Pyramid Adaptation, TPA)과 효율적인 스케일 내 정제 및 하향식 다중 스케일 전파를 위한 스케일 인지 디코딩(Scale-Aware Decoding, SAD)을 도입합니다. 또한 우리는 SegDINO가 어려운 소병변(small-lesion) 케이스를 처리하는 능력을 평가하기 위해 전문가가 주석을 단 췌장 종양이 포함된 284명의 환자로 구성된 새로운 CT 데이터셋인 PanCT를 구축했습니다. PanCT와 3개의 공개 벤치마크(benchmark)에 대한 광범위한 실험을 통해 SegDINO가 높은 효율성으로 최첨단(state-of-the-art) 결과를 달성함을 입증했습니다. 코드는 https://github.com/script-Yang/segdino_v2에서 확인할 수 있습니다.

arXiv:2606.11546v1cs.CV

VL-DINO: 오픈 어휘 객체 검출을 위한 CLIP 비전-언어 지식 활용

VL-DINO: Leveraging CLIP Vision-Language Knowledge for Open-Vocabulary Object Detectio

CLIP과 같은 비전-언어 모델은 오픈 어휘 객체 검출(object detection)을 위해 풍부한 의미적 사전(semantic priors)을 제공할 수 있습니다. 그러나 텍스트와 시각 지식을 검출 아키텍처에 공동으로 통합하는 것은 여전히 어려운 과제입니다. 본 논문에서는 CLIP의 비전-언어 지식을 더 효과적인 활용(exploitation)을 통해 DINO를 강화한 오픈 어휘 검출기인 VL-DINO를 제안합니다. 구체적으로, 쿼리 기반 양성 샘플 구성(QPSC) 모듈을 먼저 개발하여 추가적인 고품질 양성 샘플을 구성합니다. 이는 기본 DINO 프레임워크가 이기종 데이터 소스 간의 혼합 학습(training)을 더 잘 수용하도록 하면서 더 많은 비전-언어 정렬(alignment) 신호를 제공하여, 학습 과정에서 더 풍부한 텍스트 지식을 통합할 수 있게 합니다. 이어 비전 시맨틱 인코더(VSE) 모듈을 도입하여 CLIP 시각 지식을 백본에서 추출된 특징으로 증류(distill)하고, 후속 인코더 정제를 위한 융합 특징을 생성합니다. 융합 특징을 기반으로 객체 영역 시맨틱 정렬(ORSA) 모듈은 객체 중심 영역 특징을 추출하고 이를 해당 텍스트 임베딩과 정렬하여 텍스트 단서를 추가로 통합합니다. 제로샷(zero-shot) 설정에서 VL-DINO-T와 VL-DINO-L은 각각 LVIS 벤치마크에서 36.3과 38.1 AP를 달성하여 기존의 고급 방법들을 일관되게 능가합니다. 광범위한 실험을 통해 제안된 설계의 효과와 경쟁력 있는 성능을 입증합니다.

arXiv:2606.06534v1eess.IV

비전 기반 모델이 안내하는 어텐션 일관성 종단적 의료 시각 질의응답

Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models

종단적(longitudinal) 의료 시각 질의응답(VQA)은 현재 시점 이미지와 참조 시점 이미지 간의 해부학적 차이를 추론하는 과제입니다. 우리는 흉부 X선을 대상으로 이 과제를 위한 어텐션 기반 인코더-디코더를 제안합니다. 기존의 직접적인 대비 방식 대신, 소규모 등록 정규화기를 갖춘 경량 어파인(affine) 등록 모듈을 도입하여 현재 이미지를 참조 이미지에 공동 정합(co-registration)함으로써 불필요한 움직임을 줄입니다. 정합된 이미지 쌍은 이미지 인코더에 입력된 후, 고정된 DINO 기반 마스크 생성기와 학습 가능한 적응형 마스크 생성기를 거쳐 원본 이미지 쌍에 적용될 마스크를 생성합니다. 마스킹된 이미지 쌍은 다시 이미지 인코더에 입력되고, 텍스트 특징과 연결되어 멀티모달 트랜스포머 기반 디코더의 입력으로 활용되어 최종 답변을 생성합니다. DINO-v3에서 영감을 받아 학습 안정화 및 변화 신호 명확화를 위해 마스크 재구성 손실, 쌍별 Gram 스타일 일관성 손실, KoLeo 균등성 손실 등의 추가 보조 목적함수를 포함하여 표현의 기하학적 구조를 향상시킵니다. Medical-Diff-VQA 벤치마크에서 본 모델은 높은 BLEU, ROUGE-L, CIDEr, METEOR 점수를 달성하는 동시에 공유 현저성(saliency) 마스크를 통한 내재적 해석 가능성을 제공합니다. 이러한 결과는 경미한 사전 정합과 함께 현저성 조건부 생성이 의료 VQA의 종단적 추론을 위한 원칙적인 프레임워크임을 뒷받침합니다. 또한 우리의 학습 전략은 바이오메디컬 분야에서 이미지 기반 모델을 활용하는 패러다임의 가능성, 즉 지도 학습과 비지도 학습 목적함수를 동시에 최적화하는 방식의 잠재력을 보여줍니다.