Vision Transformers (ViTs) remain vulnerable to localized adversarial attacks, e.g., adversarial patches, while recent test-time defenses mitigate them by suppressing image tokens with abnormally high attention scores. These defenses exploit a strong coupling between attention and adversarial effectiveness: adversarial tokens often need to attract substantial attention to influence the prediction. We introduce adversarial decoys, image patches optimized to redirect attention, and therefore related defenses, towards selected target tokens. Rather than jointly optimizing misclassifications and defense evasion, our approach decouples the two objectives: the original adversarial region induces the incorrect prediction, while a separate decoy manipulates the attention ranking used by the defense. A layer-wise objective increases target-token attention and promotes these tokens above competing non-target ones. Since the decoy optimization is not tied to a specific attack formulation, the method can be easily integrated with any existing adversarial patch attack. Experiments on ImageNet across multiple ViT architectures and adversarial patch attacks show that decoys consistently redirect high attention scores away from the true adversarial region while preserving much of the attack effectiveness against attention-ranking defenses. These results reveal a fundamental limitation of using attention alone as an indicator of adversarial relevance.
Activation-aware low-rank factorization techniques yield strong compression results, but they are generally confined to linear layers, and existing whitening-based theory typically makes an implicit full-rank assumption on layer activations. We introduce a layer representation framework that allows us to understand and extend low-rank factorization beyond linear layers, including standard and grouped convolutions. Within this framework, we provide a broader characterization of whitening-based activation-aware factorization that naturally covers rank-deficient activations, and show that the resulting projection is optimal in terms of layer output distortion. We then use output distortion as a proxy to allocate per-layer ranks under explicit FLOP or parameter count budgets, with negligible overhead via a Lagrangian relaxation of the allocation problem. Together, these components form BALF, an end-to-end, fine-tuning-free pipeline for model compression. Across CNNs and vision transformers on CIFAR-10 and ImageNet-1K, BALF generally achieves higher accuracy than SVD-based factorization baselines at matched FLOP or parameter count targets, and remains competitive with other fine-tuning-free compression techniques.
Rich perceptual structure emerges in modern vision encoders. Several studies have shown that the internal representation in many vision transformers separates foreground objects from the background, however, little is known about the visual cues that have been learned by these models. In this work, we study whether figure-ground organization in a broad range of 25 vision transformers relies on generalizable shape cues, rather than on superficial texture statistics. To do so we train linear probes to classify patches as figure or ground, and evaluate them zero-shot on synthetic stimuli where individual cues are systematically manipulated. For a broad range of vision encoders, we find that probes are robust to the random replacement of textures in the input image, suggesting that the emerging figure-ground organization relies on shape cues. Probes also generalize in a zero-shot fashion to synthetic images where individual shape cues, recognizability and spatial priors are controlled for. Our experiments reveal a strong influence of surroundedness and convexity cues, while results for parallelism and symmetry are more nuanced. More detailed analyses reveal stronger evidence for shape-based cues in larger models, that models trained for object-recognition tend to be less robust to texture changes and that figure-ground information emerges most prominently in middle layers. Taken together, our study demonstrates that emerging figure-ground organization in recent vision encoders relies strongly on generalizable shape cues, advancing our understanding of the internal processing in vision transformers, and opening an exciting avenue for computational research on human visual perception. Code and data is available at https://github.com/mtangemann/mlvbench.
Existing low-light image enhancement methods often suffer from local exposure imbalance and color distortion under complex, non-uniform illumination, while mainstream Vision Transformers lack explicit modeling of physics-based priors for illumination degradation. To address these limitations, we propose GLFS, a Gaussian Light Field Splatting-based Vision Transformer that incorporates continuous light-field priors from 2D Gaussian Splatting (2DGS) as an explicit physical bias into the Transformer self-attention mechanism to guide spatial gain estimation under complex non-uniform illumination. Specifically, GLFS represents scene illumination as a superposition of anisotropic Gaussian basis functions and introduces a physics-informed bias into the self-attention mechanism to adaptively infer a spatial gain field, enabling accurate and spatially uniform restoration under complex illumination conditions. To mitigate color shifts and structural degradation during enhancement, we further introduce a color vector angular loss and a luminance edge loss, with the former enforcing hue consistency and the latter improving the structural fidelity of local details. Extensive ablation studies and quantitative evaluations demonstrate that GLFS achieves competitive overall performance in illumination correction, structure preservation, and perceptual quality, validating the effectiveness of the continuous Gaussian light field prior for low-light image enhancement.
Vision Transformers are typically scaled by increasing depth or width, at the cost of more unique parameters. We explore recursion as an alternative scaling axis that increases effective computational depth through parameter reuse. Yet simply increasing recursion depth does not reliably improve performance because representations from different recursion stages are not fully utilized. We propose Soft Mixture-of-Recursions (SoftMoR), which learns token-wise weights to combine representations across recursion steps, and instantiate it as the Soft Recursive Vision Transformer (SR-ViT). Experiments on ImageNet-1K, COCO, and ADE20K show that SR-ViT can benefit from deeper recursion while adding few parameters. On ImageNet-1K, increasing recursion depth from T=1 to T=3 improves top-1 accuracy from 79.83% to 82.45% with only 1.1M additional parameters. At matched effective depth, SR-ViT also outperforms independently parameterized counterparts with substantially fewer parameters. These results support recursive deepening as an effective, parameter-efficient scaling axis for Vision Transformers. The code is available at https://github.com/sangin-lee/sr-vit .
비전 트랜스포머(ViT)는 시각적 인식에서 뛰어난 성능을 달성했지만, 자원이 제한된 산업 환경에서의 배포는 여전히 제한적입니다. 주요 과제는 높은 연산 비용, 메모리 요구량 및 에너지 소비입니다. 신경망 구조 탐색(NAS), 토큰 압축, 저정밀도 추론과 같은 개별 효율화 기법들이 널리 연구되어 왔으나, 대부분의 기존 연구는 단일 최적화 축만을 대상으로 하여 정확도를 유지하면서 전반적인 배포 이점을 얻는 데 한계가 있었습니다. 본 논문에서는 구조, 토큰, 비트폭이라는 상호 보완적인 세 가지 축을 결합하여 최적화하는 최초의 총체적 프레임워크 중 하나를 제시합니다. 구체적으로, 이 프레임워크는 신경망 구조 탐색(AutoFormer)을 통해 컴팩트한 백본을 식별하고, 토큰 병합(ToMe)을 통해 정보 처리를 줄이며, fp16 혼합 정밀도 추론을 통해 연산별 실행을 가속화합니다. 본 연구에서는 공격적인 압축 조건 하에서 ImageNet-1K에 대한 정확도-효율성 트레이드오프를 분석합니다. 그런 다음 선택된 구성들을 IC 칩 패키징 검사를 위한 실제 사내 3D X-ray 반도체 결함 분류 데이터셋에 적용합니다. 결과에 따르면 제안된 다축 프레임워크는 다운스트림 산업 작업에서 요구되는 정확도를 유지하면서 처리량을 10배 이상 향상시키고 매개변수 수, FLOPs, 에너지 소비를 10배 이상 절감합니다. 저자들이 아는 한, 이는 ViT에서 구조, 토큰, 비트폭 차원을 결합하여 최적화한 최초의 연구 중 하나이며, 반도체 제조에 맞춤화된 자원 효율적 배포 중심의 최초 연구입니다.
기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.
DINOv2와 같은 자기지도학습 비전 트랜스포머(Vision Transformer, ViT)는 풍부한 시각적 표현을 학습하지만, 내부 토큰들의 기능은 여전히 명확히 이해되지 않고 있습니다. 최근 아키텍처들은 배경 영역에서 발생하는 고노름(high-norm) 이상치 패치 토큰을 줄이기 위해 전용 레지스터 토큰을 도입했으나, 두 토큰 유형 모두 의미적 및 기능적 역할이 완전히 규명되지 않았습니다. 본 논문에서는 DINOv2의 레지스터 토큰 및 이상치 토큰 활성화에 희소 오토인코더(SAE)를 학습시켜 이러한 역할들을 분석합니다. 자동화된 해석 가능성 파이프라인, UMAP 클러스터링, CLIP 공간 교차 검증을 통해 레지스터 토큰 특징이 고수준 의미론적 개념과 더 강하게 연관되어 있음을 발견했습니다. 반면 이상치 토큰 특징은 저수준의 구조적, 배경적 및 질감 위주의 패턴과 더 자주 연관됩니다. 나아가 인과적 절제(causal ablation) 실험은 상당한 기능적 비대칭성을 드러냅니다. 즉, 활성화가 가장 높은 레지스터 유래 특징을 교란하면 표현 코사인 유사도가 48.17% 감소하는 반면, 이상치 유래 특징을 교란하면 단 0.31%만 감소합니다. 종합적으로, 본 연구 결과는 자기지도학습 ViT에서 토큰 전문화(token specialization)의 증거를 제공합니다.
우리는 세분 시각 인식을 위한 선택적 이미지 토큰화 방법인 Subtoken Vision Transformer(SubViT)를 제시한다. 표준 Vision Transformer는 각 고정 크기 패치를 단일 토큰으로 압축하지만, 세분 구분은 종종 소수 패치 내의 국소적 변화에 의존한다. SubViT는 전역 컨텍스트를 위해 원래 토큰 시퀀스를 유지하면서 판별적 패치를 여러 서브토큰으로 표현하여 이 불일치를 해소하며, 이로써 가장 필요한 곳에 추가 용량을 할당한다. 어텐션 헤드는 상호 보완적인 의미론을 인코딩하고, 추론 시 어텐션 맵을 추출하려면 추가적인 백본 순전파가 필요하므로, 우리는 2단계 학습 전략을 채택한다. 1단계에서는 무작위 어텐션 헤드에서 샘플링한 분할 영역을 사용해 ViT를 파인튜닝하여, 모델을 다양한 분할 패턴에 노출시킨다. 2단계에서는 특징 저하 거리를 통해 정보성 있는 어텐션 맵을 식별하고, 이를 경량 단일 맵 라우터로 증류하여, 별도의 어텐션 순전파 없이 결정적 토큰 중요도 점수를 직접 예측한다. 우리는 세분 판별과 미표지 신규 범주로의 일반화 모두를 요구하는 도전적 과제인 Generalized Category Discovery(GCD)에서 SubViT를 평가한다. CUB, FGVC-Aircraft, Stanford-Cars에서 SubViT는 DINOv2의 평균 신규 범주 정확도를 $81.3\%$에서 $84.7\%$로 향상시키며, 추가 지연은 $0.50$ ms, FLOPs는 $3.4\%$만 증가하면서도 Retina Patch 대비 지연을 $73.8\%$ 줄인다. 코드: \href{https://github.com/jiezhu23/SubViT_ACCV26}{SubViT}.
DINOv2와 같이 비전 트랜스포머(ViT) 백본을 사용하는 비전 파운데이션 모델(VFM)은 객체 인식 및 시맨틱 분할(semantic segmentation)과 같은 다운스트림 작업에 필수적인 요소가 되었다. 백본의 막대한 연산 요구량으로 인해 엣지 배포를 위해서는 더 작은 아키텍처로의 증류가 필요한 경우가 많다. 특징 기반 지식 증류(KD)는 흔히 교사-학생 간 격차(teacher-student gap) 문제를 겪는데, 이는 학생 모델이 제한된 용량으로 인해 교사의 복잡한 특징 맵을 모방하는 데 어려움을 겪기 때문이다. 이러한 병목을 완화하기 위해, 우리는 ViT 특징 기반 지식 증류를 위한 학습 커리큘럼인 Dyna-DINO: 적응형 표현 앵커링을 통한 효율적인 ViT 증류를 제안한다. 교사의 중간 특징 맵을 점진적으로 난이도가 높아지는 일련의 목표로 활용함으로써, 우리의 커리큘럼은 학생이 더 높은 수준의 추상화를 다루기 전에 기초적인 표현을 구축할 수 있도록 한다. 실험 결과는 이 패러다임이 다양한 학생 모델 크기와 데이터셋 규모에 걸쳐 적응적 난이도 선택을 통해 수렴을 크게 가속화함을 보여준다. 우리의 커리큘럼을 적용하면, Dyna-DINO로 증류된 ViT-S는 ImageNet-100에서 90.1%의 정확도를 달성하며, 이는 기준선 대비 +12.24%의 향상이다. ImageNet-1K에서 Dyna-DINO는 Oxford 및 Paris 데이터셋의 인스턴스 검색(instance retrieval) 작업에서 각각 +3.9% 및 +6.09%의 향상을, 시맨틱 분할 작업에서 +1.93%의 향상을 달성했으며, 분류 작업에서도 의미 있는 성능 향상을 보였다. 또한, 이 커리큘럼은 학습 초기 단계에서 교사 추론에 조기 종료(early-stopping)를 적용함으로써 ImageNet-100에서 학습 FLOPs의 25.1%와 학습 시간의 21%를 절감할 수 있게 한다. 코드는 https://github.com/KevinZ0217/Dyna-DINO 에서 확인할 수 있다.
비전 트랜스포머(ViT)는 패치 토큰 간의 전체-대-전체(all-to-all) 셀프 어텐션을 통해 풍부한 시각-의미 표현을 학습한다. 그러나 이러한 설계는 효과적인 표현 학습을 위해 직접적인 패치 간 쌍별 상호작용이 필수적이라고 암묵적으로 가정한다. 본 연구에서는 이러한 가정에 도전하며, 직접적인 패치-대-패치 상호작용 없이도 전역 인식(global recognition)과 밀집 예측(dense prediction)을 모두 지원하는 표현을 학습할 수 있음을 보인다. 우리는 소수의 학습된 코어에 의해 매개되는 코어-주변부(core-periphery) 구조의 어텐션을 갖는 비전 트랜스포머인 VECA(Visual Elastic-Core Attention)를 제안한다. 패치 토큰은 오직 이 코어들을 통해서만 전역 정보를 교환하며, 전체 밀집 패치 집합은 보존된 채 레이어를 거치며 반복적으로 업데이트된다. 이는 어텐션 복잡도를 $O(N^2)$에서, 고정된 코어 예산 $C$에 대해 패치 수 $N$에 선형인 $O(N)$으로 줄인다. 기존의 잠재 토큰 교차 어텐션(latent-token cross-attention) 아키텍처와 달리, VECA는 공간적 표현 자체를 압축하지 않으면서도 희소한 전역 통신을 가능하게 한다. 코어 축을 따른 중첩 학습(nested training)은 또한 재학습 없이도 추론 시점에 단일 모델이 연산량과 정확도 간의 균형을 탄력적으로 조정할 수 있게 한다. 이미지 분류 및 밀집 예측 과제 전반에서 VECA는 전체 어텐션 백본과 경쟁력을 유지하며, 평가된 선형 복잡도 대안들을 대부분의 벤치마크에서 능가한다. 또한 명시적인 지도(supervision) 없이도 이러한 코어들은 비디오 프레임 간 객체 레이블 전이(object-label transfer)를 지원하는 의미론적으로 조직화된 구조를 발전시킨다. 이러한 결과는 직접적인 전체-대-전체 패치 상호작용 없이도 효과적인 시각적 표현을 학습할 수 있음을 보여준다.
Newton-Schulz(NS) 반복은 최근 대규모 언어 모델 학습 중 업데이트 행렬을 변환하기 위해 Muon 옵티마이저에서 사용되었다. 이러한 스펙트럼 효과에 착안하여, 본 연구에서는 NS를 트랜스포머 어텐션 표현에 직접 적용하는 방법을 탐구한다. 우리는 각 어텐션 헤드의 출력에 적용되는 매개변수가 없는(parameter-free) 변환인 Newton-Schulz Attention(NS-Attn.)을 제안한다. 각 헤드 출력은 특징×토큰(feature-by-token) 행렬로 배열되어 Frobenius 노름으로 정규화된다. 이후 유한 횟수의 NS 다항식 단계를 적용한 뒤 원래의 노름을 복원한다. 이는 표준적인 헤드 병합 및 출력 투영 이전에 스펙트럼 집중을 줄이고 유효 랭크(effective rank)를 높이는 것을 목표로 한다. CIFAR-10과 CIFAR-100에서 ViT와 Swin을 대상으로 한 실험에서, NS-Attn.은 시드를 맞춘 12개의 비교 모두에서 최종 에포크 정확도를 향상시켰으며, 평균 향상 폭은 0.25~0.83 퍼센트 포인트이다. ViT 어블레이션에서는 반복 횟수가 한 번일 때가 두 번일 때보다 평균 정확도가 더 높았다. 스펙트럼 분석 결과 또한 최대 고유값 집중이 감소하고 유효 랭크가 증가함을 보여준다. 이러한 성능 향상에는 추가적인 추론 지연 시간이 수반된다.
DINO 스타일 목적 함수로 학습된 자기지도 비전 트랜스포머는 시각 과제 전반에서 놀라운 수준의 창발적 시맨틱 표현 품질을 보이지만, 이러한 행동을 뒷받침하는 메커니즘은 여전히 불명확하다. 우리는 DINO 계열에 대한 체계적인 실증적 해부를 제시하고, 시맨틱 표현이 주로 동일한 이미지 인스턴스의 기하학적으로 서로 다른 글로벌 뷰(global view) 사이의 일관성을 강제함으로써 형성됨을 보인다. 이 인스턴스 특이적 글로벌 정렬은 DINO 스타일 학습의 시맨틱 닻(anchor) 역할을 한다. 시맨틱 대응(semantic correspondence)과 다양한 2D 및 3D 다운스트림 과제에서 평가한 통제된 재학습 실험 전반에서, 패치 수준 마스킹 목적은 이 글로벌 정렬과 공동으로 학습될 때만 시맨틱을 향상시키며, 이는 iBOT 목적이 독립적으로 시맨틱 구조를 생성하기보다 기존 시맨틱 구조를 정제하고 조밀하게 한다는 것을 시사한다. 대조적으로, 로컬-투-글로벌 뷰 정렬은 순수한 글로벌 정렬을 넘어 고정된 연산량에서 시맨틱 특성을 실질적으로 개선하지 않는다. 학습 설계를 넘어, 시맨틱 표현 품질을 어떻게 평가해야 하는지를 재검토한다: 분류 정확도가 표준 검증 점수인 반면, 시맨틱 대응은 다운스트림 과제 성능을 더 신뢰성 있게 예측하는 보완적 축을 제공한다. 종합하면, 이러한 발견은 DINO 스타일 학습의 기능적 분해를 제공하며, 자기지도 비전 모델에서 시맨틱 표현이 어떻게 창발하는지 이해하는 데 중요한 한 걸음을 나타낸다.
비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/
자동 수면 단계 분류를 위한 기존 심층 학습 방법은 이질적인 기록 조건에서 견고성이 제한되는데, 비정상성 노이즈, 피험자 간 차이, 데이터셋 간 분포 이동이 불안정한 특징과 낮은 일반화를 유발한다. 본 연구는 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크인 DualStabSleepNet(DSSNet)을 제안하며, 데이터 영역과 특징 영역 모두에서 견고성을 향상시킨다. 다채널 다원수면기록(PSG) 전처리 후, 연속 스케일 확산 기반 안정화 모듈이 생리학적 신호 구조를 보존하면서 노이즈를 억제한다. 안정화된 신호는 시간-주파수 표현으로 변환되어 Vision Transformer 백본에 입력된다. 교사-학생 유도 확산 특징 안정화 모듈이 특징 drift를 추가로 완화하고 다수준 특징 일관성을 강제한다. 공개 PSG 데이터셋 SleepEDF-20, SleepEDF-78, SHHS, ISRUC-S3 네 곳에서 평가한 결과, DSSNet은 각각 89.2%, 88.0%, 89.7%, 86.7%의 최첨단 정확도를 달성했으며 macro-F1과 Cohen's kappa도 개선되었다. 어려운 전이 단계(예: SHHS에서 N1에 대해 12.5%p 향상)에서 눈에 띄는 개선을 보였고 N2/REM 인식도 향상시켰다. 데이터셋 간 설정에서는 DSSNet이 분포 이동에 견고하며, 대상 데이터셋에서 학습한 baseline과 동등하거나 더 우수한 성능을 보여, 이질적인 코호트 전반의 실제 수면 단계 분류에 대한 실용적 잠재력을 입증한다.
농경지 경계를 정확히 구획하는 것은 효과적인 작물 모니터링과 자원 관리에 필수적이다. 그러나 경쟁 방법론들은 종종 구름 없는 데이터 큐레이션에 대한 광범위한 수작업 의존과 다양한 전 세계 조건에 대한 제한된 적응성 등 상당한 어려움에 직면한다. 본 논문에서는 Sentinel-1(S1) 또는 Sentinel-2(S2) 위성 영상의 3차원 시계열을 처리하도록 특별히 설계된 심층 학습 아키텍처 PTAViT3D를 제안한다. 또한 S1과 S2 데이터셋을 융합하기 위해 교차 어텐션(cross-attention) 메커니즘을 통합한 PTAViT3D의 확장인 PTAViT3D-CA를 제시하여, 구름 오염이 있는 상황에서의 강건성을 높인다. 제안 방법은 메모리 효율적인 3D Vision Transformer 아키텍처를 통해 시공간 상관을 활용하여, 전처리된 구름 영향 영상으로부터 직접 정확한 경계 구획을 가능하게 한다. 우리는 호주의 ePaddocks—호주 작물 재배 지역을 아우르는 CSIRO의 전국·대륙 규모 농경지 경계 제품—를 비롯해 공개 벤치마크 Fields-of-the-World, PASTIS, AI4SmallFarms 등 다양한 데이터셋에서 광범위한 실험을 통해 모델을 종합적으로 검증했다. 결과는 일관되게 최신 최고(state-of-the-art) 성능을 보여 주며, 뛰어난 전 세계 전이 가능성과 강건성을 부각한다. 특히 본 접근법은 구름 영향 영상을 안정적으로 처리함으로써 데이터 준비 워크플로를 크게 단순화하고, 이에 따라 다양한 농업 환경에 걸친 강한 적응성을 제공한다. 코드와 모델은 https://github.com/feevos/tfcl 에서 공개되어 있다.
단안 RGB 기반 손 자세 추정은 컴퓨터 비전(CV) 분야에서 중요한 핵심 연구 분야로 떠올랐습니다. 로컬 손 자세 추정 방법은 손목을 기준으로 손 자세를 예측하는 반면, 글로벌 손 자세 추정은 카메라 좌표계에서 손목의 위치까지 추정해야 합니다. 그러나 이러한 카메라 공간 추정은 두 가지 근본적인 문제에 직면합니다. (1) 단안 환경에서의 깊이 모호성, 그리고 (2) 원근 투영에서 손의 로컬 자세와 글로벌 손목 위치 간의 결합 효과(coupling effect)입니다. 특히 이러한 결합은 원근 투영이 손의 로컬 자세, 손목 위치, 카메라 내부 파라미터(intrinsics)에 의해 공동으로 결정된다는 점을 반영합니다. 이러한 문제를 극복하기 위해, 본 프레임워크는 주류 인코더-디코더 아키텍처 내에 통합된 두 가지 핵심 혁신을 제안합니다. 바로 손 깊이 정보 추출을 위한 변환-동형 감독(Transformation-Isomorphism Supervision)과 로컬 자세 및 손목 위치 간의 상기 결합 효과를 해결하기 위한 원근 정보 임베딩(Perspective Information Embedding)입니다. 아울러 순차적 자세 정제를 위한 프레임 레이트 인식 다중 데이터셋 학습 전략을 새롭게 제안합니다. 완전히 통합된 본 접근 방식은 HO3D에서 기존 SOTA 대비 CS-MJE 기준 최대 37.1%의 우수한 성능을 달성합니다. 프로젝트 페이지: https://github.com/Mine268/CS-ViT.
비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.
Vision Transformers versus convolutional neural networks for fine-grained orchid genus identification in a species-rich, data-poor flora: a controlled benchmark on the Orchidaceae of New Guinea
뉴기니는 세계에서 가장 풍부한 섬 식물상(난초 약 2,856종)을 보유하고 있지만, 대부분의 종은 소수의 사진으로만 대표되며, 이는 종 수준의 직접 분류에 필요한 것보다 훨씬 적다. 이처럼 종 다양성은 높지만 데이터가 부족한 식물상에서 세분화된 식별(fine-grained identification)을 위한 방법이 필요하지만, 어떤 백본(backbone) 아키텍처와 사전학습(pretraining) 전략이 이를 가장 잘 뒷받침하는지는 아직 명확하지 않다. 우리는 먼저 쿼리 사진의 속(genus)을 예측한 다음, FAISS를 이용해 후보 종의 시각적으로 유사한 참조 이미지를 검색하는 2단계 시스템을 구축했다. 우리는 사전학습된 네 가지 백본 -- 두 개의 비전 트랜스포머(Vision Transformer, ViT; DINOv2, BioCLIP 2)와 두 개의 CNN(ConvNeXt V2-L, EfficientNetV2-L) -- 을 120개 속과 1,350개 종에 걸친 16,701장의 사진으로 구성된, 종 층화(species-stratified)된 고정 분할 데이터셋에서 동일한 프로토콜로 파인튜닝(fine-tuning)하여 비교했으며, 정확도, 보정(calibration), 오류 구조, 종 검색(retrieval), 그리고 새로운 속에 대한 오픈셋(open-set) 탐지를 평가했다. DINOv2가 가장 우수한 속 수준 성능을 달성했다(매크로 top-1 66.9%, 95% 신뢰구간 63.7-70.6; 전역 top-1 88.9%). 두 ViT 모두 두 CNN보다 우수한 성능을 보였으며, 범용 자기지도학습(self-supervised) 사전학습(DINOv2)이 도메인에 특화된 생물학적 사전학습(BioCLIP 2)보다 매크로 top-1 기준 7.1점 더 높은 성능을 보였다. 오류는 오류 유인체(error attractor) 역할을 하는 두 개의 개체수가 많은 속에 집중되었다. DINOv2 임베딩(embedding)은 종 수준 재현율(Recall@5) 86.6%와 속 수준 재현율(Recall@5) 98.7%를 달성했으며, 온도 스케일링(temperature scaling)은 모든 백본의 기대 보정 오차(Expected Calibration Error)를 약 0.03까지 감소시켰다. 또한 거리 기반 오픈셋 게이트는 보지 못한 속을 탐지해냈다(평균 AUROC 0.958). 임베딩 검색과 결합된 자기지도학습 비전 트랜스포머 백본은 종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 식별을 위한 효과적이고 실용적으로 배포 가능한 전략이다. 이 시스템은 공개 웹 애플리케이션(New Guinea Orchid Identifier)으로 공개되었으며, 다른 초다양성(hyperdiverse)의 미문서화된 분류군에도 적용 가능한 실용적인 템플릿을 제공한다.
새우 질병은 양식업(aquaculture)에 계속해서 막대한 손실을 초래하고 있어, 견고하고 자동화된 탐지 기술에 대한 필요성이 절실하다. 본 연구는 비전 트랜스포머(Vision Transformer, ViT)와 자기지도학습(Self-Supervised Learning, SSL)을 새우 양식 분야에 최초로 적용하여, 성능 병목 현상과 데이터 레이블링 문제를 동시에 해결한다. 우리는 4,348장의 이미지로 구성된 데이터셋을 사용하여 정상(Healthy), 검은 아가미병(Black Gill, BG), 백점바이러스병(White Spot Syndrome Virus, WSSV), 그리고 두 질병의 동시 감염이라는 4가지 주요 질병 범주를 분류하기 위한 두 가지 심층 학습 파이프라인을 제안한다. 첫째, 우리의 지도 전이학습(supervised transfer-learning) 접근법은 ImageNet으로 사전학습된 ViT-Small/16과 EfficientNet 백본을 활용한다. 둘째, 미세조정(fine-tuning) 이전에 레이블이 없는 이미지로부터 견고한 표현(representation)을 추출하기 위해 ViT-Small 인코더를 사용한 대조학습(contrastive learning) 프레임워크(SimCLR)를 도입한다. 우리의 결과는 지속 가능한 양식업 모니터링을 위한 강력한 새로운 베이스라인을 확립한다. 지도학습 접근법은 빠른 수렴 속도와 함께 96%라는 뛰어난 정확도를 달성하여 기존의 범용 모델들을 능가했으며, 레이블 효율적인 SSL 접근법은 85%의 매우 경쟁력 있는 검증(validation) 정확도에 도달했다.