mail.doshisha.ac.jp

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.07717v1stat.ML

서브가우시안 데이터에서 측도 간 트랜스포머의 안정성

Stability of Measure-to-Measure Transformers on Sub-Gaussian Data

트랜스포머(Transformer)는 다양한 분야에서 인상적인 실증적 성공을 거두었으나, 이론적 기반은 여전히 상대적으로 덜 확립되어 있습니다. 본 연구는 트랜스포머에 의해 정의되는 측도 간(measure-to-measure) 연산자에 대한 수학적 분석을 수행합니다. 우리는 트랜스포머가 서브가우시안(sub-Gaussian) 입력을 서브가우시안 출력으로 매핑함을 보이며, 이는 소프트맥스(softmax) 연산자의 임의 길이 합성이 잘 정의됨(well-defined)을 보장합니다. 이어서 서브가우시안 입력의 적절한 공간 상에서 트랜스포머가 1-바서슈타인 거리(1-Wasserstein distance)에 대해 횔더 연속(Hölder continuous)임을 보입니다. 이를 통해 서브가우시안 입력과 그 경험적 근사 사이에서 트랜스포머를 따라 발생하는 오차 전파(error propagation)에 대한 추정치를 확립할 수 있습니다. 또한 두 확률 측도에서 단일 확률 측도로 대응되는 연산자인 교차 어텐션(cross-attention) 메커니즘의 평균장(mean-field) 유사체를 연구합니다. 그 결과 교차 어텐션이 두 입력 인자에 대해 서로 다른 횔더 정칙성(Hölder regularity)과 표본 복잡도(sample-complexity)를 보임을 밝힙니다. 마지막으로, 본 연구의 결과를 적용하여 측도 간 트랜스포머에 대한 근사 보장(approximation guarantee)을 도출합니다. 종합적으로 이러한 결과들은 서브가우시안 데이터에서의 트랜스포머에 대해 견고한 안정성 및 유한 표본 이론을 제공합니다.

arXiv:2509.07936v3cs.CV

유도 디퓨전 모델을 활용한 특징 공간 분석

Feature Space Analysis by Guided Diffusion Model

본 논문은 사용자가 지정한 특징(feature)과 매우 일치하는 특징을 가진 이미지를 생성할 수 있는 디코더를 제안하여, 비전 관련 심층 신경망(DNN)의 특징 공간을 분석하는 것을 목표로 합니다. 높은 특징 일치 정확도에 대한 정량적 근거를 바탕으로, 본 디코더는 DNN 특징 공간의 정밀한 분석을 용이하게 합니다. 제안하는 디코더는 각 단계에서 추정된 깨끗한 이미지의 특징과 사용자가 지정한 특징 간의 유클리드 거리를 최소화하도록 사전학습된 디퓨전 모델의 이미지 생성을 유도하는 유도 디퓨전 모델(guided diffusion model)로 구현됩니다. 본 디코더의 주요 장점은 서로 다른 DNN의 특징 공간을 분석할 때 추가 학습이 필요 없는(training-free) 적용성과 단일 상용(COTS) GPU에서의 실용적 실행 가능성입니다. CLIP의 이미지 인코더와 ResNet-50을 대상으로 한 실험을 통해 특징 일치 이미지 생성기이자 시각적 특징 공간 분석기로서 제안 디코더의 유효성을 입증합니다. 코드와 데이터는 https://github.com/ccilab-doshisha/FeatDec 에서 이용할 수 있습니다.