공유 선형 사상은 어디까지 유효한가? 이미지 편집을 위한 특징 공간 조작 가능성 탐색
How Far Does a Shared Linear Map Go? Probing Feature-Space Manipulability for Image Editing
이미지 공간에서의 변환이 모델의 내부 표현(representation)에서 어떻게 나타나는지 이해하는 것은 표현 분석의 오랜 목표였습니다. 이전 연구들은 특징 맵(feature map) 간에 학습된 선형 연산자를 통해 기하학적 변환을 포착할 수 있음을 보여주었으나, 이것이 측광(photometric), 국소적(local) 및 의미론적으로 정의된 편집으로까지 확장될 수 있는지는 여전히 불분명합니다. 본 연구에서는 공간적으로 공유된 선형 사상(shared linear map)부터 비선형 벡터별, 수용영역(receptive-field), 글로벌 트랜스포머 모델에 이르기까지 용량(capacity)을 늘려가며 프로브(probe)를 학습시켜, 기하학적 변환, 측광 편집, 폐색(occlusion), 그리고 디퓨전 기반 의미론적 편집으로 인해 유도된 특징 공간의 변화를 예측합니다. ConvNeXt, SwinV2, DINOv3 전반에 걸쳐, 단일 공유 선형 사상은 지도학습(supervised) 백본에서 훨씬 더 표현력이 뛰어난 프로브만큼 보류된 조작 결과를 거의 잘 예측하는 경우가 많았으며, 이러한 충족성은 일반적으로 깊이가 깊어질수록 증가했습니다. 다만 DINOv3에서는 이러한 양상이 덜 일관되게 나타났습니다. 이러한 결과는 단순한 공간 공유 선형 연산자만으로도 다양한 이미지 조작을 표현하기에 충분한 경우가 많음을 시사하며, 이때 주요 특이 성분(leading singular components)은 의미론적 내용을 포착하고 고차원 랭크 성분은 주로 이미지 세부사항을 정제합니다. 우리는 이러한 발견을 내재적인 선형 특징 공간 기하학의 증거라기보다는 예측적 표현 충족성(predictive representational sufficiency) 관점으로 규정합니다.