현대 비전 및 언어 모델은 점차 더 긴 토큰 시퀀스를 처리하며, 이를 줄이는 것이 다운스트림 비용을 절감하는 핵심 수단입니다. 그러나 토큰 압축은 근본적인 트레이드오프에 직면해 있습니다. 즉, 토큰을 선택하는 방식은 정보를 폐기하는 반면, 기존 병합 방식은 토큰 간 쌍별(pairwise) 매칭이나 $MN$ 토큰-출력 상호작용을 통해서만 정보를 보존합니다. 본 논문에서는 정렬된 시퀀스에 대해 이러한 트레이드오프를 해결하는 미분 가능한 병합 연산자인 LapMerge를 소개합니다. 이는 학습된 질량 분포가 라플라스 커널(Laplace-kernel) 밀도 하에서 시퀀스를 정확히 $N$개의 동일한 질량 세그먼트로 분할하고, 접두 문맥/접미 스캔이 각 세그먼트를 집계함으로써 순전파와 역전파 모두 $\mathcal{O}(M+N)$ 시간에 실행되도록 합니다. 이러한 정확한 출력 예산(exact output budget), 엔드투엔드 미분 가능성, 선형 비용의 결합은 이전 감축 기법들이 서로 상충하며 포기해야 했던 요소들입니다. 연산자 파라미터를 변경하지 않고도 예산을 변경할 수 있으며, 학습된 질량은 예산이 할당된 위치를 나타내는 토큰 수준 맵의 역할도 겸합니다. 비전 및 비전-언어(vision-language) 작업 전반에서 LapMerge는 강력한 토큰 감축 기법들과 대등하거나 그 이상의 성능을 보이면서도 시퀀스 길이가 길어질 때 최대 두 자릿수(up to two orders of magnitude) 더 빠릅니다. 특히 토큰 순서가 공간적 또는 시간적 국소성을 반영할 때 효과적이며, 드롭인 감축 모듈이자 학습 가능한 아키텍처 구성 요소로서 모두 작동합니다.
비전 트랜스포머(ViT)는 시각적 인식에서 뛰어난 성능을 달성했지만, 자원이 제한된 산업 환경에서의 배포는 여전히 제한적입니다. 주요 과제는 높은 연산 비용, 메모리 요구량 및 에너지 소비입니다. 신경망 구조 탐색(NAS), 토큰 압축, 저정밀도 추론과 같은 개별 효율화 기법들이 널리 연구되어 왔으나, 대부분의 기존 연구는 단일 최적화 축만을 대상으로 하여 정확도를 유지하면서 전반적인 배포 이점을 얻는 데 한계가 있었습니다. 본 논문에서는 구조, 토큰, 비트폭이라는 상호 보완적인 세 가지 축을 결합하여 최적화하는 최초의 총체적 프레임워크 중 하나를 제시합니다. 구체적으로, 이 프레임워크는 신경망 구조 탐색(AutoFormer)을 통해 컴팩트한 백본을 식별하고, 토큰 병합(ToMe)을 통해 정보 처리를 줄이며, fp16 혼합 정밀도 추론을 통해 연산별 실행을 가속화합니다. 본 연구에서는 공격적인 압축 조건 하에서 ImageNet-1K에 대한 정확도-효율성 트레이드오프를 분석합니다. 그런 다음 선택된 구성들을 IC 칩 패키징 검사를 위한 실제 사내 3D X-ray 반도체 결함 분류 데이터셋에 적용합니다. 결과에 따르면 제안된 다축 프레임워크는 다운스트림 산업 작업에서 요구되는 정확도를 유지하면서 처리량을 10배 이상 향상시키고 매개변수 수, FLOPs, 에너지 소비를 10배 이상 절감합니다. 저자들이 아는 한, 이는 ViT에서 구조, 토큰, 비트폭 차원을 결합하여 최적화한 최초의 연구 중 하나이며, 반도체 제조에 맞춤화된 자원 효율적 배포 중심의 최초 연구입니다.
비전-언어 모델(VLM)로 긴 비디오를 처리하는 것은 시각적 토큰(token)의 이차(quadratic) 비용으로 인해 병목 현상이 발생하여, 장시간 추론(inference)의 비용이 매우 높아집니다. 단일 축 압축 방식들이 이를 완화하긴 하지만, 공간적 및 시간적 중복성을 독립적으로 다루기 때문에 뚜렷한 효율성의 한계에 부딪힙니다. 본 논문에서는 이중 축 압축을 통해 이러한 병목 현상을 해소하는 학습(training) 선택형 플러그인인 VETO(비전-언어 모델을 위한 비디오 효율적 토큰 최적화)를 제시합니다: (i) 최적 수송(optimal-transport)에서 영감을 얻은 매칭을 통해 각 프레임 내에서 의미론적으로 유사한 토큰들을 병합하는 프레임 내(intra-frame) 압축기, 그리고 (ii) 시간적으로 중복되는 프레임을 식별하여 병합하는 프레임 간(inter-frame) 압축기입니다. 핵심적인 설계 통찰은 계층적 순서화입니다. 공간적 차원을 먼저 압축함으로써 VETO는 후속되는 전역적 시간 매칭 비용을 대폭 절감하여 단일 축 접근 방식의 효율성 한계를 우회하며, 최신 완전 융합 어텐션(fully-fused attention) 인프라에서 이러한 이점이 더욱 커집니다. 실증적으로 VETO는 정확도를 유지하거나 향상시키면서 최대 45% 더 빠른 추론을 달성합니다(예: LLaVA-OneVision-7B). 극단적인 토큰 결핍 상태(10% 예산)에서 VETO는 55.7%의 정확도를 기록하여 VFlowOpt(54.9%), VisionZip(52.6%), FastV(47.9%)보다 뛰어난 성능을 보입니다. 또한 LLaVA-OneVision, InternVL-2.5, LongVA 전반에 걸친 보편적 적용 가능성을 입증하며, 모든 경우에서 제로샷(zero-shot) 정확도가 유지되거나 향상됨을 확인했습니다.
멀티벡터 비전-언어 검색은 최대 유사도 기반 후기 상호작용(late interaction)을 통해 세밀한 시각적 증거를 보존하지만, 이미지 측의 조밀한 토큰은 저장 및 스코어링 비용을 높인다. 기존 토큰 압축 방법은 이 비용을 줄이지만, 미래의 쿼리 토큰이 선택해야 할 객체 및 영역 수준의 증거를 제거하거나 붕괴시킬 수 있다. 본 논문에서는 이미지 측 프로젝터 후 토큰을 K개의 대표 센트로이드로 압축하면서 원래의 후기 상호작용 인터페이스를 유지하는 객체 인식 토큰 병합 프레임워크인 SaMer를 제안한다. SaMer는 학습 중에만 객체 어노테이션을 병합 사전(merge prior)으로 사용하여 인스턴스 간 혼합을 억제하며, 추론 시 정답 바운딩 박스나 검출기를 필요로 하지 않고, 비전 및 언어 백본을 동결한 채 공유 프로젝션 층만 적응시킨다. K=64 설정에서 SaMer는 이미지 측 토큰의 93% 이상을 제거하고 ColPali 저장 공간을 16.09배 축소하면서, Flickr30K와 MSCOCO에서 R@1 성능을 향상시킨다. 이러한 성능 향상은 객체 인식 병합이 가지치기나 특징 기반 풀링만으로는 제거되거나 붕괴될 수 있는 쿼리 선택 가능한 객체 증거를 보존하기 때문이다. SaMer는 압축 기준선 대비 우수한 성능을 보이며 구문 수준의 그라운딩에서도 더 강한 성능을 나타내는바, 효율적인 멀티벡터 검색은 토큰 수를 줄이는 것뿐 아니라 미래 쿼리 토큰이 선택해야 할 증거를 보존하는 데 달려 있음을 시사한다.
AFFMAE는 데스크탑 GPU에서 고해상도 현미경 이미지의 자기지도 사전학습을 가능하게 하기 위해, 밀집 그리드 가정 없이 적응형 오프-그리드 토큰 병합(off-grid token merging) 기반의 계층적 사전학습 프레임워크를 제안한다. ViT-MAE와 동등한 분할(segmentation) 성능을 유지하면서 사전학습 속도 2배 향상, 메모리 사용량 절반 감소, 1024px 파인튜닝 시 최대 5배의 처리량 향상을 달성하였다.
멀티모달 대규모 언어 모델(MLLM)의 최근 발전은 비전-언어 태스크에서 주목할 만한 성공을 거두었으나, 방대한 양의 비주얼 토큰에서 기인하는 이차 계산 복잡도로 인해 상당한 메모리 및 지연 시간 병목이 발생합니다. 이러한 부담을 완화하기 위해 비주얼 토큰 감소(VTR) 전략이 탐색되었지만, 기존 방법들은 전체 시퀀스와 축소된 시퀀스 간의 위치 및 어텐션 일관성을 간과하여 왜곡된 표현을 초래합니다. 이에 우리는 효율성을 유지하면서 위치 및 어텐션 왜곡을 교정하는 새로운 VTR 프레임워크인 RESTORE를 제안합니다. 구체적으로, 상대 거리를 기반으로 어텐션 가중치를 증강하여 손실된 비주얼 어텐션을 복원하는 간단하면서도 효과적인 보정 방법을 제시합니다. 또한, 특징 평균화 과정에서의 정보 손실을 완화하기 위해 토큰 병합을 위한 독특한 앵커 선택 방식을 도입합니다. 여러 벤치마크에 대한 실험 결과, 우리의 방법이 다양한 감소 방법의 정확도를 일관되게 향상시키며, 계산 효율성을 유지하면서 최첨단 성능을 달성함을 보여줍니다. 프로젝트 페이지는 https://cvlab.yonsei.ac.kr/projects/RESTORE 에서 확인할 수 있습니다.