기가픽셀 전체 슬라이드 이미지(WSI)는 극단적으로 긴 시퀀스 길이로 인해 비전-언어 모델(VLM)에 근본적인 계산 병목을 일으킨다. 기존 접근법은 주로 공간 샘플링(spatial sampling)이나 학습 없는 가지치기(training-free pruning)에 의존하는데, 이는 약하지만 유익한 신호를 희석시킬 위험이 있으며, 병리학적 단서의 공간적으로 확산된 특성으로 인해 중요한 진단 근거의 손실을 초래한다. 우리는 WSI 토큰 가지치기를 순차적 선택 과정으로 재공식화하여, 정적 휴리스틱에 의존하는 대신 모델이 최적의 라우팅 전략을 자율적으로 학습할 수 있게 한다. 우리는 완전히 사전학습된 SlideChat 기준 모델에 능동적 플러그인으로 통합된 분리형 라우팅 프레임워크를 제안하며, 슬라이드 인코더와 대규모 언어 모델(LLM) 모두를 고정(frozen) 상태로 둔다. 학습 중 미분 불가능한 가지치기 연산에 연속적인 그래디언트를 제공하기 위해 PathSelect를 도입한다. PathSelect는 분산 보존(variance-preserving) 노이즈 게이트를 사용하여 미분 가능한 Soft Top-K 연산자를 통해 각 패치의 정보 흐름을 조절하고, 의미적 누출(semantic leakage) 없이 교란된 표현을 복원하는 대각선-어텐션(d diagonal-attention) Denoiser와 짝을 이룬다. 추론 시 PathSelect 모듈은 완전히 분리된다. 학습된 Scorer만을 사용하여, 결정론적 Hard Top-K 연산자가 적응적이고 데이터 의존적인 궤적 종료(trajectory termination)를 수행하며, 순차적 토큰 선택 지연 시간을 극히 낮게 유지하면서 하류 생성 처리를 크게 가속한다. 최대 제약 K = 128 하에서 경험적 평균 44.86개 토큰만으로 구동되는 우리 프레임워크는 SlideBench(TCGA)에서 74.00%의 전체 정확도를 달성하며, 압축되지 않은 기준선 평균 대비 약 36.6배의 공간 토큰 감소를 나타내면서 샘플링 기반 대안들을 일관되게 능가한다.
작업 기반 이미지 복원(TDIR)에서 잠재 토큰 전체를 갱신하면 계산 비용과 의미 변형이 커지므로, TaskTok은 토큰 공간 분석에 따라 작업 관련 단서가 인덱스별로 특화되어 있음을 활용해 학습 가능한 토큰 스위치와 경량 정제 모듈로 필요한 토큰만 선택 복원한다. 이미지 분류, 의미 분할, 객체 검출 실험에서 전체 토큰 갱신 대비 적은 토큰만 복원해도 하위 작업 성능을 크게 높인다.
인간 시각 시스템(HVS)은 효율적인 지각을 달성하기 위해 포비에이션 샘플링과 안구 운동을 활용하여 대사 에너지와 계산 자원을 절약한다. 이러한 강건성과 적응성에서 영감을 받아, 우리는 포비에이션 기반 동적 토큰 선택 아키텍처인 포비에이티드 다이나믹 트랜스포머(FDT)를 소개한다. FDT는 이러한 메커니즘을 비전 트랜스포머 프레임워크에 통합한다. FDT는 다양한 유형의 노이즈 및 적대적 공격에 대해 높은 복원력을 보이며, 이러한 문제에 대한 명시적인 학습 없이도 이를 달성한다. 이러한 내재적 강건성은 고정(fixation) 모듈과 포비에이션 모듈의 사용을 통해 실현된다. 고정 모듈은 고정점을 식별하여 관련 없는 정보를 필터링하고, 포비에이션 모듈은 다중 스케일 정보를 포함한 포비에이티드 임베딩을 생성한다. 50% 고정 예산 설정에서 FDT는 곱산 연산(multiply-accumulate operations)을 34.57% 줄이면서 DeiT-S보다 높은 정확도(81.9% 대 80.9%)를 달성하여, 정확도-효율성 트레이드오프 상의 한 운영 지점을 부각시킨다. 이러한 특성은 FDT를 적응적 계산과 향상된 복원력을 결합한 인공 신경망을 향한 HVS에서 영감을 받은 진전으로 자리매김하게 한다.
검증 가능한 보상 기반 강화학습(RLVR)에서 토큰 선택 시 엔트로피와 샘플링된 토큰 확률을 각각 단독으로 사용하는 기존 방식의 한계를 해결하기 위해, 두 정보를 결합한 정보이론 기반 지표인 Relative Surprisal Index(RSI)를 제안한다. RSI를 기반으로 한 토큰 필터링 방법 RSI-S는 AIME 및 AMC 벤치마크에서 Qwen2.5-1.5B, 3B, 7B 모델 전반에 걸쳐 GRPO 대비 avg@32 정확도를 2~3%포인트 향상시켰다.
코드 LLM 지도 미세조정에서 토큰 단위 감독은 구문·의미적으로 일관된 프로그램 단위를 깨뜨릴 수 있어, CodeBlock은 구조적으로 완전한 코딩 항목을 선택하는 구조 인식 희소 감독 프레임워크를 제안합니다. 6개 코드 생성 벤치마크에서 감독 응답 토큰의 1.9%만 사용하면서 전체 토큰 지도 미세조정과 선택 기준선보다 더 높은 평균 pass@1을 달성했습니다.