LLM 기반 자동 휴리스틱 설계(AHD)는 일반적으로 완전한 인스턴스 또는 고정된 솔버 구성 요소 내에서 실행 가능한 프로그램을 평가한다. 대규모 경로 문제에서 국소적 재구성은 각 최적화 작업의 크기를 줄이지만, 동일한 현행 해(incumbent) 내의 수리(repair) 영역은 상당히 다른 구조를 보일 수 있다. 따라서 하나의 구성 규칙은 이들 사이에서 타협해야 한다. 본 논문에서는 인스턴스 내 특화(within-instance specialization)를 위한 결합 이중 수준(coupled bilevel) 프레임워크인 SpecAHD를 제안한다. 상위 수준 탐색은 경계가 있는 수리 영역을 어디에 노출할지 학습하고, 하위 수준 탐색은 유도된 수리 작업에 대한 상보적인 실행 가능 휴리스틱 레퍼토리를 진화시킨다. 상위 수준 프로그램은 하위 수준이 보게 되는 수리 작업을 결정하고, 검증된 수리 결과는 상위 수준 프로그램이 어떻게 평가되는지를 결정한다. 하위 수준 목적 함수는 평균적으로 잘 수행하거나 현재 레퍼토리가 잘 처리하지 못하는 작업을 해결하는 휴리스틱을 선호한다. 고정된 상위 수준 프로그램과 고정된 하위 수준 후보 풀에 의해 유도된 수리 작업에 대해, 이 목적 함수는 단조 준모듈러(monotone submodular)이며, (1-1/e) 근사 보장을 갖는 탐욕적 레퍼토리 선택을 허용한다. 4개의 경로 문제와 여러 LLM 백본에 걸쳐 SpecAHD는 가장 강력한 경쟁 AHD 기준선 대비 홀드아웃(hold-out) 목적 비용을 최대 57.7%까지 줄이며, 대부분의 공개 인스턴스에서 인스턴스별 기준선 envelope을 능가한다.
어텐션 싱크(attention sink), 표현 붕괴(representation collapse), 노름 계층화(norm stratification)는 트랜스포머 특유의 병리로 취급된다. 우리는 이것들이 어텐션에 특정되지 않음을 보인다. 고정된 유사도 측정(metric) 하에서 콘텐츠 기반 라우팅(content-based routing)이 보이는 현상이다. 재구성 정체성(reframing identity)을 제시한다. 소프트맥스 어텐션은 키 노름이 일정한 유클리드 거리(Euclidean distances)에 대한 볼츠만 가중 집계(Boltzmann-weighted aggregation)이므로, 그 점수는 $-\|k\|^2$ 항을 생략하고 키 크기(key magnitude)에 눈멀다. 이는 표현과 부조화된 측정을 쓰는 모든 라우터가 라우팅을 집중하고 라우팅된 표현을 붕괴시키는 방식으로 보상할 것임을 예측한다. 토큰에 대한 소프트맥스 어텐션(사전학습 트랜스포머 9개), 노드에 대한 그래프 어텐션, 시간축의 선택적 상태공간 모델과 순환 혼합기(recurrent mixer), 깊이에 대한 학습된 잔차(learned residuals) 등 서로 다른 축에서 점수를 매기고 집계하는 라우터에서 이를 검증한다. 모두 동일한 특징(signature)을 발달시키며, 모델 내 두 가지 ablation은 부수적 동역학이 아니라 라우팅 메커니즘에 기인함을 보여준다. 그 형태는 우연적(contingent)이며, 각 라우터가 콘텐츠 점수와 함께 갖는 위치적 제동(positional brake)의 강도에 의해 설정된다. 우리는 그 제동을 스윕(sweep)하여 발현 시점(onset)을 전 범위에서 이동시킨다. 메커니즘은 우연적이지 않으며, 노름 계층화를 요구하지 않는다. 노름 정규화된 키를 가진 라우터도 동일하게 집중한다. 우리는 이 모델들이 리만 기하(Riemannian geometry)를 구현한다고 주장하지 않는다. 기하학적 관점은 평탄하고(norm-blind) 노름에 눈멀은 측정의 부적절성을 진단하는 이름을 부여한다.
지속적 적응(Continual adaptation)은 진화하는 도메인에 걸쳐 배포되는 멀티모달 대규모 언어 모델(MLLM)에 필수적이지만, 최신 MR-LoRA 방법은 복잡한 멀티모달 입력을 처리하기 위해 MLLM 기반 라우터가 필요하다는 가정에 크게 의존한다. 본 논문은 MLLM-CL 벤치마크에서 이 주장을 재검토하고 두 가지 주장을 제시한다. 첫째, 라우팅에 MLLM이 필요하지 않다: 학습 없는(training-free), 리플레이 없는 프로토타입 기반 라우팅 방법인 RePRo는 동결된 사전학습 특징과 태스크 프로토타입을 사용하여 훨씬 낮은 계산 비용으로 MR-LoRA의 MLLM 기반 라우터와 동등한 성능을 달성한다. 둘째, 공유 전문가(shared experts)는 이론적 매력에도 불구하고 MLLM의 지속 학습을 개선하지 않는다. 이러한 발견이 MLLM-CL의 두 가지 구조적 한계에서 비롯됨을 보인다: (1) 태스크들이 표현 공간에서 고도로 분리 가능하며, (2) 고정된 태스크 순서로 인해 결론이 다양한 지속 학습 경로에 걸쳐 견고하지 않고 단일 커리큘럼에 민감하다. 결과적으로 해당 벤치마크는 진정한 지속적 전이(continual transfer)보다 고립된 학습에 주로 보상을 부여한다. 이는 태스크 매니폴드의 중첩, 다양한 태스크 순서, 세밀한 도메인 이동, 그리고 순방향 전이(forward transfer)와 지식 유지(retention) 모두에 보상을 부여하는 평가 프로토콜을 갖춘 미래 지속 MLLM 학습 벤치마크의 새로운 설계 방향을 제시한다.
대규모 언어 모델(LLM) 애플리케이션의 추론 비용은 급증하는 수요와 상승하는 인프라 비용으로 인해 빠르게 증가하고 있습니다. 사용자는 고품질 응답을 기대하며, 상용 환경에서는 이가 서비스 수준 협약(SLA)으로 공식화되어 있어 비용과 품질 사이에 근본적인 상충 관계가 발생합니다. 비용 인식 LLM 요청 라우팅에 대한 최근 진전은 이러한 상충 관계를 해결할 잠재력을 보여주었지만, 기존 접근 방식은 완전한 피드백 신호, 오프라인 학습, 광범위한 워크로드별 튜닝에 의존하며, 대부분 SLA 보장이나 추론 시간 적응성이 부족합니다. 우리는 실제 운영 환경에서 사용 가능한 희소하고 단편적인 사용자 피드백으로부터 비용 최적 정책을 학습하는 온라인 라우팅 알고리즘인 SLARouter를 소개합니다. SLARouter는 비용 최적성과 엄격한 SLA 준수 모두에 대한 이론적 보장을 제공합니다. 다양한 LLM 벤치마크에 걸친 실험 결과, SLARouter는 벤치마크별 튜닝 없이도 SLA 제약 조건을 충족하며, 기존 베이스라인 대비 최대 2.2배까지 운영 비용을 절감하는 것으로 나타났습니다.