기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.
사후 학습 양자화와 가지치기는 소규모 보정 코퍼스에 의존한다. 금융과 같은 전문 도메인에서 도메인에 맞춘 보정 데이터가 필요한지는 아직 정립되지 않았다. 우리는 답이 도메인 불일치가 아니라 압축으로 인한 과제 수준의 손상에 달려 있다고 주장한다. 압축이 목표 역량을 보존하면 보정 코퍼스를 바꿔도 영향은 거의 없다. 압축이 큰 손실을 일으키면, 과제 형식의 보정으로 손실의 일부를 회복할 수 있다. 이 가설을 두 모델 계열, 여섯 가지 압축 설정, 세 가지 토큰 매칭 보정 코퍼스, 열 개의 금융 분류 및 수치 질의응답 과제에 걸쳐 검증한다. 결과는 이 가설을 뒷받침한다. 양자화는 과제 성능을 대체로 보존하며, 이 경우 보정 선택은 거의 영향을 주지 않는다. 가지치기는 수치 QA 정확도를 40점 이상 낮춘다. 이러한 손상된 설정에서는 다른 일반 코퍼스는 도움이 되지 않지만, 금융 과제 예시의 혼합물인 FinMix는 손실의 상당 부분을 회복한다. 손상과 회복 사이의 연관은 모델 계열과 스케일에 걸쳐 성립한다. 이 발견은 실용적인 규칙을 뒷받침한다. 먼저 과제별 압축 손상을 측정하고, 손상이 클 때만 전문화된 보정 데이터를 구성한다.
클라우드, 엣지, 기업 환경 전반에 걸친 머신러닝 시스템의 급속한 배포는 모델 최적화를 시스템 엔지니어링의 핵심 과제로 부각시켰다. 양자화, 가지치기, 지식 증류, 매개변수 효율적 미세조정(PEFT), 추론 시간 최적화에 이르는 풍부한 문헌에도 불구하고, 실무자들은 원칙적인 방법론보다는 휴리스틱을 통해 이러한 기법들을 탐색하는 경우가 많다. 우리는 최적화를 제약 기반 다목적 엔지니어링 의사결정으로 공식화해야 한다고 주장하며, 데이터 가용성, 지연 시간 예산, 메모리 예산, 정확도 허용치, 재학습 예산의 다섯 가지 상호작용하는 제약 차원을 따라 모든 프로덕션 배포를 특성화하는 통합 프레임워크를 제안한다. 이 분류 체계를 바탕으로, 연구 문헌 전반에 보고된 실증적 이득을 종합하고 이를 알고리즘 범주가 아닌 운영상 제약에 매핑한다. 실용적 관련성을 확보하기 위해, 우리는 최근 문헌을 검토하여 핵심 배포 병목에 대한 측정 가능한 개선을 보고하는 방법들을 선별했다. 우리는 규범적 의사결정 프레임워크를 제안하고, 실무에서 이를 설명하기 위해 네 가지 대표적인 산업 시나리오에 대한 최적화 파이프라인을 제공한다. 우리가 아는 한, 본 연구는 연구 문헌의 정량적 증거를 종합하여 모델 최적화를 제약 인식 다목적 엔지니어링 프로세스로 공식화하려는 최초의 구조화된 시도 중 하나를 제공한다.
혼합 번들 가격 책정(Mixed bundle pricing)은 이커머스, 관광, 비디오 게임 등 다양한 산업에서 발생하는 고전적인 수익 관리 문제입니다. 이는 기대 이익을 최대화하기 위해 제품 조합(즉, 번들)을 설계하고 가격을 결정하는 것을 의미합니다. 정확한 혼합 번들링 모델은 이 구조를 포착하지만, 후보 번들의 수가 제품 수에 따라 지수적으로 증가하기 때문에 계산적으로 다루기 어렵습니다. 우리는 (비)가산적 가치 평가를 갖는 번들 가격 책정을 위한 그래프 신경망(GNN) 유도 가지치기 후 최적화 프레임워크를 개발합니다. 이 방법은 각 인스턴스를 소형 세그먼트-제품 그래프로 표현하고, 세그먼트-제품 포함 확률을 예측하여 지수적인 번들 공간을 소규모 후보 집합으로 가지치기합니다. 최종 가격과 번들 제공물은 보존된 번들에 대해 혼합 번들링 공식을 풀어 얻으며, GNN 유도 지역 탐색으로 추가 정제될 수 있습니다. 정확한 레이블은 소규모에서만 사용 가능하기 때문에, 우리는 반복적 자기 개선 절차를 추가로 제안합니다: 현재 GNN 정책이 대규모 인스턴스에서 고품질 솔루션을 생성하고, 이를 더 큰 규모에서 더 강력한 모델을 학습하기 위한 근사 최적 레이블로 활용합니다. 이론적으로, 온화한 조건 하에서 제안된 에지 출력 GNN 클래스가 최적 제품 배정 매핑을 표현하기에 충분히 표현력이 있음을 보이며, 이는 에지 수준 학습 목표를 정당화합니다. 수치 실험에서 가장 빠른 제안 정책은 최대 100개 제품 인스턴스에서 번들 크기 가격 책정 대비 13~21% 높은 이익을 약 2%의 실행 시간으로 달성합니다.
대규모 언어 모델(LLM)은 다단계 추론(multi-step reasoning)에 탁월하지만 상당한 추론(inference) 비용이 발생합니다. 우리는 추론 작업에 대한 인과적 영향을 측정하여 중요한 어텐션(attention) 헤드를 식별하고, 이 헤드 수준 점수를 사용하여 세밀한 가중치(weight) 가지치기(pruning)를 안내하는 학습(training)이 필요 없는 방법인 인과 귀속 가지치기(Causal Attribution Pruning, CAP)를 소개합니다. 각 어텐션 헤드에 대해 CAP는 소규모 추론 문제 보정(calibration) 세트에 대한 순전파(forward pass) 중 헤드가 마스크(mask)될 때 예상되는 성능 저하를 추정합니다. 이러한 인과 점수는 해당 투영 행렬(projection matrices)에 대한 가중치 수준 중요도 값으로 변환됩니다. 크기 기반(magnitude-only)이나 활성화 기반(activation-based) 기준과 달리, CAP의 개입 측정(interventional measurement)은 각 헤드의 기능적 기여를 직접 포착하여 20% 희소성(sparsity)에서 ARC-Challenge 벤치마크(benchmark)상 Wanda 대비 최대 61%의 상대적 정확도 향상을 이끌어냅니다. 우리는 10%, 20%, 50% 희소성에서 Llama-3-8B-Instruct 및 Mistral-7B-Instruct를 사용하여 GSM8K, StrategyQA, ARC-Challenge에서 CAP를 평가했습니다. 중간 수준의 희소성(10-20%)에서 CAP는 대부분의 모델-벤치마크 구성에서 Wanda보다 우수한 성능을 보였으며, 특히 Llama-3의 ARC-Challenge에서 큰 향상을 보였습니다. 우리의 결과는 동등한 희소성에서 어텐션 헤드 수준의 인과 귀속이 상관관계 기반 가지치기 기준보다 다운스트림 벤치마크(downstream benchmarks)에서 추론 성능을 더 잘 보존할 수 있음을 시사하지만, 50% 희소성에서는 거친 MLP 귀속(coarse MLP attribution)에 의해 여전히 제한됨을 보여줍니다.