Quick sensitivity analysis for incremental data modification and its application to leave-one-out CV in linear classification problems
원문 초록
We introduce a novel sensitivity analysis framework for large scale classification problems that can be used when a small number of instances are incrementally added or removed. For quickly updating the classifier in such a situation, incremental learning algorithms have been intensively studied in the literature. Although they are much more efficient than solving the optimization problem from scratch, their computational complexity yet depends on the entire training set size. It means that, if the original training set is large, completely solving an incremental learning problem might be still rather expensive. To circumvent this computational issue, we propose a novel framework that allows us to make an inference about the updated classifier without actually re-optimizing it. Specifically, the proposed framework can quickly provide a lower and an upper bounds of a quantity on the unknown updated classifier. The main advantage of the proposed framework is that the computational cost of computing these bounds depends only on the number of updated instances. This property is quite advantageous in a typical sensitivity analysis task where only a small number of instances are updated. In this paper we demonstrate that the proposed framework is applicable to various practical sensitivity analysis tasks, and the bounds provided by the framework are often sufficiently tight for making desired inferences.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어적 스티어링 조사: 대규모 언어 모델 아키텍처 전반의 형용사 효과 분석
Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures
대규모 언어 모델(LLM)을 신뢰할 수 있게 제어하려면, 모델이 언어적 단서를 해석하는 방식에 대한 정밀하고 확장 가능한 이해가 필요하다. 우리는 Shapley 값을 사용해 개별 형용사가 모델 성능에 미치는 스티어링 효과를 정량화하는 엄격한 프레임워크를 제안하며, 일화적 휴리스틱을 넘어 원칙에 기반한 기여도 귀인(attribution)으로 나아간다. MMLU 벤치마크에서 o3, gpt-4o-mini, phi-3, llama-3-70b, deepseek-r1 등 다양한 모델에 대해 100개의 형용사에 이 방법을 적용한 결과, AI 정렬(alignment)에 대한 여러 중요한 발견을 밝혀냈다. 첫째, 소수의 형용사가 불균형적으로 강력한 "레버" 역할을 하지만, 그 효과는 보편적이지 않다. 모델 간 분석은 "계열 효과(family effect)"를 드러낸다: 동일 계열의 모델은 상관된 민감도 프로파일을 보이는 반면, 아키텍처적으로 상이한 모델은 대체로 비상관적으로 반응하여, 만능 프롬프트 전략이라는 관념에 도전한다. 둘째, 후속 집중 연구는 이러한 강력한 형용사의 스티어링 방향이 내재적이지 않고 프롬프트 내 구문적 역할과 위치에 크게 좌우됨을 보여준다. gpt-4o-mini와 같은 더 큰 모델에 대해, 형용사가 상승적으로 증폭하거나, 길항적으로 억제하거나, 서로의 영향을 심지어 뒤집을 수 있는 강력한 비가산적 상호작용 효과에 대한 최초의 정량적 증거를 제공한다. 반면 phi-3와 같은 소형 모델은 더 문자 그대로의, 덜 조합적인(compositional) 반응을 보인다. 이 결과는 모델이 스케일링될수록 프롬프트 해석이 더 정교해지지만 덜 예측 가능해짐을 시사하며, 모델 행동을 견고하게 스티어링하는 데 큰 도전을 제기하고, 조합적이며 모델별 정렬 기법의 필요성을 부각한다.
Generative Latent Kernel Modeling for Blind Motion Deblurring
Addressing Imbalanced Domain-Incremental Learning through Dual-Balance Collaborative Experts
Differentially Private Relational Learning with Entity-level Privacy Guarantees
EtiCor++: Towards Understanding Etiquettical Bias in LLMs
Fragility in Average Treatment Effect on the Treated under Limited Covariate Support
토론
이 논문과 연결된 포럼 글이 아직 없습니다.