arXiv:2609.22226v2 cs.CL

Swiss-Knife: 디코딩 시점의 재구성 가능한 외부화 다목적 정렬 프레임워크

Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time

Agnibh Karmakar, Mayur Parvatikar, Shreyash Dhoot, Amit Dhanda, Aman Chadha, Kapil Wanaskar, Vinija Jain, Amitava Das

제출 2026-09-22

한국어 초록

디코딩 시점(decode-time) 정렬 방법은 외부 보상으로 후보 연속 문장을 점수화하고 이를 최대화하는 후보를 선택하여, 고정된(frozen) 언어 모델을 조향한다. 우리는 이러한 공통된 설계가 훨씬 더 큰 설계 공간 속의 하나의 퇴화된(degenerate) 점에 불과하다고 주장한다. 본 논문은 정렬 명세가 일급(first-class) 런타임 객체인 외부화 다목적 정렬 프레임워크 Swiss-Knife를 제안한다. 이 명세는 핫스왑(hot-swap)이 가능한 점수화 블레이드(blade), 배치 노말라이저, 쌍별(pairwise) 집계 연산자, 그리고 선택 규칙으로 구성된다. 여섯 가지 공리(axiom)가 허용 가능한 집계 연산자를 특징짓는데, 우리는 표현 정리(representation theorem)를 증명한다. 즉, 이 공리들을 만족하는 모든 연산자는 $R_i = \sum_{j \neq i} g((\mu_i - \mu_j)/s(\sigma_i,\sigma_j))$의 형태를 가지며, 이는 프로빗(probit) 및 로지스틱 비교 규칙과 점별(pointwise) argmax를 명명된 좌표로 포함하는 두 매개변수 계열이다. 이 계열 안에서 쌍별 집계는 적대적 보상 오염에 대해 Lipschitz 안정성을 갖는 반면 argmax는 그렇지 않으며, 후보 배치 정규화(Candidate-Batch Normalization, CBN)는 보상 모델이 식별될 수 있는 재스케일링(rescaling)에 대해 가중치 단체(simplex)를 불변으로 만든다. 우리의 참조 구현은 DPO-LoRA 블레이드와 불확실성을 고려하는 쌍별 토너먼트를 결합한다. 유용성(helpfulness)/정직성(honesty)/무해성(harmlessness) 단체를 훑으며 평가한 결과, 이 방법은 여섯 가지 디코딩 시점 방법 중 가장 균형 잡힌 프런티어를 달성했으며(조화 $F_1$ 0.797 대 가장 강한 기준선 0.750, $p < 10^{-14}$), 모든 비교 대상 중 가장 낮은 거절률과 가장 높은 유용성을 보였고, 그래디언트 계산 없이 0.05 ms 만에 목적 함수를 재구성한다. CBN을 제거하면 $F_1$이 0.217 하락하며, 메타데이터는 예측된 메커니즘을 확인해 준다. 즉, 분산이 가장 낮은 블레이드는 명목상 영향력 33% 중 9%만을 유지하며, 이러한 붕괴는 예측된 순서를 따른다.

원문 초록

Decode-time alignment methods steer a frozen language model by scoring candidate continuations with an external reward and selecting the maximiser. We argue that this shared design is a single degenerate point in a much larger space. We introduce Swiss-Knife, a framework for externalised multi-objective alignment in which the alignment specification is a first-class runtime object: hot-swappable scoring blades, a batch normaliser, a pairwise aggregation operator, and a selection rule. Six axioms characterise the admissible aggregation operators, and we prove a representation theorem: every operator satisfying them has the form $R_i = \sum_{j \neq i} g((\mu_i - \mu_j)/s(\sigma_i,\sigma_j))$, a two-parameter family containing probit and logistic comparison rules and pointwise argmax as named coordinates. Within it, pairwise aggregation is Lipschitz-stable under adversarial reward contamination while argmax is not, and Candidate-Batch Normalization (CBN) makes the weight simplex invariant to the rescalings under which reward models are only ever identified. Our reference instantiation pairs DPO-LoRA blades with an uncertainty-aware pairwise tournament. Sweeping the helpfulness/honesty/harmlessness simplex, it attains the best balanced frontier of six decode-time methods (harmonic $F_1$ 0.797 vs. 0.750 for the strongest baseline, $p < 10^{-14}$) with the lowest refusal rate and highest helpfulness of any arm, and reconfigures its objectives in 0.05 ms with no gradient computation. Ablating CBN costs 0.217 $F_1$, and the metadata confirms the predicted mechanism: the lowest-variance blade retains 9% of its nominal 33% influence, and the collapse follows the predicted ordering.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22226v2제출 시각 미확인
  2. arXiv:2609.22226v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.