참조 LLM의 샘플링 분포가 고보상 영역을 충분히 커버하지 못해 Best-of-N 같은 추론 시점 정렬(inference-time alignment) 방법이 실패하는 문제를 해결하기 위해, BoBN(Best-of-Better-N)은 입력 쿼리와 관련된 고보상 예시를 검색하고 참조 LLM이 이를 대상 태스크의 형식에 맞게 재작성(restyling)한 뒤 문맥 내 학습(ICL)으로 샘플링 분포를 이동시키는 프레임워크를 제안한다. 안전성 정렬 및 수학적 추론 벤치마크 실험에서 BoBN은 파인튜닝 없이 여러 참조 LLM의 응답 품질을 향상시켜 고정된 샘플 수 N에서 더 높은 성능을 달성하거나 동일 성능에 필요한 N을 줄이는 것을 증명 가능한 이론적 근거와 함께 실증적으로 보였다.
추론 시간 정렬(inference-time alignment)은 보조 보상 신호를 사용하여 디코딩 중에 동결된 언어 모델을 조정함으로써, 반복적인 가중치 업데이트 비용을 피한다. 그러나 기존의 추론 시간 정렬 방법들은 일반적으로 단일 스칼라 점수를 최적화하기 때문에, 명시적인 안전성 제약 조건은 무시되거나 수동으로 조정된 패널티를 통해 인코딩되어야 한다. 우리는 안전성 제약 조건 하에서의 일반적인 추론 시간 정렬 프레임워크인 Lagrangian Reward Augmentation(LARA)을 제안한다. 보상 모델과 비용 모델을 포함한 KL-정규화된 제약 목적 함수에서 출발하여, LARA는 제약 조건을 쌍대화(dualize)하고 최적화 문제를 음이 아닌 쌍대 변수에 대한 1차원 볼록 문제로 축소한다. 소규모 캘리브레이션 세트에서 추정된 이 쌍대 변수는 기존의 추론 시간 정렬 방법 내에서 드롭인(drop-in) 채점 신호로 사용할 수 있는 증강된 보상을 정의한다. Best-of-N 재순위화(reranking)와 같은 시퀀스 수준 샘플링 방법의 경우, 캘리브레이션된 쌍대 변수는 기대 비용 제약 문제의 해에 해당한다. 토큰 수준 보상 유도 디코딩 방법의 경우, 동일한 구성이 정확한 제약 정책 보장이 아닌 원칙적인 쌍대 캘리브레이션 휴리스틱을 산출한다. 우리는 시퀀스 수준 및 토큰 수준 추론 시간 정렬 방법 모두에서 LARA를 평가하고, LARA가 유용성-무해성(helpfulness-harmlessness) 트레이드오프를 개선함을 발견하였으며, Best-of-N이 추론 시간 방법 중 최고의 성능을 달성하여 파인튜닝 기반 직접 정렬 베이스라인에 근접함을 확인하였다.
간단한 사용자 지시와 소량의 선호 쌍을 자연어 명세(specification) 프롬프트로 컴파일해 추론 시점에 대규모 언어 모델(LLM)을 조건화하는 spec learning 프레임워크를 제안하며, 기본 모델 파라미터를 갱신하지 않아도 선호 신호가 밀집된 전문 도메인에서는 직접 선호 최적화(DPO)보다 나은 응답을 내는 경우가 많다. 생성된 명세는 사람이 읽을 수 있어 선호 신호를 해석 가능하고 투명하게 드러낸다.
대규모 언어 모델(LLM)의 널리 퍼진 배포로 인해, 새로 학습된 모델이 사용자 지시에 안전하고 효과적으로 응답하도록 하기 위해 모델 정렬이 필수적이 되었습니다. 여러 방법 중에서, 추론 시점 정렬(inference-time alignment)은 출력 생성 중에만 개입(즉, 가이던스를 제공)하므로 종종 더 비용 효율적입니다. 기존 제안들은 특정 정렬된 모델에서 추출한 가이던스를 적용하지만, 그 신뢰성을 적절히 평가하지 못합니다. 그럼에도 불구하고, 우리의 체계적인 평가에 따르면 가이던스의 효과성은 모델마다 크게 다릅니다. 비효과적인 가이던스는 추가적인 혼란을 야기하고 결과적으로 더 많은 개입을 유발하므로, 이러한 과도한 개입은 일반적으로 낮은 성능을 나타냅니다. 개입을 더 효과적이고 효율적으로 만들기 위해, 우리는 이진 결정에서 벗어나 두 모델의 지식을 통합하는 하이브리드 분포를 생성하는 BlendIn이라는 추론 시점 정렬 프레임워크를 소개합니다. BlendIn은 품질 인식 정렬(quality-aware alignment)을 수행하고 신뢰성을 기반으로 각 모델의 기여에 비례하여 가중치를 부여함으로써 추론 시점 정렬을 안정화합니다. 기존 연구와 비교할 때, BlendIn은 신뢰할 수 없는 제안의 가중치를 낮추면서 유익한 가이던스를 보존합니다. BlendIn은 오정렬된 가이던스에 대한 진단 신호와 완화 전략을 모두 제공하며, 도전적인 모델 쌍에서 최대 50%까지 일관된 성능 향상을 달성했습니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/DecayingSeart/BlendIn.
도메인 미세조정은 대규모 언어 모델(LLM)의 안전성을 저하시킵니다: 미세조정된 전문 모델들은 도메인 언어로 표현된 유해한 프롬프트에 쉽게 따릅니다. 안전한 앵커 모델의 로짓을 혼합하는 기존의 추론 시 방어 기법들은 두 모델이 어휘 집합을 공유하도록 요구하므로, 안전성이 가장 크게 저하되는 교차 패밀리 전문 모델에서는 배제됩니다. 저희는 ALIGNBEAM을 제안합니다. 이는 학습이 필요 없는 방법으로, 각 디코딩 단계마다 토큰 단위로 앵커 로짓을 타겟 모델의 어휘로 변환하여 이 제약을 해결합니다. 그 후 작은 LLM 판정자가 K개의 후보 연속 중 가장 안전한 것을 선택합니다. 가중치는 변경되지 않으며, 재학습 없이 배포 시 안전성-유용성 트레이드오프를 조정할 수 있습니다. 교차 어휘 및 동일 어휘 평가 쌍 모두에서, ALIGNBEAM은 작업 정확도와 추론 오버헤드를 실용적인 범위 내로 유지하면서 적대적 벤치마크에서의 거절 비율을 상당히 높입니다. 결과는 모델의 가중치를 변경하지 않고도 추론 시간에 모델 패밀리 간에 안전성 정렬을 전이할 수 있음을 보여줍니다.