arXiv:2608.30319v1 cs.CL

토큰 수준 가이던스를 넘어서: 교차 패밀리 표상 스티어링을 통한 특화 대규모 언어 모델의 추론 시점 정렬

Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering

Jin Gan, Xin Li, Jun Luo

제출 2026-08-31

한국어 초록

특화 도메인에 맞춰 파인튜닝(fine-tuning)된 대규모 언어 모델(LLM)은 매우 중요한 고영향(high-impact) 응용 분야를 나타냅니다. 추론(inference) 시점 정렬(alignment)은 상당한 연산 자원을 요구하지 않고도 특화 파인튜닝으로 인해 저하된 안전성(safety)을 향상시키며, 사용하기 쉬운 플러그 앤 플레이(plug-and-play) 솔루션으로서 파인튜닝 기반 방식을 보완합니다. 그러나 기존 추론 시점 방식들은 도메인 역량을 훼손하지 않으면서 안전성을 안정적으로 개선하는 데 실패합니다. 우리는 근본 원인을 상호보완적 전문성의 직교성(complementary expertise orthogonality)으로 규명합니다. 특화된 베이스 모델과 일반 도메인 가이던스 모델은 서로 직교하는 역량을 가지고 있어, 가이던스 신호가 특화 생성에 비신뢰적이게 됩니다. 이는 주로 정지 토큰(stop token) 간섭으로 나타나는데, 가이던스 모델의 생성 지속 경향이 베이스 모델의 중단 결정을 무시하여 정답이 가이던스로 유도된 생성 지속 아래 묻히게 만듭니다. 이 문제를 해결하기 위해, 우리는 모든 패밀리의 가이던스 모델에서 추출한 안전성 방향을 활용하여 베이스 모델의 은닉 표상(hidden representation)을 스티어링함으로써 토큰 수준의 구조적 한계를 완전히 회피하는 추론 시점 정렬 기법인 CREST를 제안합니다. CREST는 특화로 인해 약화된 안전성을 개선하는 동시에 도메인 특화 역량과 이미 잘 정렬된 모델의 안전성을 모두 보존하며, 안전성 벤치마크(benchmark)에서 베이스라인 대비 최대 22.2\% 뛰어난 성능을 보입니다. 코드 사용 링크: https://github.com/DecayingSeart/CREST.

원문 초록

Large language models (LLMs) finetuned for specialized domains represent crucial high-impact applications. Inference-time alignment improves safety degraded from specialization finetuning without requiring substantial computational resources, complementing finetuning-based methods with an easy-to-use, plug-and-play solution. However, existing inference-time methods fail to reliably improve safety without disrupting domain capability. We identify the root cause as complementary expertise orthogonality: specialized base models and general-domain guidance models have orthogonal competencies, making the guidance signal unreliable for specialized generation. This primarily manifests as stop token interference, where the guidance model's tendency toward continuation overrides the base model's decision to stop, burying correct answers under guidance-induced continuation. To address this problem, we propose CREST, an inference-time alignment method that steers base model hidden representations using safety directions extracted from a guidance model of any family, avoiding token-level structural limitations entirely. CREST improves safety where specialization has weakened it while preserving both domain-specific capability and the safety of already well-aligned models, outperforming baselines by up to 22.2\% on safety benchmarks. Our code is available at: https://github.com/DecayingSeart/CREST.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.30319v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.