ntu.edu.sgjin

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.30319v1cs.CL

토큰 수준 가이던스를 넘어서: 교차 패밀리 표상 스티어링을 통한 특화 대규모 언어 모델의 추론 시점 정렬

Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering

특화 도메인에 맞춰 파인튜닝(fine-tuning)된 대규모 언어 모델(LLM)은 매우 중요한 고영향(high-impact) 응용 분야를 나타냅니다. 추론(inference) 시점 정렬(alignment)은 상당한 연산 자원을 요구하지 않고도 특화 파인튜닝으로 인해 저하된 안전성(safety)을 향상시키며, 사용하기 쉬운 플러그 앤 플레이(plug-and-play) 솔루션으로서 파인튜닝 기반 방식을 보완합니다. 그러나 기존 추론 시점 방식들은 도메인 역량을 훼손하지 않으면서 안전성을 안정적으로 개선하는 데 실패합니다. 우리는 근본 원인을 상호보완적 전문성의 직교성(complementary expertise orthogonality)으로 규명합니다. 특화된 베이스 모델과 일반 도메인 가이던스 모델은 서로 직교하는 역량을 가지고 있어, 가이던스 신호가 특화 생성에 비신뢰적이게 됩니다. 이는 주로 정지 토큰(stop token) 간섭으로 나타나는데, 가이던스 모델의 생성 지속 경향이 베이스 모델의 중단 결정을 무시하여 정답이 가이던스로 유도된 생성 지속 아래 묻히게 만듭니다. 이 문제를 해결하기 위해, 우리는 모든 패밀리의 가이던스 모델에서 추출한 안전성 방향을 활용하여 베이스 모델의 은닉 표상(hidden representation)을 스티어링함으로써 토큰 수준의 구조적 한계를 완전히 회피하는 추론 시점 정렬 기법인 CREST를 제안합니다. CREST는 특화로 인해 약화된 안전성을 개선하는 동시에 도메인 특화 역량과 이미 잘 정렬된 모델의 안전성을 모두 보존하며, 안전성 벤치마크(benchmark)에서 베이스라인 대비 최대 22.2\% 뛰어난 성능을 보입니다. 코드 사용 링크: https://github.com/DecayingSeart/CREST.