PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.04694v5cs.CL

Reasoning Up the Instruction Ladder for Controllable Language Models

대규모 언어 모델(LLM)이 시스템 프롬프트와 사용자 프롬프트 간 충돌 지시를 처리할 때 명시적 추론을 먼저 수행하도록 인스트럭션 계층(instruction hierarchy) 해결을 메타 추론 태스크로 재정의하고, 검증 가능한 정답을 포함한 학습 데이터셋 VerIH와 강화학습(RLVR)으로 파인튜닝한 결과, 충돌 설정에서 약 20%p의 절대적 성능 향상과 jailbreak·프롬프트 인젝션 공격 성공률을 최대 20%p 감소시키는 효과를 달성했다.

arXiv:2606.29960v1cs.CL

IHDec: 멀티턴 인스트럭션 계층 구조 보호를 위한 발산 유도 대조 디코딩

IHDec: Divergence-Steered Contrastive Decoding for Securing Multi-Turn Instruction Hierarchies

대규모 언어 모델(LLM)은 다양한 역할 수준 우선순위를 가진 다중 출처 입력을 처리할 때 인스트럭션 계층 구조(IH)를 유지하지 못하는 경우가 많으며, 충돌 시 역설적으로 낮은 우선순위의 지시를 따르는 경향이 있습니다. 기존의 방어 방법들은 이 문제를 완화하지만, 주로 단일 턴 시나리오에 국한되어 있으며 비용이 많이 드는 미세조정이 필요합니다. 본 논문에서는 Jensen-Shannon 발산(JSD) 프레임워크를 통해 멀티턴 컨텍스트에서 이 실패 모드를 공식화하고, 하위 입력이 상위 역할을 재정의하는 광범위한 역할 영향 역전(role-influence inversion) 현상을 발견합니다. 학습 없이 이를 해결하기 위해, 본 논문은 IHDec(Instruction Hierarchy-steered Decoding)를 제안합니다. IHDec는 JSD를 활용하여 토큰 수준의 계층 구조 위반을 자동으로 감지하고, 정렬이 어긋난 하위 역할을 억제하기 위해 대조 디코딩(contrastive decoding)을 동적으로 실행합니다. 광범위한 평가를 통해 IHDec가 멀티턴 충돌에서 학습 기반 베이스라인을 능가하면서도 전반적인 응답 품질을 완전히 유지함을 입증합니다. 또한, IHDec는 적대적 프롬프트 인젝션에 대한 안전성을 강화하고 더 큰 모델과의 강건한 스케일링 시너지를 나타냅니다. 코드는 https://github.com/nxcolelxu/IHDec.git 에서 확인할 수 있습니다.