PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07631v2cs.LG

지도 미세조정 중 발생하는 창발적 비정렬 감지를 위한 특성 공간 모니터링

Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning

창발적 비정렬(Emergent Misalignment, EM)은 편협한 파인튜닝이 해당 태스크 범위를 벗어난 위험한 행동을 유발할 때 발생합니다. 반복적인 행동 평가를 통해 이러한 변화를 감지하는 것은 비용이 많이 들기 때문에, 내부 표현 기반의 체크포인트 단위 모니터링을 제안합니다. 본 연구에서는 정렬(alignment)과 관련된 7개의 활성화 방향을 바탕으로 고정된 좌표계를 정의하고, 이를 활용하여 오픈소스 7-9B 언어 모델 4종의 LoRA 파인튜닝 과정에서 발생하는 표현 표류(representational drift)를 추적합니다. 이 공간에서 파인튜닝으로 인한 표류는 분산의 78.6%를 설명하는 지배적인 축을 나타내며, 데이터셋, 추출 방식 선택, 매개변수 업데이트 용량 전반에 걸쳐 안정적으로 유지됩니다. EM과 관련된 3개의 홀드아웃 데이터셋에서 얻은 468개 체크포인트를 대상으로 평가한 결과, 제안된 모니터는 1.8%의 FNR, 2.0%의 FPR, 0.989의 AUROC를 달성하여 의미적(semantic), 무작위, PCA 및 SAE 특징 기반의 기준선 모델들을 능가했습니다. 네 번째 데이터셋에서 진행된 위험-무해 대조군 실험을 통해 무해한 파인튜닝 하에서도 상당한 표현 표류가 발생할 수 있음을 확인했으나, 7차원 프로파일 전반의 변화는 위험한 실행과 무해한 실행을 여전히 구별해 냈습니다. 두 개의 14B 모델, 전체 파인튜닝, 더 긴 학습 기간, 비정렬된 시작 상태 등을 포함한 스트레스 테스트 결과, 이러한 신호가 학습 구성의 변화 전반에서도 지속될 수 있음을 보여주었으며, 안정적인 배포를 위해서는 재보정이 필요할 수 있음을 확인했습니다.

arXiv:2606.23671v1cs.CL

LLM은 적대적 prefill을 신뢰할 수 있게 자기 보고할 수 있는가, 그리고 어떻게인가?

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

적대적 prefill 공격으로 유도된 자신의 출력을 LLM이 사후에 신뢰할 수 있게 인식하는지 10개 instruction-tuned 모델(3B~70B)과 4개 안전성 벤치마크에서 검증한 결과, 어떤 모델도 손상된 출력을 안정적으로 인식하지 못했고 prefill 응답에 의도를 주장하는 비율은 평균 27.3%였다. 자기 성찰 신호는 주로 거부(refusal) 관련 추론에서 비롯되며, 거부 방향 직교화는 prefill과 자연 출력 간 주장 격차를 거의 없애지만 probe 프레이밍에 민감하고, LoRA 파인튜닝(SFT, GRPO, DPO)은 의도 probe 격차를 넓히거나 대부분 모델에서 공격 성공률을 높여 자기 보고의 신뢰성 위험을 드러낸다.