cemiu.net

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.37807v2cs.CL

CompOrca: 인스트럭션 튜닝 데이터의 말뭉치 규모 순응도 라벨링

CompOrca: Corpus-Scale Compliance Labelling of Instruction-Tuning Data

미세조정(fine-tuning)이 거부 및 불순응(noncompliance) 행동을 어떻게 형성하는지 연구하려면 어떤 학습(training) 예제가 요청을 거부하거나 제대로 이행하지 못하는지 파악해야 합니다. 기존의 어노테이션은 학습 말뭉치보다 훨씬 규모가 작은 평가 세트만을 다룹니다. 본 연구에서는 OpenOrca 말뭉치의 전체 4,233,923개 예제에 대한 순응도(compliance) 라벨인 CompOrca를 제시합니다. 모든 예제는 오픈 가중치(open-weight) 대규모 언어 모델(LLM) 심판(LongCat-2.0, 1.6T 파라미터)의 5회 패스를 통해 순응 또는 불순응으로 분류되었습니다. 이 말뭉치는 원시 투표 수와 함께 만장일치 순응(94.75%), 만장일치 불순응(1.28%), 만장일치가 아닌 행(3.97%)으로 공개됩니다. 단일 패스는 말뭉치의 2.7~3.2%를 불순응으로 표시하는 반면 5회 패스 모두에서 표시된 것은 1.28%에 불과하므로, 가장 모호한 행들을 필터링해 제외할 수 있습니다. 450개의 인간 어노테이션 예제(150개는 중복 어노테이션됨, 인간 간 $κ=0.93$)를 대상으로 평가했을 때, 만장일치 순응 및 불순응 라벨은 각각 97.3%와 86.7%의 정밀도(precision)를 보입니다. 불순응 라벨은 말뭉치 전체 불순응 중 높은 정밀도를 갖는 부분집합입니다. 기존에 발표된 거부 탐지 방법들은 인간이 라벨링한 불순응의 0.4%에서 94.1% 사이의 재현율(recall)을 보입니다. 본 연구에서는 행별 라벨 및 투표 수가 포함된 전체 말뭉치를 https://huggingface.co/datasets/cemiu/CompOrca 에 공개합니다.

arXiv:2608.24988v1cs.CL

미세조정은 활성화 조향을 되돌리는가? 가중치 편집 역전 없는 행동적 회복

Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal

활성화 조향(activation steering)은 언어 모델의 가중치에 직접 내장될 수 있어, 추론 시 개입 없이 행동을 형성하며 배포 전 정렬(alignment)을 인코딩하는 방법을 제공한다. 그러나 모델은 배포 후 일상적으로 미세조정되며, 내장된 개입이 이를 견디는지는 알려져 있지 않다. 우리는 비적대적 SFT 및 RLHF 하에서 다섯 개의 인스트럭션 튜닝(instruction-tuned) 모델(3B–14B)에 걸쳐 거부(refusal) 억제와 간결성 유도를 위한 내장 조향의 안정성을 연구한다. 행동적으로, 보존은 학습 데이터를 따른다. 최적화(optimization) 압력이 목표 행동과 상충하면 조향은 약화되고 그렇지 않으면 지속되며, SFT 하에서 거부 절제(ablation)는 평균적으로 효과의 64%를 잃는다. 기제적으로는, 행동이 되돌아가는 경우에도 가중치 편집은 거의 손대지 않은 채 남는다. 평균 벡터 회복은 $ρ= 0.004$이고, 조향 방향을 따른 미세조정 업데이트는 편집 전 가중치 패턴과 거의 직교한다(평균 $\cosθ= 0.074$). 조향된 행동이 약화될 때, 미세조정은 조향 메커니즘 자체를 해체하거나 역전함으로써 이를 달성하지 않는다. 따라서 내장된 조향은 기제적으로는 견고하지만 기능적으로는 취약하며, 하위 학습 이후 행동적 재검증이 필요하다.