분별을 통한 학습: 소형 언어 모델이 현장에서 사용자 피드백으로 학습하는 경우와 퇴화하는 경우
Learning through Discernment: when a small language model learns from user feedback on the job, and when it decays
한국어 초록
기기 내 소형 언어 모델은 매일의 자체 작업으로부터 밤사이에 학습함으로써 계속 개선될 수 있다. 그러나 실제 결과가 없으면 어떤 시도가 학습할 가치가 있는지 무언가가 결정해야 하며, 모델 자신의 판단과 사용자의 반응은 모두 틀릴 수 있다. 본 연구는 LoRA 어댑터를 장착한 소형 모델(Qwen3 0.6B 및 1.7B)을 대상으로, 판정자가 수용한 시도에 대해 매일 밤 미세조정하는 과정을 WebShop과 $\tau^2$-bench에서 최대 1년에 걸친 127개의 생애 동안 연구한다. 실제 결과, 사용자가 밝힌 판정, 모델 자신의 판단을, 사용자의 반응을 읽는 별도의 고정된 "피드백 감각"(세 가지 버전으로 구축)과 비교한다. 스스로 판단하는 경우 모델은 어떤 어댑터를 쓰든 1년에 걸쳐 향상되다가 퇴화했다. 정중한 포기를 성공으로 받아들인 감각은 5개의 생애 중 3개를 붕괴시켰다. 사용자가 명확한 판정을 내렸는지를 먼저 묻는 분별형 감각은 5개 중 4개를 2주 동안 오라클에 근접하게 유지했으나, 깨끗하지만 부족한 학습 사례 때문에 약해져 60일째에는 자기 판단 수준으로 떨어졌다. 사용자가 결과를 볼 수 없는 경우($\tau^2$-bench)에는 감각이 반응을 올바르게 읽었음에도 학습 사례의 80%가 고객이 감사를 표한 실패였다. 97개의 생애 전반에서 학습 사례 중 실패한 시도의 비율이 결과를 예측했다(Spearman $\rho$ = -0.81). 우리의 실험에서 사용자로부터의 학습은 판정자가 실패를 걸러냈고 사용자가 결과를 볼 수 있는 경우에만 유지되었으며, 편향된 학습 사례는 모델을 협소하게 만들 수도 있다.
원문 초록
Small language models on devices could keep improving by learning, overnight, from their own daily work. Without a true outcome, however, something must decide which attempts are worth learning from, and both the model's own judgment and the user's reaction can be wrong. We study a small model (Qwen3 0.6B and 1.7B) with a LoRA adapter, fine-tuned each night on the attempts a judge accepts, over 127 lives of up to a year on WebShop and $\tau^2$-bench. We compare the true outcome, the user's stated verdict and the model's own judgment with a separate, frozen "feedback sense" that reads the user's reaction, built in three versions. Judging itself, the model improved and then decayed, over a year and whatever its adapter. A sense that took polite give-ups for success collapsed 3 of 5 lives; one built for discernment, which first asks whether the user gave a clear verdict, kept 4 of 5 near the oracle for two weeks, then faded on clean but scarce lessons, to the level of self-judging by day 60. When the user cannot see the outcome ($\tau^2$-bench), the sense read reactions correctly, yet 80% of its lessons were failures the customer had thanked. Across 97 lives, the share of failed attempts among the lessons predicted the outcome (Spearman $\rho$ = -0.81). In our experiments, learning from users held up only where the judge kept failures out and the user could see the outcome; lopsided lessons may also narrow the model.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23716v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.