인간 피드백 정렬은 언어 모델을 유용한 어시스턴트로 만들었으며, 흔히 모델을 인간에 맞춘다고 설명된다. 그러나 사람들이 AI에게 선호하는 응답이, 그들 스스로 내놓을 응답과 같을 필요는 없다. 우리는 인간 선호에 대한 정렬과 인간 행동에 대한 정렬을 구분하고, 선호와 응답이 모두 전적으로 인간으로부터 나온 경우에도 인간 선호 정렬이 모델 행동을 덜 인간답게 만들 수 있음을 보인다. 우리는 이를 튜링 테스트 간극(Turing-test gap)이라 부른다. 선호 정렬이 인간 응답 분포를 보존하는 것은 제한적인 조건 하에서만 성립함을 보이고, 실제 인간 선호가 그 조건을 만족한다는 일관된 증거는 찾지 못했다. 실증적으로, 인간 응답 가능도의 손실은 선호 가중의 방향과 관계없이 그 강도가 커질수록 증가하며, 이 간극은 표준 DPO에서도 나타난다. 이러한 결과는 인간다움을 선호 정렬에서 자연스럽게 따라온다고 가정하는 것이 아니라, 정렬의 명시적 차원으로 확립한다.
인간 피드백 강화학습(RLHF)용 보상 모델은 수천 명의 평가자에 걸친 선호를 통합하고 하나의 전역 아핀 보정기를 적합시켜, 체계적으로 다른 평점 척도 오프셋과 기울기를 가진 평가자를 어떤 개별 평가자와도 일치하지 않는 단일 평균 평가자 적합으로 축소한다. PEBS는 평가자별 경험적 베이즈 수축 추정량으로, 각 평가자의 평점에 대한 보류(hold-out) 구간에서 평가자별 아핀 보정기를 적합시키고 Morris-James-Stein 경험적 베이즈 수축을 인구 평균을 향해 닫힌 형식으로 적용하며 보상 모델을 재학습하지 않는다. PRISM에서 PEBS는 통합 인구 기울기 기준선 대비 사용자 내 보류 RMSE를 8.58% 감소시킨다. 이 절차는 PluriHarms 유해성 평점(Qwen-2.5 base, in-family)에서도 재현되며, 동일한 인구 기울기 기준선 대비 RMSE가 9.66% 감소한다. PEBS는 RLHF 보상 모델링에서 평가자별 아핀 보정을 위한 닫힌 형식의 사후(post-hoc) 추정량이며, 보상 기본 모델은 변경하지 않고 새로운 평점에 대해 추론 시점에 사용되는 평가자 수준 매핑만 추정한다.
인간 피드백 기반 정렬(alignment from human feedback)은 모델 출력에 대한 인간의 판단을 이용하여 사전학습(pre-training) 이후 언어 모델의 행동을 유도한다. 이러한 판단이 바람직한 행동에 대한 상충하는 견해를 반영할 때, 학습된 목표는 모델이 무엇을 선호해야 하는지에 대한 집계적 결정이 된다. 우리는 사회선택 이론(social choice theory)의 관점을 통해 이 집계 문제를 연구해 온 최근 연구를 조망한다. 우리는 사회선택 관점이 피드백 집계 층에서의 실패 모드를 식별하는 데 어떻게 도움이 되는지, 그리고 이견을 명시적이고 원칙적인 방식으로 다루기 위한 더 넓은 설계 공간을 어떻게 드러내는지 보여준다.