대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.
독점 LLM 평가자의 선호도 편향이 에이전트의 전략 분포를 왜곡하는 현상을 측정하기 위해 MPCI, 결합 행렬, JSD로 구성된 EPC 진단 프레임워크를 도입하고, GPT-4o, GPT-4o-mini, Qwen3.7-plus 등 8가지 실험 조건에 적용했다. May에서 June 사이 GPT-4o의 무성 업데이트(silent update)로 결합 계수가 평균 1.176에서 0.000으로 역전된 사례를 통해, 단일 시점 스냅샷에 의존하는 평가자 연구는 몇 주 만에 결론이 무효화될 수 있음을 실증적으로 보여준다.
AI 에이전트가 언어 모델을 사용하여 피드백 루프에서 자신의 출력을 평가할 때, 체계적인 편향이 발생한다. 우리는 Evaluator Preference Collapse(EPC)가 멀티모달 설정에서 극적으로 증폭된다는 것을 보여준다. GPT-4o를 사용하여 텍스트 및 시각 작업에서 DeepSeek-chat을 평가한 결과, 단일 전략(step_by_step)이 전체 가중치의 48.4%를 흡수하는 것을 발견했다 — 이는 텍스트 전용 자기 평가에서 관찰된 붕괴의 3.2배에 해당한다 — 반면 세 가지 시각 도메인 전략은 합산하여 9.1%의 가중치만 받는다. 그러고 나서 우리는 교차 모달 결합(cross-modal coupling)이라고 명명하는 새로운 현상을 입증한다: 한 모달리티에서 획득한 평가자 선호가 다른 모달리티로 전이되어 전략 선택을 손상시킨다. 4단계 격리 학습 패러다임을 통해 결합 계수를 측정하고 전략 역전(strategy inversion)을 문서화한다 — 모달리티에 대한 최적 전략이 교차 모달 노출 후에 역전된다. 텍스트 프록시 및 실제 이미지 시각 작업을 모두 포함한 5개 평가자 구성에 대한 Phase 3 통계 검증(N=80 총 독립 반복, ~35,000 API 호출) 결과는 다음과 같다: 교차 모델 평가가 강한 결합을 생성한다(JSD~0.19-0.34), 실제 이미지 입력이 가장 방향적으로 일관된 신호를 제공한다(mean gamma_{T->V}=1.145, gamma_{V->T}=0.937, 70% T->V, Cohen's d=0.56), 자기 평가는 거의 완전한 면역성을 제공한다 — 97%의 실행(N=30)이 제로 결합을 산출한다(JSD=0.003, d=0.07). 세 가지 방법론적 ablation 및 다중 실행자 검증을 통해 이 효과가 구조적 인공물이 아님을 확인한다. 평가자 식별자로 인덱싱된 결합 행렬을 도입하고, MM-EPC 프레임워크를 공개하며, 교차 모델 평가자 아키텍처가 선호 드리프트의 주요 위험 요인임을 확인한다. 코드 및 데이터: https://github.com/aidless/mm-epc.
LLM-as-a-Judge 파이프라인이 암묵적으로 가정하는 "평가가 생성보다 쉽다"는 전제를 검증하기 위해, SQuAD 2.0, DROP, HotpotQA, MuSiQue 4개 벤치마크에서 모델이 자신이 생성한 답변을 자기 평가하는 문맥 내 QA 실험을 수행한 결과, 평가가 항상 더 쉽지 않으며 생성 시 어텐션이 컨텍스트에 3~5배 더 집중됨을 발견했다. LoRA 파인튜닝 실험에서도 생성과 평가 능력이 서로 다른 파라미터 구조를 사용함이 확인되어, 자기 평가 파이프라인의 핵심 가정에 의문을 제기한다.