강화학습(RL)은 검증 가능한 도메인에서 대규모 언어 모델(LLM)을 발전시켰으나, 개방형 생성(open-ended generation)은 확정적인 보상이 부재하여 여전히 도전 과제로 남아 있습니다. 루브릭 기반 강화학습은 명시적인 평가 기준을 제공하지만, 최종 답변의 정답 여부를 검증할 수 없는 상황에서는 이러한 기준을 구성하는 방법을 학습하기가 여전히 어렵습니다. 본 논문에서는 기준 유효성 피드백, 응답 변별력, 동료 간 일치도를 결합하여 개방형 생성을 위한 루브릭을 학습하는 공진화 강화학습 프레임워크인 EvoRubric을 제안합니다. 공유 정책(shared policy)은 추론기(Reasoner)이자 루브릭 생성기(Rubric Generator) 역할을 동시에 수행하며, 현재 응답과 과거 루브릭을 활용하여 새로운 평가 차원을 발견합니다. 적응형 루브릭 발견과 안정적인 유효성 검증을 결합하기 위해 초기 정책의 고정된 복사본이 메타 검증기(Meta-Verifier) 역할을 수행하고, 고정된 채점기(Grader)는 유지된 기준에 따라 응답을 점수화합니다. 변별적 피드백, LOO(Leave-One-Out) 동료 합의, 영구 메모리 풀은 이러한 피드백을 상호 보완적인 보상으로 변환하여 두 정책 역할을 공동으로 최적화함으로써, 응답 개선과 루브릭 발견 사이의 루프를 완성합니다. EvoRubric은 의학, 작문, 과학 분야의 5개 벤치마크 전반에서 일치된 정적 및 외부 진화형 루브릭 베이스라인 대비 성능을 향상시켰습니다. 3개의 학습 시드에 걸쳐 8B에서 56.28점, 14B에서 61.13점의 5개 벤치마크 평균을 달성하여, 가장 강력한 매칭 베이스라인을 각각 3.09점과 2.06점 능가했습니다. 사람의 감사를 통해 기준 유효성과 응답 품질을 평가하였으며, 전문가가 초기화한 루브릭을 사용한 실험은 인간 사전 지식(human priors)과의 호환성을 입증합니다.
언어 모델(LM)은 종종 다양하고 인간과 유사한 창의적 콘텐츠를 생성하는 데 어려움을 겪으며, 이는 유사한 출력에 반복적으로 노출됨으로써 인간의 사고가 장기적으로 동질화될 수 있다는 우려를 불러일으킵니다. 그러나 난수나 이름 생성과 같은 좁은 범주의 태스크를 넘어서거나, 단일 모델로부터의 반복 샘플링을 넘어서 LM 출력의 다양성을 평가하는 확장 가능한 방법은 여전히 제한적입니다. 본 연구에서는 단일 정답(ground truth)이 없으며 타당한 답변의 범위가 넓은, 실제적이고 개방형(open-ended)인 다양한 사용자 쿼리 2만 6천 개로 구성된 대규모 데이터셋인 Infinity-Chat을 소개합니다. 또한 브레인스토밍 및 아이디어 도출 등 6개의 최상위 카테고리와 17개의 하위 카테고리로 구성되어 LM에 주어지는 개방형 프롬프트의 전체 스펙트럼을 특성화하는 최초의 종합적인 분류 체계(taxonomy)를 제시합니다. Infinity-Chat을 활용하여 LM의 모드 붕괴(mode collapse)에 대한 대규모 연구를 수행한 결과, LM의 개방형 생성에서 두드러진 '인공 집단지성(Artificial Hivemind)' 효과를 발견했습니다. 이는 (1) 단일 모델이 일관되게 유사한 응답을 생성하는 모델 내 반복(intra-model repetition), 그리고 이보다 더 심각한 (2) 서로 다른 모델들이 놀라울 정도로 유사한 출력을 생성하는 모델 간 동질성(inter-model homogeneity)으로 특징지어집니다. 아울러 Infinity-Chat에는 예제당 25개의 독립적인 인간 평가를 바탕으로 절대 평가 및 쌍별 선호도 전반에 걸친 31,250개의 인간 주석(annotation)이 포함되어 있습니다. 이를 통해 개방형 쿼리에 대한 집단적 및 개인별 인간 선호도를 연구할 수 있습니다. 실험 결과, 모델 생성 결과물이 평가자마다 서로 다른 특이적 선호도를 유발할 경우 전반적인 품질은 유사하게 유지됨에도 불구하고 LM, 보상 모델, LM 판정자(LM judge)가 인간의 평가 점수와 덜 보정(calibrated)되는 것으로 나타났습니다. 종합적으로 INFINITY-CHAT은 LM에 대한 실제 개방형 쿼리를 체계적으로 연구할 수 있는 최초의 대규모 자원을 제공하며, 인공 집단지성이 초래하는 장기적인 AI 안전성 위험을 완화하기 위한 향후 연구를 이끌 핵심적인 통찰을 제시합니다.
자기 일관성(Self-consistency)은 여러 출력을 샘플링하고 가장 일관된 답변을 선택함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만, 기존의 정의는 대부분 정확한 일치에 의존하므로 범주형 출력이 있는 작업으로 제한됩니다. 본 연구에서는 코드 생성 및 텍스트 요약과 같은 개방형 생성 작업에서의 자기 일관성을 연구합니다. 우리는 일관성을 생성 공간의 기하학적 속성으로 이해할 수 있다고 가정합니다. 즉, 의미적으로 호환되는 생성물들은 표현 공간의 유사한 영역에 집중된다는 것입니다. 이 가설을 연구하기 위해, 우리는 임베딩 공간에서 샘플링된 생성물을 클러스터링하여 일치도를 추정하는 간단한 학습이 필요 없는 구현 방법인 임베딩 기반 일치(Embedding-Based Agreement, EBA)를 제안합니다. 수학적 추론, 코드 생성, 요약에 대한 실험을 통해, 표현 공간에서의 일치가 개방형 작업에 대한 자기 일관성의 강건하고 확장 가능한 신호를 제공함을 보여줍니다. 특히, EBA는 무작위 선택을 지속적으로 능가하며, LLM 평가나 불확실성 추정에 기반한 최근 선택 방법보다 더 안정적인 스케일링 양상을 보입니다. 또한, 이러한 일치 신호는 기본 은닉 표현을 사용하는 경우에도 모델 계열 및 임베딩 공간 전반에서 안정적으로 유지됨을 보여줍니다. 마지막으로, 우리의 분석은 샘플링된 생성물이 차지하는 기하학적 위치가 생성 품질과 강한 상관관계가 있음을 보여줍니다. 표현 공간의 중심 영역 근처에 집중된 생성물은 더 신뢰할 수 있는 출력에 해당하는 경향이 있는 반면, 주변부 생성물은 정확도가 현저히 낮습니다. 전반적으로, 우리의 연구 결과는 자기 일관성을 정확한 기호적 중첩이 아닌 샘플링된 생성물의 기하학적 구성 속성으로 보는 것을 뒷받침합니다.