arXiv:2610.09070v1 stat.ML

공변량 의존 다변량 순서형 선호도의 결합 모델링 및 비교 모델과의 연관성

Covariate-dependent Joint Modeling of Multivariate Ordinal Preferences and Its Connections with Comparison Models

Yujie Chen, Antik Chakraborty, Anindya Bhadra

제출 2026-10-06

한국어 초록

공변량과 함께 수집되는 다변량 순서형(multivariate ordinal) 데이터는 언어 모델과 인간 선호도의 정렬(alignment)부터 추천 시스템에 이르는 다양한 문제에서 흔히 수집됩니다. 예를 들어 MovieLens와 같은 데이터셋은 사용자의 연령이나 성별과 같은 인구통계학적 정보와 함께 사용자가 1~5점 척도로 평가한 여러 영화 평점을 포함합니다. 유사하게 HelpSteer와 같은 데이터셋은 LLM 프롬프트-응답 쌍에 의존하는 공변량과 함께, LLM 응답의 "유용성(helpfulness)"이나 "장황함(verbosity)" 같은 여러 속성에 대한 인간 피드백을 순서형 척도로 수집합니다. 안타깝게도 이러한 데이터를 모델링하는 표준 접근 방식은 (a) 속성들을 결합하여 다루기보다 개별적으로 살펴보며, (b) Bradley-Terry 및 Plackett-Luce와 같은 모델에 적합시키기 위해 데이터를 쌍별(pairwise) 또는 리스트별(listwise) 승패 비교 형태로 변환하는 경우가 많습니다. 이러한 방식은 모두 실제로 관측된 정보의 조악화(coarsening)를 초래하며, 본 연구에서는 공변량 의존 결합 연속 비율 마르코프 랜덤 필드(consecutive ratio Markov random field) 모델을 통해 이를 해결합니다. 또한 본 결합 모델의 제약 조건 하에서 쌍별 또는 리스트별 비교 모델이 유도됨을 보이고, 결합 모델링이 비교 성능을 향상시킴을 입증합니다. 아울러 계산이 불가능한 정규화 상수(intractable normalizer)가 존재하는 상황에서도 적용 가능한 최대 가능도(maximum likelihood) 추론 절차를 개발합니다.

원문 초록

Multivariate ordinal data along with covariates are commonly collected in problems ranging from alignment of language models with human preferences, as well as in recommender systems. For example, data sets such as MovieLens contain several movies rated on a scale 1--5 by human users, along with their demographic information such as age or gender. Similarly, data sets such as HelpSteer collect human feedback on several attributes such as "helpfulness" or "verbosity" of LLM response on an ordinal scale, with covariates depending on the LLM prompt--response pairs. Unfortunately, the standard approaches for modeling these data (a) look at the attributes individually rather than jointly, and (b) often convert the data into pairwise or list-wise win--loss comparisons for fitting models such as Bradley--Terry and Plackett--Luce. Both of these lead to a coarsening of what is actually observed, which we address via a joint covariate-dependent consecutive ratio Markov random field model. We also show pairwise or listwise comparison models are obtained under restrictions of our joint model, and that joint modeling improves comparisons. We also develop a maximum likelihood inference procedure even in the presence of an intractable normalizer.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09070v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.