PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21632v1cs.CL

대규모 언어 모델의 상대적 선호도 평가를 위한 합의 기반 프레임워크

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

대규모 언어 모델(LLM)의 전통적인 벤치마크는 주로 정적 데이터셋과 객관적 채점 지표에 의존하며, 여러 답이 허용되는 경우 응답 품질의 차이를 포착하지 못하는 경우가 많다. 이러한 설정에서는 정확성만으로는 명확성, 완전성, 유용성에서 차이가 나는 응답들을 구별하기에 불충분하다. 본 논문은 절대적 정확성이 아닌 모델 생성 응답 간 상대적 선호도를 측정하는 합의 기반 평가 프레임워크를 제안한다. 고정된 정답(ground truth)에 대해 출력을 평가하는 대신, 다양한 LLM 패널이 동일한 프롬프트에 대한 익명화된 후보 응답을 어떻게 순위 매기는지 평가한다. 이 접근법은 블라인드 조건 하에서 인지된 응답 품질에 대한 대리(proxy) 지표로 모델 간 집계 합의를 취급한다. 프로그래밍, 일반 지식, 안전성, 논리적 추론, 수학 등 여러 도메인에 걸쳐 최신 LLM 5개를 사용한 통제 실험을 수행한다. 각 모델은 응답을 생성하고 구조화된 투표 과정을 통해 동료 모델의 출력을 독립적으로 순위 매긴다. 점수는 상대적 지능 지수(Relative Intelligence Index, RII)로 집계되며, 이는 다른 모델들이 해당 모델의 응답을 얼마나 자주 선호하는지를 나타낸다. 실험 결과는 도메인 전반에 걸쳐 일관된 선호 패턴을 보여주며, 특정 모델이 동료 모델들로부터 더 자주 높은 순위를 받는다. 그러나 이러한 결과가 객관적 정확성이나 인간 판단이 아니라 모델 간 선호 정렬을 반영함을 강조한다. 이 프레임워크는 확장 가능한 모델 주도 비교 평가 방법을 제공하며, 여러 유효한 답이 존재하는 시나리오에서 응답 품질에 대한 대안적 관점을 제시한다. 인간 평가와 직접적으로 일치하지는 않지만, 선행 연구는 집계된 모델 선호가 인간 판단과 부분적으로 상관될 수 있음을 시사하며, 이를 대리 신호로 활용할 근거가 된다.

arXiv:2607.20862v1cs.CL

CSPF: 검증 불가능한 선호 평가를 위한 제약 공유-사유 융합 방법

CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation

현재 검증 불가능한 작업에 대한 신뢰할 수 있는 평가는 여전히 어려운 과제이다. 기존 접근법들은 이러한 작업에서 인간 선호를 뒷받침하는 다양한 평가 기준을 충분히 포착하지 못하는 경우가 많다. 이를 위해 우리는 이질적인 고정(frozen) 보상 모델을 상호 보완적인 평가자로 취급하고, 쌍(pairwise) 인간 선호 감독 하에 은닉 상태(hidden-state) 표현을 통합하는 방법을 학습하는 융합 방법인 제약 공유-사유 융합(Constrained Shared-Private Fusion, CSPF)을 제안한다. CSPF는 각 전문가(expert) 신호를 공유 및 전문가 고유 표현으로 분해하여, 상호 보완적인 관점을 보존하면서 전문가 간 정렬(alignment)을 촉진한다. LM-Arena 타깃 도메인 적응 및 PPE 분포 외(out-of-distribution) 선호 평가 실험에서 CSPF는 평가된 단일 전문가 보상 모델, 스칼라 점수 다중 전문가, 루브릭(rubric) 심사 baseline들 중 주요 지표에서 최고 성능을 달성한다. 전반적으로 CSPF는 은닉 상태 표현의 융합이 선호 평가를 위한 더 표현력 있는 기반을 제공하며, 검증 불가능한 선호 작업에 대한 통합 평가 신호를 향한 실용적인 경로를 제시함을 시사한다.

arXiv:2607.15092v1cs.CL

Rubrics on Trial: 합성 순쌍 증거를 통한 단일 쿼리 기반 루브릭 진화

Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence

루브릭은 대규모 언어 모델(LLM)의 학습과 평가를 위한 구조화된 세밀한 신호를 제공한다. 그러나 신뢰할 수 있는 쿼리별 루브릭을 구축하기는 어렵다. 기존 접근법은 종종 사람이 작성한 루브릭, 선호도 데이터, 또는 샘플링된 응답에서 지도 신호를 도출한다. 직접적인 쿼리-대-루브릭 생성은 이러한 자원을 피하지만, 그럴듯한 루브릭이 유용한지에 대한 명시적 검증을 제공하지 않는다. 이러한 루브릭은 답변 품질을 구분하지 못하거나, 선택적 스타일을 보상하거나, 유효한 대안 전략에 페널티를 줄 수 있다. 우리는 Rubrics on Trial을 제안한다. 이는 외부 주석이나 모델 학습 없이 빈 집합에서 루브릭 집합을 진화시키는 쿼리 전용 프레임워크이다. 이는 합성 루브릭 조건부 응답 쌍에서만 지도 신호를 도출하고, 각 제안된 루브릭을 추가하기 전에 검증하여, 비판별적·과도하게 구체적·스타일 전용 후보 루브릭을 걸러낸다. 다섯 개의 선호도 벤치마크 스위트에 걸친 실험은 Rubrics on Trial의 효과를 보여주며, 최고 평균 정확도를 달성하고 7개 평가 세트 중 6개에서 1위를 기록한다.

arXiv:2603.10002v2cs.CL

SpreadsheetArena: LLM의 스프레드시트 워크북 생성에서 선호도 분해

SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

우리는 종단간 스프레드시트 생성 과제를 고려한다. 이 과제에서 언어 모델은 자연어로 명시된 사용자의 명시적·묵시적 제약 조건을 만족하는 스프레드시트 아티팩트를 생성한다. 우리는 SpreadsheetArena를 소개한다. 이는 LLM이 생성한 스프레드시트 워크북에 대한 맹목적 쌍별 선호도 투표를 통해 모델의 과제 성능을 평가하는 플랫폼이다. 다른 복잡한 개방형 과제들과 마찬가지로, 관련 평가 기준은 사용 사례에 따라 크게 달라질 수 있으며, 이를 형식화하기 어려운 경우가 많다. 일반적인 대화 또는 텍스트 생성 환경과 비교했을 때, 스프레드시트 생성은 고유한 도전과 기회를 제공한다. 과제 출력 구조가 명확히 정의되어 있고 다차원적이며, 복잡한 상호작용성 및 레이아웃 고려 사항이 존재하는 경우가 많다. 우리는 선호되는 스프레드시트의 스타일적·구조적·기능적 특성이 프롬프트에 따라 유의미하게 달라짐을 관찰한다. 금융 프롬프트에 대한 스프레드시트의 전문가 평가 결과, 높은 순위의 모델조차 도메인별 모범 사례에 부합하는 스프레드시트를 안정적으로 생성하지 못함을 확인하였다. 우리는 라이브 아레나를 운영하고 프롬프트, 생성된 스프레드시트, 선호도 투표로 구성된 데이터셋을 공개하며, 이를 통해 LLM에 대한 복잡한 개방형 과제의 흥미롭고 도전적인 범주로서 스프레드시트를 대상으로 하는 과제에 대한 추가 연구가 촉진되기를 기대한다.

arXiv:2606.18774v1cs.LG

RouteJudge: 재현 가능하고 선호도 인식 대규모 언어 모델(LLM) 라우팅을 위한 개방형 플랫폼

RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing

LLM 라우팅 평가가 정적 벤치마크와 고정 정답 중심이라 실제 사용자 선호를 충분히 반영하지 못한다는 한계를 보완하기 위해, RouteJudge는 동일 모델 풀과 예산 제약 하에서 여러 라우팅 전략이 선택한 응답을 익명 쌍대 비교로 평가하고 그 선호도를 라우터 수준 의사결정에 귀속하는 공개 온라인 플랫폼을 제공한다. 라우팅의 벤치마크 로딩, 쿼리 표현, 예산 인식 평가, 방법 비교를 표준화하는 ORBIT 툴박스를 함께 공개해 연구자가 일관된 프로토콜로 라우터를 개발·검증한 뒤 RouteJudge 온라인 선호도 평가에 제출할 수 있게 한다.