arXiv:2310.06648

Diversity from Human Feedback

Ren-Jian Wang, Ke Xue, Yutong Wang, Peng Yang, Haobo Fu, Qiang Fu, Chao Qian

제출 2023-10-10

원문 초록

Diversity plays a significant role in many problems, such as ensemble learning, reinforcement learning, and combinatorial optimization. How to define the diversity measure is a longstanding problem. Many methods rely on expert experience to define a proper behavior space and then obtain the diversity measure, which is, however, challenging in many scenarios. In this paper, we propose the problem of learning a behavior space from human feedback and present a general method called Diversity from Human Feedback (DivHF) to solve it. DivHF learns a behavior descriptor consistent with human preference by querying human feedback. The learned behavior descriptor can be combined with any distance measure to define a diversity measure. We demonstrate the effectiveness of DivHF by integrating it with the Quality-Diversity optimization algorithm MAP-Elites and conducting experiments on the QDax suite. The results show that DivHF learns a behavior space that aligns better with human requirements compared to direct data-driven approaches and leads to more diverse solutions under human preference. Our contributions include formulating the problem, proposing the DivHF method, and demonstrating its effectiveness through experiments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13808v2quant-ph공통 태그 Diversity, Ensemble Learning

조합 융합을 통한 양자-고전 모델의 다양성 인지 앙상블

Diversity-Aware Ensemble of Quantum-Classical Models via Combinatorial Fusion

변분 양자 회로(VQC)는 회로 구조에 매우 민감하지만, 대부분의 양자 머신러닝 파이프라인은 단 하나의 최적 설계를 선택하고 나머지 후보는 폐기합니다. 본 논문에서는 양자 회로 탐색 공간 전반의 구조적 다양성을 활용하여 모델 융합(model fusion)을 통해 더 강력한 예측을 생성할 수 있는지 다룹니다. 순위-점수 함수(RSF)와 인지적 다양성(CD)을 활용해 여러 점수 산정 시스템을 선택하고 결합하는 모델 융합 프레임워크인 조합 융합 분석(CFA)을 구조적으로 다양한 29개의 고전 모델 및 양자 회로 풀에 적용합니다. 다양성 인지 모델 선택 방법을 사용하여 최대의 다양성을 지닌 모델 서브셋을 식별하고, 이를 점수 및 순위 결합 방식 모두로 결합합니다. 서로 다른 도메인을 포괄하는 4개의 이진 분류 벤치마크에 대한 실험 결과, CFA 기반의 하이브리드 고전-양자 융합은 고려된 모든 데이터셋에서 최고 성능의 개별 모델보다 일관되게 우수한 성능을 보였으며 정확도가 최대 6.03% 향상되었습니다. 관련 문헌과의 비교에서도 CFA 프레임워크는 4개 데이터셋 전반에서 더욱 우수한 성능을 달성합니다.

arXiv:2609.22497v1cs.AI공통 태그 Diversity, Ensemble Learning

인공 숙의 군중의 지혜

The Wisdom of Artificial Deliberative Crowds

많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.

arXiv:2609.24104v1cs.NE공통 태그 Diversity, Combinatorial Optimization

차량 경로 문제에서 유도 국소 탐색 학습을 위한 행동 기반 니칭 유전 프로그래밍

Genetic Programming with Behaviour-based Niching for Learning Guided Local Search in Vehicle Routing Problems

유전 프로그래밍 유도 국소 탐색(GPGLS)은 차량 경로를 위한 국소 탐색을 유도하는 효용 함수를 학습한다. 진화하는 프로그램은 서로 다른 탐색 행동을 유발하면서 유사한 적합도를 가질 수 있어, 적합도만으로는 개체군 다양성 관리의 불완전한 기준이 된다. 우리는 국소 탐색 중 수집된 여섯 가지 연산자 수준 기술자로 프로그램을 특성화하는 행동 기반 니칭 GPGLS(BN-GPGLS)를 제안한다. 현 세대 아카이브는 행동 점수의 층에서 적합도 경쟁력이 있고 compact한 대표를 선정한다. 고정 정책은 아카이브 부모를 지속적으로 사용하는 반면, 적응형 정책은 학습 적합도와 표준화된 행동 분산 신호를 사용하여(선택적으로 트리 크기 조건과 함께) 이를 활성화한다. 우리는 생성된 200-고객 인스턴스에서 30회 시드 매칭 실행에 걸쳐 아카이브 없는 GPGLS 대조군 및 적합도 기반 니칭과 네 가지 행동 기반 변형을 비교한다. BN-Adaptive는 별도의 90-인스턴스 모니터링 세트에서 최고의 평균 순위를 달성한다; 집계된 경로 비용 차이는 작다. 다섯 가지 아카이브 정책 모두 GPGLS 대조군보다 낮은 최종 개체군 중앙값 트리 크기를 산출하며, 쌍체 Wilcoxon 비교는 Holm 보정 후에도 유의하게 남는다. 이 결과는 평가된 설정 내에서 유용한 해 품질과 프로그램 크기 간의 트레이드오프를 밝히며, 크기 감소를 행동 표현만으로 귀인하지는 않는다.

arXiv:2607.22314v1cs.LG공통 태그 Diversity, Combinatorial Optimization

팩터 그래프를 통한 서브샘플링을 위한 진화 인식 MSA 추론

Evolution-Aware MSA Reasoning for Subsampling via Factor Graphs

다중 서열 정렬(MSA)은 단백질 언어 모델에 명시적인 진화적 맥락을 제공하지만, 깊이가 크기 때문에 제한된 토큰 예산 하에서는 서브샘플링이 불가피하다. 무작위 선택, 동일성(identity) 기반 필터링, 다양성 중심 샘플링 등 기존 전략은 효과적인 휴리스틱이지만, 부분집합에 보존되는 진화적 신호에 대한 제어가 제한적이다. 본 연구에서는 MSA 서브샘플링을 명시적 최적화 문제로 재구성하며, 쿼리 동일성과 다양성을 포함한 핵심 진화 지표를 제어 가능한 목표로 취급한다. 이 관점을 바탕으로 친화력 전파(Affinity Propagation) 기반 팩터 그래프 접근법인 AP-REASONER를 제안한다. 진화 인식 단항(unary) 팩터, exemplar 일관성 팩터, 두 개의 제어 노브를 갖춘 AP-REASONER는 메시지 전달(message passing)을 통한 팩터 그래프 추론으로 고정 예산 MSA 부분집합을 추론한다. 장거리 접촉 예측 및 conformational 앙상블 예측 실험에서 AP-REASONER는 구조 민감 하위 작업에서 기준선 서브샘플러보다 우수한 성능을 보이며, 대안적 단백질 conformation의 제어 가능한 복원을 가능하게 한다. 이러한 결과는 MSA 서브샘플링을 제어 가능한 최적화 문제로 모델링할 때의 가치를 부각하며, 팩터 그래프 추론이 휴리스틱 선택에 대한 효과적인 대안임을 보여준다.

arXiv:2607.20456v1cs.CL공통 태그 Ensemble Learning, Combinatorial Optimization

Learn2Zinc: MiniZinc에서의 텍스트-모델 변환을 위한 소형 언어 모델 미세조정

Learn2Zinc: Fine-tuning Small Language Models for Text-to-Model Translation in MiniZinc

대규모 언어 모델(LLM)은 주류 프로그래밍 언어에 대한 코드 생성에는 뛰어나지만, 조합 문제를 위한 제약 모델링 언어인 MiniZinc와 같은 희귀하고 도메인 특화된 언어에서는 어려움을 겪는다. 우리는 표적 미세조정이 소형 언어 모델(0.6B~20B 파라미터)에게 자연어 문제 설명으로부터 구문적으로 올바르고 의미적으로 유효한 MiniZinc 모델을 생성하도록 가르칠 수 있는지 조사한다. 핵심 발견은 이 도메인 특화 언어를 다룰 때 구문 오류가 실패를 지배한다는 것이다: Qwen3, LLaMa, Gemma, GPT-OSS와 같은 소형 언어 모델의 기본(out-of-the-box) 실행 정확도는 거의 0에 가깝다. 우리는 여러 LLM 실행에서 구문 오류를 수집하고 이를 활용해 오류 수정 학습 데이터셋을 구축하는 교차 모델 오류 부트스트래핑 접근법을 제안한다. 이 데이터셋을 통해 모든 모델 크기에 걸쳐 직접 코드 생성과 사고의 연쇄(Chain-of-Thought) 접근법 모두를 일관되게 개선하는 소형 언어 모델을 미세조정할 수 있다. 자기 성찰(self-reflection)과 앙상블링(ensembling)을 통해 우리 접근법은 최대 98% 실행 정확도를 달성한다. 한편, 해법 정확도는 여전히 35%에 머물러, 구문은 학습 가능하지만 제약 추론은 여전히 과제로 남아 있음을 시사한다. 우리는 텍스트-모델 변환에 대한 추가 연구를 위해 미세조정 파이프라인, 데이터셋, 모델을 오픈소스로 공개한다.

arXiv:2607.20768v1cs.CL공통 태그 Diversity, Ensemble Learning

다양성 지표는 다양성을 측정하는가? LLM 앙상블에서 다수결 투표 이득에 대한 역량 통제 감사

Are Diversity Metrics Measuring Diversity? A Capability-Controlled Audit of Majority-Vote Gain in LLM Ensembles

LLM에 대한 다수결 투표는 다양성으로부터 이득을 본다고 널리 가정되며, 다양성 측정치는 어떤 모델을 결합할지 선택하는 데 사용된다. 우리는 이러한 다섯 가지 측정치가 다양성을 추적하는지, 아니면 주로 역량을 재표현하는지를 묻고, 명시적 역량 통제 하에서 MMLU-Pro에서 30개 LLM의 31,900개 부분집합(TruthfulQA에서는 29개)에 걸쳐 최고 성능 멤버 대비 다수결 투표 이득의 예측변수로서 이를 감사한다. 세 가지 발견이 도출된다. 첫째, 잠재적 상보성(latent complementarity)은 어디에나 존재한다. 오라클 이득은 모든 부분집합에서 양수이지만, 단순 투표는 전체 표준 크기-3 부분집합의 9.98%에서만(홀드아웃 최고 선택 시 18.71%) 최강 멤버를 이기며, 크기 2–4를 통합한 비율은 1.27%로, 이는 부분적으로 결정론적 짝수 크기 투표 행동을 반영한다. 둘째, 공동 정확도 프록시(strict diversity)는 평균 정확도를 1에서 뺀 값과 거의 공선(collinear)이다(크기-3 Spearman rho = +0.991 / +0.988). 원(raw) 다양성–이득 연관은 역량과 강하게 얽혀 있으며, 한 가지 예외를 제외하고 통제 하에서 불안정하다. 셋째, 세 가지 선형 분할표(contingency-table) 통계량은 대수적으로 분리 불가능(non-separable)하다. 역량 통제 후 경험적으로 안정적인 잔여는, 더 많은 공유 오류가 더 낮은 이득에 대응하는 완만한 잔차 쌍별 공동 실패(co-failure) 연관이다. 이 방향은 견고하지만 그 크기는 구성에 따라 달라진다. strict diversity, disagreement, double-fault를 독립 예측변수로 취급하는 공동 원(raw)공간 선형 회귀는 구조적으로 계수(rank) 부족(rank-deficient)이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.