한국어 초록
"어떤 결과를 만들어내기에 충분한 환원 불가능한 조건은 무엇인가?"는 계산 및 과학 전반에서 가장 흔하게 반복되는 질문 중 하나입니다. 이에 대한 해답인 '최소 충분 증인(minimal sufficient witness)'은 우리가 설명, 메커니즘, 이유라고 부르는 것을 의미합니다. 이러한 문제들은 대개 다수의 최소 증인을 요구하지만, 표준적인 강화학습(RL) 방법론은 단 하나의 해답만을 제시하거나 중복된 해답을 제시하는 데 그칠 수 있습니다. 본 연구에서는 이 문제를 최소 증인 식별(minimal-witness identification) 문제로 공식화하고, 최소 증인 강화학습(MWRL, Minimal-Witness Reinforcement Learning)을 제안합니다. MWRL은 정책(policy)에서 샘플링된 성공적인 제안들에 의해 인증된 집합들의 합집합을 취하고, 해당 제안이 없을 경우 전체 합집합이 잃게 될 커버리지에 따라 각 제안에 크레딧(신용)을 부여합니다. 문제 정의에서 직접 도출된 이러한 크레딧 할당(credit assignment) 방식은 단일 블랙박스 검증자(verifier) 비트로부터 대안들의 복원과 최소성에 대한 요구조건을 통합합니다. 이러한 원리를 바탕으로, 저자들은 증인 전체 군(family)을 복원하는 가치 반복(value iteration) 플래너와 대규모 언어 모델(LLM)로 확장 가능한 정책 그래디언트(policy gradient) 기법을 도출합니다. 다양한 실험 환경 전반에서 다른 방법론들이 중복된 상위 집합이나 단일 증인만을 도출하는 것과 달리, MWRL은 대부분의 최소 증인을 성공적으로 복원합니다. 검증자 피드백으로부터 증인 군을 학습할 수 있게 함으로써, MWRL은 강화학습의 범위를 단일 해 최적화를 넘어선 영역으로 확장합니다. 코드는 https://github.com/TSUITUENYUE/MWRL 에서 확인할 수 있습니다.
원문 초록
``What are the irreducible conditions that are sufficient to produce an outcome?'' is one of the most common questions that recur across computation and science. Its answers, the minimal sufficient witnesses, are what we mean by explanations, mechanisms and reasons. These problems usually ask for multiple minimal witnesses, yet standard RL methods may reveal only one solution or redundant ones. We formalize this problem as minimal-witness identification and introduce Minimal-Witness Reinforcement Learning (MWRL). MWRL takes the union of the sets certified by successful proposals sampled from the policy and credits each proposal for the coverage the group union would lose without that proposal. This credit assignment, derived directly from the problem definition, unifies the demands for minimality and recovery of alternatives from a single black-box verifier bit. Under this principle, we derive a value iteration planner that recovers the entire family of witnesses and a policy gradient method that can scale to large language models. Across different experimental settings, MWRL recovers most minimal witnesses, while other methods return redundant supersets or a single witness. By making witness families learnable from verifier feedback, MWRL expands the scope of reinforcement learning beyond single-solution optimization. Our code is available at https://github.com/TSUITUENYUE/MWRL.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.