arXiv:2608.30345v1 cs.AI

LLM의 다양한 솔루션 탐험을 위한 정답 프로빙 유도 탐색

Answer Probing-Guided Search for Diverse Solution Exploration of LLMs

Yi Fang, Que Shen, Chengpeng Li, Boyi Deng, Wei Shi, Wenjie Wang, Fuli Feng, Fengli Xu, Dayiheng Liu

제출 2026-08-31

한국어 초록

다양하고 고품질인 여러 개의 솔루션을 생성하는 것은 코드 테스트 생성 및 신약 개발과 같은 많은 응용 분야에서 가치가 있습니다. 그러나 대규모 언어 모델(LLM)은 추론(inference) 중에 신뢰도가 높은 단일 솔루션으로 수렴하는 경향이 있어, 다른 유효한 대안 솔루션 경로에 대한 탐험(exploration)을 제한합니다. 기존의 테스트 타임(test-time) 방법들은 트리 형태의 탐색을 통해 다양성을 촉진하고 응답 수준의 의미론적 임베딩을 사용하여 의미론적으로 유사한 분기를 가지치기(pruning)합니다. 그러나 우리는 이러한 임베딩이 언어적 및 문체적 유사성에 의해 쉽게 교란되어 진정으로 구별되는 솔루션 경로를 식별하기 어렵게 만든다는 점을 발견했습니다. 이를 해결하기 위해 중간 추론 경로로부터 LLM이 도달할 잠재적 정답을 프로빙(probing)하는 Answer Probing을 소개합니다. 우리는 프로빙된 정답의 은닉 상태(hidden state)가 의미론적 임베딩보다 구별되는 솔루션 경로를 더 효과적으로 구분하며, 프로빙된 정답의 펄플렉서티(perplexity)가 추론 정확도를 위한 실용적인 대리 지표로 작용함을 입증합니다. 이러한 발견을 바탕으로 프로빙된 정답의 은닉 상태 유사도와 펄플렉서티를 통해 트리 탐색을 유도하는 Answer Probing-Guided Tree Search (APTS)를 제안합니다. 두 개의 LLM을 대상으로 세 가지 추론 태스크에서 수행한 실험은 APTS가 솔루션 다양성을 일관되게 향상시켜 그 효과성과 견고성을 입증함을 보여줍니다.

원문 초록

Generating multiple diverse and high-quality solutions is valuable for many applications, such as code-test generation and drug discovery. However, Large Language Models (LLMs) tend to converge on a single high-confidence solution during inference, limiting exploration of alternative valid solution paths. Existing test-time methods promote diversity through tree-like search and prune semantically similar branches using response-level semantic embeddings. However, we find that such embeddings are easily confounded by linguistic and stylistic similarities, making it difficult to distinguish genuinely distinct solution paths. To address this, we introduce Answer Probing, which probes the potential answer an LLM would reach from an intermediate reasoning path. We demonstrate that the hidden states of probed answers more effectively differentiate distinct solution paths than semantic embeddings, and the perplexity of probed answers serves as a practical proxy for reasoning correctness. Based on these findings, we propose Answer Probing-Guided Tree Search (APTS), which guides the tree search by the probed answers' hidden state similarity and perplexity. Experiments on three reasoning tasks across two LLMs show that APTS consistently enhances solution diversity, demonstrating its effectiveness and robustness.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.30345v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.