arXiv:2607.28384v1 cs.AI

명세가 충돌할 때: LLM 선호도 측정을 위한 대칭성 기반 프레임워크

When Specifications Conflict: A Symmetry-Based Framework for Measuring LLM Preferences

Tairan Wang, Liang Zhou, Zikang Zhan, Pingchuan Yan

제출 2026-07-30

한국어 초록

대규모 언어 모델(LLM)은 일관되지 않거나 상충될 수 있는 여러 정보 소스를 통합해야 하는 요구를 점점 더 많이 받고 있습니다. 그러나 모델이 경쟁하는 명세(specification) 간의 충돌을 어떻게 해결하는지 분석하기 위한 제어 가능하고 원인 규명이 가능한 방법론은 여전히 부족합니다. 본 논문에서는 상충하는 명세 하에서 모델의 선호도를 연구하기 위한 통제된 실험 프레임워크를 제안합니다. 명시적인 충돌이 있는 명세를 구축함으로써, 이 프레임워크는 상충하는 명세 간의 모델 선택을 직접 관찰하고 분석할 수 있게 합니다. 나아가 대칭성 기반 설계를 통해 교란 요인을 줄임으로써 표현 유형 간의 선호도를 체계적으로 비교할 수 있습니다. 저자들은 11개 함수군에 걸친 550개의 충돌 인스턴스를 포함하는 실행 가능한 수학 벤치마크에서 이 프레임워크를 평가하며, 순수 자연어, 정형 언어(formal language), 자연어화된 정형 언어, 입출력 예시의 네 가지 표현 유형을 비교합니다. 결과는 무작위적 행동이 아닌 체계적인 선호도 패턴을 보여주며, $ \text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input--Output Examples} $와 같은 일관된 순서를 나타냅니다. 또한 예시 효과는 모델 능력과 함수군에 따라 달라집니다. 저자들은 이 프레임워크를 불 대수, 코드 생성, 임상 도메인의 이종 명세 충돌로 확장하여 다양한 작업과 명세 형태 전반에서의 적용 가능성을 입증합니다. 본 프레임워크는 LLM이 경쟁하는 정보 소스 간의 충돌을 어떻게 해결하는지 측정하기 위한 통합된 접근 방식을 제공합니다.

원문 초록

Large language models (LLMs) are increasingly required to integrate multiple sources of information that may be inconsistent or conflicting. However, there is still a lack of controllable and attributable methods for analyzing how models resolve conflicts between competing specifications. We propose a controlled experimental framework for studying model preferences under conflicting specifications. By constructing specifications with explicit conflicts, the framework enables model choices between competing specifications to be directly observed and analyzed. A symmetry-based design further reduces confounding factors, allowing preferences across representation types to be compared systematically. We evaluate the framework on an executable mathematical benchmark with 550 conflict instances spanning 11 function families, comparing four representation types: pure natural language, formal language, naturalized formal language, and input--output examples. Results show systematic preference patterns rather than random behavior, with a consistent ordering: $ \text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input--Output Examples} $. Example effects further depend on model capability and function family. We extend the framework to heterogeneous specification conflicts in Boolean algebra, code generation, and the clinical domain, demonstrating its applicability across diverse tasks and specification forms. The framework provides a unified approach for measuring how LLMs resolve conflicts between competing sources of information.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.28384v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.