프롬프트의 가치: LLM 상대적 콜모고로프 복잡도 접근법
The Value of a Prompt: An LLM-Relative Kolmogorov-Complexity Approach
한국어 초록
가치 있는 결과물이 대규모 언어 모델(LLM)에 의해 점차 더 많이 생성, 완성 또는 처리되는 세상에서 중심적인 경제학적 질문은 LLM이 무엇을 생산할 수 있는가뿐만 아니라, 우리가 모델에 제공하는 입력(즉, 프롬프트)에 어떤 '가치'가 남아 있는가입니다. LLM이 증명, 프로그램, 설계 또는 과학적 가설과 같은 결과물 $z$를 생성하도록 돕는 프롬프트, 힌트, 비판, 문제 기술 또는 부분 해법이 주어졌을 때, 이러한 입력의 가치를 어떻게 측정해야 할까요? 직관적으로 입력은 모델이 목표 결과물을 더 쉽게 생성하도록 만들 때 가치가 있습니다. 즉, 샘플링 확률을 높이거나 이를 찾는 데 필요한 사고 시간을 줄임으로써 가능합니다. 본 논문에서는 고전적 정의의 만능 튜링 기계(universal Turing machine)를 LLM 자체로 적절히 대체함으로써 이 문제에 대한 계산적 레빈-콜모고로프 복잡도(Levin–Kolmogorov complexity) 접근법을 제안합니다. 구체적으로, 모델의 사고를 프로그램의 무작위 테이프로 취급하고 레빈의 방식에 따라 이에 로그 비용을 부과하여 LLM 상대적인 '확률론적 레빈-콜모고로프 복잡도(probabilistic Levin–Kolmogorov complexity)' $pKt$ 개념을 도입하고, 프롬프트 가치를 $pKt$에 대한 알고리즘 상호 정보량(algorithmic mutual information)으로 정의합니다. 이는 앞서 언급한 직관을 포착합니다. 결과물 $z$에 대해 $b$ 비트의 가치를 갖는 프롬프트는 성공 확률에 $2^b$를 곱하거나, 필요한 계산량을 $2^b$로 나누거나, 혹은 확률과 계산 간의 상응하는 상호 절충(tradeoff)을 통해 $z$를 '얻기 $2^b$배 더 쉽게' 만듭니다. 고전적인 알고리즘 상호 정보량 개념과 달리, 본 접근법은 효율적으로 추정 가능합니다. 추가로 자연스러운 재현 실험 하에서 $b$ 비트의 프롬프트 가치는 프롬프트 없이 $z$를 재현할 때 프롬프트를 사용할 때보다 중앙값 토큰 비용이 $2^b$배 든다는 것을 보여줍니다.
원문 초록
In a world where valuable artifacts are increasingly created, completed, or processed by LLMs, the central economic question is not only what the LLM can produce, but what \emph{value} remains in the inputs (i.e., the prompts) we provide to it. Given a prompt, hint, critique, problem statement, or partial solution that helps an LLM produce an artifact $z$---a proof, program, design, or scientific hypothesis---how should we measure the value of that input? Intuitively, an input is valuable when it makes the target artifact easier for the model to generate: either by increasing its sampling probability, or by reducing the thinking time needed to find it. We propose a computational Levin--Kolmogorov complexity approach to this problem, by appropriately replacing the universal Turing machine in the classical definitions by the LLM itself. Concretely, we introduce an LLM-relative notion of \emph{probabilistic Levin--Kolmogorov complexity} $pKt$---treating the model's thinking as the random tape of the program, and charging logarithmically for it in Levin's manner---and define prompt value as algorithmic mutual information with respect to $pKt$. This captures the intuition above: a prompt having $b$ bits of value for an artifact $z$ makes $z$ $2^b$ times ``easier to obtain'', by multiplying the success probability by $2^b$, by dividing the required computation by $2^b$, or by any corresponding tradeoff between probability and computation. In contrast to the classical notion of algorithmic mutual information, ours is efficiently estimable. We additionally show that, under a natural reproduction experiment, a prompt value of \(b\) bits means that reproducing \(z\) without the prompt has median token cost \(2^b\) times that of reproducing it with the prompt.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.16438v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.