무엇을 더 수정해야 하는가? 대화를 통해 생성된 산출물의 수정 전파를 위한 비용 효율적인 테스트 시점 연산 탐구
What Else Needs Fixing? Exploring Cost-Effective Test-Time Compute for Revision Propagation in Artifacts Generated Through Conversation
한국어 초록
대규모 언어 모델(LLM)은 대화 속에서 생성과 수정을 반복하는 과정을 통해 사용자가 산출물(artifact)을 만들도록 돕는 경우가 많다. 여기서 어려운 점은 사용자가 수정 시 국소적인 변경만 지정하더라도, LLM이 관련된 의존성을 스스로 파악하여 산출물에서 영향을 받는 모든 부분에 수정을 전파해야 한다는 것이다. 본 논문은 산출물의 맥락과 그 의존성이 대화 기록 안에 내재해 있을 수 있는, 대화를 통해 생성된 산출물에 대한 LLM의 이러한 능력을 연구한다. 실용적인 활용을 위해, 이 새로운 설정에서 비용 효율적인 테스트 시점 연산(test-time compute)도 함께 탐구한다. 구체적으로, 이 설정을 위한 새로운 벤치마크를 소개하고, gpt-oss-20b/120b, gpt-5.4-mini, qwen3.5-9b/27b/122b를 사용하여 순차적 성찰(sequential reflection)과 병렬 샘플링(parallel sampling) 변형을 포함한 아홉 가지 수정 방법을 이 벤치마크에서 평가한다. 결과에 따르면 베이스라인은 68.3~93%의 정확도를 달성하며, 가장 비용 효율적인 방법은 LLM 기반 선택 또는 메도이드(medoid) 선택을 사용해 세 개의 병렬 샘플 중에서 선택하는 것으로, 정확도를 2.2~9.7% 향상시킨다. 코드와 데이터셋은 https://github.com/ntt-dkiku/llm-revision-propagation 에서 확인할 수 있다.
원문 초록
Large Language Models (LLMs) often help users generate artifacts through iterative cycles of generation and revision in conversation. A challenge here is that, when users specify only a local change during revision, LLMs must instead identify the relevant dependencies and propagate the revision to all affected parts of the artifact. This paper studies this ability of LLMs on conversationally generated artifacts, where the artifact context and its dependencies may be embedded in the conversation history. Toward practical use, we also explore cost-effective test-time compute for this new setting. Specifically, we introduce a new benchmark for this setting, and evaluate nine revision methods, including sequential reflection and parallel sampling variants, using gpt-oss-20b/120b, gpt-5.4-mini, and qwen3.5-9b/27b/122b on the benchmark. The results show that baselines achieve accuracies of 68.3--93%, and the most cost-effective method is selecting from three parallel samples using either LLM-based or medoid selection, which improves accuracy by 2.2--9.7%. Our code and dataset are available at https://github.com/ntt-dkiku/llm-revision-propagation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03254v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.