가시적 추론은 보편적인 옵티마이저가 아니다: 분석 코드 생성에서 페르소나 및 사고 의존적 효과
Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation
한국어 초록
가시적 사고의 연쇄(Visible Chain-of-Thought, CoT)는 흔히 광범위하게 유용한 추론 지침으로 취급되지만, 분석 코드 생성은 자연어의 모호성, 스키마 그라운딩(schema grounding), 대상 언어 제약 조건, 그리고 모델 고유의 추론(inference) 동작을 결합합니다. 동일한 분석 요청을 SQL과 Python(pandas)이라는 두 개의 서로 다른 대상 언어로 표현할 수 있기 때문에, 이 설정은 널리 퍼져 있으면서도 충분히 검증되지 않은 일반적인 가정을 자연스럽게 테스트할 수 있는 환경을 제공합니다. 즉, "SQL로 생각하라" 또는 "Python으로 생각하라"와 같이 가시적 추론 표현이 요청된 대상 언어와 일치할 때 더 효과적이라는 가정입니다. "단계별로 생각하라(think step-by-step)"와 같은 일반적인 지침과 함께 이러한 권장 사항들은 통제된 실행 기반 비교 환경에서 여전히 충분히 평가되지 않은 상태로 남아 있습니다. 본 연구에서는 페르소나 문구, 대상 언어, 가시적 CoT 형식, 제어 접두사, 직접 생성 및 내부 추론 구성을 교차 적용한 쿼리 매칭 SQL-pandas 벤치마크를 조사합니다. 연구 결과는 가시적 CoT를 통한 보편적인 정확도 향상이나 추론 표현을 대상 언어와 일치시키는 데서 오는 일관된 이점을 지지하지 않습니다. 대신 그 효과는 페르소나, 대상 언어, 모델 구성 및 내부 추론 설정에 따라 달라집니다. 또한 제어 절제 연구(control ablations)는 추론 내용의 효과와 프롬프트(prompt) 형식의 효과를 추가로 구분합니다. 이러한 발견은 추론 전략을 보편적인 기본값으로 채택하기보다는 모델, 페르소나, 대상 언어 및 내부 추론 구성을 종합적으로 고려하여 선택해야 함을 시사합니다. 더 나아가 본 연구는 가시적 추론이 실행 가능한 코드 생성을 개선하는 시점, 단순히 모델 동작을 교란하는 시점, 그리고 내부 추론 구성이 더 결정적인 요인이 되는 시점을 식별할 수 있는 통제된 프레임워크를 제공합니다.
원문 초록
Visible Chain-of-Thought (CoT) is often treated as a broadly useful reasoning instruction, yet analytics code generation combines natural-language ambiguity, schema grounding, target-language constraints, and model-specific inference behavior. Because the same analytics request can be expressed in two distinct target languages-SQL and Python (pandas)-this setting provides a natural test of a common but under-examined assumption: that visible reasoning is more effective when its representation matches the requested target, as in "think in SQL" or "think in Python." Together with generic instructions such as "think step-by-step," such recommendations remain insufficiently evaluated under controlled, execution-based comparisons. We study a query matched SQL-pandas benchmark that crosses persona phrasing, target language, visible-CoT format, control prefixes, direct generation, and internal-reasoning configurations. The results do not support either a universal accuracy advantage from visible CoT or a consistent benefit from matching the reasoning representation to the target language. Instead, the effects depend on the persona, target, model configuration, and internal-reasoning setting. The control ablations further distinguish effects of reasoning content from those of prompt format. These findings indicate that reasoning strategies should be selected jointly for the model, persona, target, and internal-reasoning configuration rather than adopted as universal defaults. More broadly, the study provides a controlled framework for identifying when visible reasoning improves executable generation, when it primarily perturbs model behavior, and when the internal-reasoning configuration is the more consequential factor.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SFT와 DPO를 통한 Text-to-SQL에서 언제 추론할지 학습
Learning When to Reason for Text-to-SQL via SFT and DPO
최근 Text-to-SQL 방법들은 사고의 연쇄(Chain-of-Thought, CoT)와 같은 추론 중심 패러다임에 크게 의존하며, 복잡한 벤치마크에서 상당한 성능 향상을 달성하지만 높은 추론 시간 오버헤드라는 대가를 치른다. 그러나 실제 쿼리의 상당 부분은 다단계 추론 없이 해결할 수 있는 단순 조회나 집계이므로, 강제된 추론은 낭비가 된다. 따라서 우리는 Text-to-SQL에 지도 미세조정(SFT)과 직접 선호 최적화(DPO) 모두에 자동 사고(auto-thinking) 메커니즘을 통합하는 프레임워크인 AutoThinkSQL을 제안한다. 우리 접근법은 모델이 단순 쿼리에 대해서는 추론을 동적으로 우회하고, 복잡한 쿼리에 대해서는 깊은 CoT를 호출할 수 있게 한다. Qwen3-Coder-30B-A3B에서 우리 방법은 Spider와 BIRD 벤치마크 모두에서 최고 대응 기준선과 비교해 일관된 성능 향상을 달성하는 동시에, CoT 전용 생성과 비교해 평균 출력 토큰을 각각 24.6%와 18.3% 줄이고, 평균 지연 시간을 17.1%와 11.5% 줄인다. 추가 분석에 따르면, 모델은 추론 결정을 쿼리 난이도와 정렬하는 법을 학습한다.
J-CoT: J-Space에서의 사고의 연쇄
J-CoT: Chain-of-Thought in J-Space
사고의 연쇄(Chain-of-Thought) 프롬프팅은 연속적인 계산 단계에 걸쳐 중간 상태를 전달함으로써 언어 모델의 추론을 향상시킨다. 그러나 자연어를 유일한 순환(recurrent) 인터페이스로 의존하는 것은 과도하게 제한적이다. 많은 일시적인 계산은 완전히 언어화될 필요가 없기 때문이다. 기존 잠재 추론(latent-reasoning) 방법들은 연속적인 은닉 상태를 순환적으로 전파함으로써 이러한 제약을 제거한다. 그러나 이러한 방법들은 다음 추론 단계에 필요한 정보를 선택하고 조직화하는 명시적 메커니즘 없이, 밀집된 은닉 벡터를 통째로 전달한다. 이는 디코딩된 문장을 요구하지 않으면서도 언어적으로 그라운딩(grounding)된 중간 인터페이스에 대한 동기를 제공한다. 우리는 모델의 은닉 표현 내 어휘 색인 좌표계인 J-space를 기반으로 한 순환 추론 프레임워크인 J-CoT를 제안한다. 각 사이클 내에서 모델은 전체 은닉 공간에서 계산한다. 사이클 경계에서 J-CoT는 중간 상태를 어휘 색인 계수로 표현하고, 이 계수들을 J-thought로 전달하며, 다음 사이클을 위해 모델의 은닉 표현으로 다시 매핑한다. 따라서 J-CoT는 유창한 중간 근거(rationale)도, 전체 은닉 상태에 대한 순환(recurrence)도 요구하지 않는다. 일치하는 백본 및 추론 설정 하에서, J-CoT-Zero는 모든 벤치마크에서 평가된 가장 강력한 잠재 추론 기준선과 동등하거나 이를 초과하며, J-CoT-Train은 평가된 수학, 과학, 코딩 및 구조화된 경로 추론(path-reasoning) 과제 전반에서 최고 점수를 달성한다.
파서는 이미 알고 있다: 제약된 디코딩에서의 경량 바이어스 보정
The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding
문법 제약 디코딩(GCD)은 매 단계에서 규칙을 따르지 않는 토큰을 마스킹하여 언어 모델(LM)이 구문론적으로 유효한 출력을 생성하도록 강제합니다. 그러나 마스킹은 현재까지 각 토큰이 유효한지만 확인할 뿐이므로, 완성된 출력에 대한 결과 분포는 문법을 조건으로 하는 LM 자체의 분포와 달라져 유효하지만 최적은 아닌 출력 쪽으로 생성을 편향(bias)시킵니다. 온라인 샘플링을 통해 이러한 분포를 복원할 수 있지만 비용이 많이 드는 반복적 재샘플링을 거쳐야만 합니다. 본 연구의 핵심 통찰은 GCD 도구가 이미 유지하고 있는 파서 및 렉서 상태가 향후의 문법적 유효성에 대한 강력한 신호를 지니고 있다는 점입니다. 본 논문에서는 이러한 구문 및 어휘 상태와 후보 다음 토큰들을 조건으로 하여 LM의 다음 토큰 확률을 보정하는 경량 오프라인 학습 방식인 SHIM을 소개합니다. GCD 도구가 이미 이러한 상태를 계산하므로 SHIM은 LM 자체를 수정하지 않고 그대로 유지합니다. 비트 벡터 및 text-to-SQL 문법 전반에서 이 보정 방식은 마스킹 속도에 가깝게 작동하면서도, 마스킹 및 온라인 샘플링에 비해 LM의 문법 조건부 분포와의 격차를 실질적으로 좁힙니다. 다음 토큰만 확인하는 변형 모델조차도 두 베이스라인 모두를 개선할 수 있어, 파서 상태를 노출하지 않는 GCD 도구에서도 SHIM을 활용할 수 있습니다.
효과적인 프롬프트 작성을 통한 LLM 생성 코드의 에너지 효율성 개선
Improving the Energy-Efficiency of the Code Generated by LLMs through Effective Prompting
AI 보조 프로그래밍이 점차 보편화됨에 따라 AI가 생성한 소프트웨어의 환경적 영향이 중요한 고려 사항으로 부상했습니다. 이에 따라 기능적 정확성을 넘어 실행 효율성과 에너지 소비를 고려하여 대규모 언어 모델(LLM)이 생성한 코드를 평가할 필요성이 대두되었습니다. 그러나 코드 생성 분야의 상당한 발전에도 불구하고, 최신 프론티어 LLM은 생성하는 코드의 에너지 효율성을 기준으로 평가되는 경우가 드뭅니다. 본 연구에서는 에너지 효율적인 코드 생성을 위한 21가지 프롬프트 전략에 대해 포괄적인 평가를 수행하고, 널리 사용되는 10개의 오픈 가중치 및 독점 LLM에 걸쳐 평가할 8가지 전략을 도출했습니다. 우리는 기준선 프롬프트 대비 Python 및 C++ 코드 생성 모두에 대한 효과를 평가했습니다. 평가된 모델 전반에 걸쳐 선택된 프롬프트 전략은 Python의 경우 최대 25%, C++ 코드 생성의 경우 최대 17%의 에너지 절감을 달성했습니다. 개별 모델 수준에서 Python 에너지 감소는 Granite-4.0-H-Small의 경우 최대 50%, Claude 4.5 Haiku의 경우 39%, MiniMax M3의 경우 28%에 달했으며, C++ 감소는 Granite-4.0-H-Small의 경우 최대 56%, Qwen3-Coder-480B-A35B-Instruct의 경우 7%에 달했습니다. 이러한 결과는 프롬프트 전략이 모델과 프로그래밍 언어에 따라 그 효과가 다를지라도 LLM이 생성한 코드의 에너지 소비에 상당한 영향을 미칠 수 있음을 보여줍니다. 본 연구 결과는 LLM 기반 코드 생성의 평가 및 최적화에 에너지 효율성을 반영하는 것의 중요성을 강조하며, 보다 지속 가능한 AI 보조 프로그래밍을 위한 프롬프트 설계에 대한 실질적인 통찰을 제공합니다.
VERSE: 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저
VERSE: Verified Self-Evolving Optimizer for Agent Harnesses
하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.
DataWeave: 탐색적 정형 데이터 분석을 위한 인간-LLM 협업 분석 시스템 배포
DataWeave: Deploying Human-LLM Analytics for Exploratory Structured Data Analysis
데이터 분석을 활용해 뉴스 가치가 있는 기사를 발굴하는 실무인 데이터 저널리즘은 트렌드, 격차, 책임 규명 서사를 밝혀내는 기자와 탐사보도 저널리스트의 역량에 점점 더 크게 의존하고 있습니다. 실제로 대규모 정형 데이터셋을 탐색하는 작업은 여전히 느리고 불안정합니다. 저널리스트는 가설이 발전하는 동안 수년에 걸친 여러 데이터셋의 수백 개 변수를 탐색하고, 데이터 코딩 규칙을 이해하며, 복잡한 분석 코드를 작성해야 합니다. 비록 대규모 언어 모델(LLM)이 '자연어로 질문하고 SQL/답변을 얻는' 도구로 자주 홍보되지만, 실제 뉴스룸 워크플로에서는 스키마 불일치 및 변화, 도메인 의미와 단위의 오독, 묵시적 가정 등 반복적인 실패가 드러납니다. 본 논문에서는 대화형 상호작용, 스키마 그라운딩(schema grounding), 분석적 계획 수립, 실행 가능한 쿼리 생성을 결합하여 정형 데이터에 대한 탐색적 분석을 지원함으로써 이러한 요구를 해결하는 시스템인 DataWeave를 제시합니다. DataWeave는 LLM을 자율적인 답변 엔진으로 취급하기보다는, 가설이 바뀜에 따라 출력을 검사하고 수정하며 유도할 수 있는 대화형 파트너로 규정합니다. 복잡한 도메인 의미와 잦은 스키마 변경이 수반되는 중대한 공공 데이터셋인 미국 교육부의 종합 고등교육 데이터 시스템(IPEDS)을 전문 저널리스트들이 본 시스템을 사용해 분석한 사례 연구를 제시합니다. 또한 실제 배포 경험과 반복적인 개선 과정이 현재의 DataWeave 아키텍처와 분석 워크플로를 어떻게 형성했는지 보고합니다. 본 연구 결과는 정형 데이터 분석에서 신뢰할 수 있는 인간-LLM 협업을 위한 설계 원칙과 배포 교훈을 도출합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
26 pages, 8 figures, 16 tables