arXiv:2604.07652v2 cs.AI

LLM 생성 선언적 명세를 통한 자연어와 인터랙티브 가상 분석(What-If) 인터페이스의 연결

Bridging Natural Language and Interactive What-If Interfaces via LLM-Generated Declarative Specifications

Sneha Gathani, Sirui Zeng, Diya Patel, Ryan Rossi, Dan Marshall, Cagatay Demiralp, Steven Drucker, Zhicheng Liu

제출 2026-04-08

저자 비고

arXiv Comments

34 pages 20 figures

한국어 초록

가상 분석(What-If Analysis, WIA)은 사용자가 인터랙티브 인터페이스를 통해 파라미터를 조정하고, 제약 조건을 적용하며, 데이터 범위를 설정함으로써 가상 시나리오를 탐색할 수 있도록 돕습니다. 그러나 기존 도구들은 한계가 있습니다. 스프레드시트 및 BI 도구는 많은 수작업 설정을 필요로 하는 반면, 대규모 언어 모델(LLM)이 생성한 인터페이스는 분석 의도를 잘못 해석하는 경우가 빈번합니다. 명시적인 중간 표현(intermediate representation)이 필요한지, 아니면 LLM이 WIA 인터페이스를 직접 생성할 수 있는지는 여전히 불분명합니다. 본 연구에서는 사람이 직접 작성한 정답 의도를 포함하여 11개 유형 및 5개 데이터셋에 걸친 405개의 WIA 질문으로 구성된 벤치마크를 구축했습니다. 평가 결과, 세 가지 LLM에 걸친 직접적인 원샷(one-shot) 생성은 17~45%의 경우에서 작동 가능한 인터페이스를 생성하지 못했으며, 인터페이스가 렌더링되더라도 질문의 목표(최대 77.5%) 및 제약 조건(최대 58.2%)을 잘못 표현하는 경우가 흔했습니다. 이에 따라 본 논문에서는 자연어(NL) 질문을 Praxa 명세 언어(Praxa Specification Language, PSL) 명세로 변환한 다음 인터페이스로 컴파일하는 2단계 워크플로우를 제시합니다. 오류가 명명된 속성으로 국소화되기 때문에, 직접 생성된 코드의 오류와 달리 분류체계 기반 수정(taxonomy-guided repair)을 통해 정확도를 52.42%에서 80.42%로 향상시킵니다.

원문 초록

What-if analysis (WIA) lets users explore hypothetical scenarios by adjusting parameters, applying constraints, and scoping data through interactive interfaces. Current tools fall short: spreadsheet and BI tools require laborious setup, while LLM-generated interfaces frequently misinterpret analytical intent. It remains unclear whether an explicit intermediate representation is needed, or whether LLMs can generate WIA interfaces directly. We build a benchmark of 405 WIA questions across 11 types and 5 datasets with human-authored ground-truth intent, and find that direct one-shot generation across three LLMs fails to produce a working interface in 17-45% of cases and, when interfaces render, often misrepresents the question's objective (up to 77.5%) and constraints (up to 58.2%). We therefore present a two-stage workflow that translates NL questions into Praxa Specification Language (PSL) specifications, then compiles them into interfaces. Because errors localize to named properties, taxonomy-guided repair raises correctness from 52.42% to 80.42%, unlike errors in directly generated code.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.07652v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02363v2cs.LG공통 태그 Code Generation

ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다

ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time

에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.

arXiv:2607.12713v2cs.SE공통 태그 Code Generation

코드에 고정된 리뷰 피드백이 대형 R 파일에서 정확성을 향상시키고 호스팅 편집 비용을 낮춘다

Code-Anchored Review Feedback Improves Correctness and Lowers Hosted Editing Cost on Large R Files

토큰은 생성형 AI(GAI) 코드 편집의 비용과 지연 시간을 좌우하며, 정확성은 편집의 유용성을 결정한다. 우리는 인간-AI 협업(HAIC) 채널인 검토자 피드백의 형식이 이 둘에 미치는 영향을 연구한다. 7개 모델과 36개의 합성 base-R 과제를 이용한 쌍체 실험에서, 동일한 수정 요청을 전체 목록 형태(대조군) 또는 FileMark의 내보내기 형태(처리군)로 전달하였다. 이 코드 리뷰 확장 도구는 각 코멘트를 해당 코드에 고정하고 그 코드를 인용한다. 일반적인 과제에서 총 토큰 수는 모델에 따라 -4.2%에서 +14.7%까지 변했으나, 출력 토큰은 Claude Opus에서 14.7%, Claude Sonnet에서 50.5\% 감소하였다. 출력 토큰의 비용이 입력 토큰의 5배이므로, 100줄을 초과하는 파일에서 편집의 호스팅 비용은 Opus에서 20.0%, Sonnet에서 46.3% 감소하였다. 처리군은 다섯 개의 로컬 모델 중 네 개에서 정확하게 실행된 비율을 24%에서 46%까지 높였다. 분해 실험은 이러한 이득이 표현이 아닌 형식에서, 그리고 대부분 인용된 코드에서 비롯됨을 보여 준다. 고정 위치가 잘못되면 정확성이 크게 떨어진다. 따라서 코드에 고정된 피드백은 앵커가 정확하다면 대형 R 파일에서 호스팅 편집 비용을 낮추고 성능이 낮은 모델의 정확성을 높인다.

arXiv:2609.22308v2cs.CV공통 태그 Code Generation

GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크

GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents

코딩 에이전트 벤치마크는 통상 명시적 사양으로부터의 구현을 평가하므로, 규칙이 문서화되어 있지 않고 상호작용을 통해서만 접근 가능한 시스템을 에이전트가 발견하고 재현할 수 있는지는 열려 있는 문제로 남아 있다. 본 연구는 관측 가능한 행동과 결과를 가진 통제된 환경을 제공하는 웹 게임에서 이 능력을 연구하며, 종단 간 블랙박스 게임 복제를 위한 벤치마크 GameReplica를 소개한다. 이 벤치마크는 25개 웹 게임과 다섯 가지 핵심 메커니즘 계열에 걸친 125개 인스턴스로 구성되며, 각 게임은 다섯 가지 난이도로 구현된다. 컨테이너 격리 하에서 에이전트는 행동–스크린샷 인터페이스를 통해서만 대상 게임에 접근하고, 게임 탐색, 복제본 구현, 검증을 반복할 수 있으며, 자체 완결적으로 실행 가능한 복제본과 규칙 체크리스트를 제출한다. 이후 참조 기반 평가가 산출물을 규칙 일관성, 구현 일관성, 시각적 충실도에 대해 별도로 채점한다. 여섯 모델과 다섯 에이전트 런타임에 걸친 실험은 블랙박스 복제가 여전히 어렵다는 점을 보여 준다. Claude Opus 4.8이 71.6%로 가장 높은 Overall 점수를 달성하였고, 다른 모델들은 4.0%~43.0%를 얻었다. 모든 모델이 시각적 충실도에서 가장 높고 규칙 일관성에서 가장 낮은 점수를 받았으며, 이는 외형을 재현하는 것이 메커니즘을 복원하는 것보다 쉽다는 점을 시사한다. 난이도는 격차를 벌린다. L1에서 L5로 갈수록 하위 네 모델은 Overall 점수가 상대적으로 33%~63% 감소한 반면, 가장 강한 모델은 5% 미만 감소하였다. 평가된 구성에서 결과는 에이전트 런타임 간보다 모델 간에 더 크게 달랐으며, 약한 모델의 귀속된 실패 대부분은 복제본 코드를 작성하기 전의 탐색 단계에서 발생하였다. 자료와 대화형 데모는 https://qqqqqqby.github.io/GameReplica/ 에서 제공된다.

arXiv:2609.26249v2cs.CL공통 태그 Code Generation

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2607.21609v2cs.AI공통 태그 Code Generation

HierFlow: 자동 에이전트 워크플로 생성을 위한 계층적 결합 이중 공간 탐색

HierFlow: Hierarchical Coupled Dual-Space Search for Automatic Agentic Workflow Generation

구조화된 워크플로우는 대규모 언어 모델(LLM)이 복잡한 문제를 해결할 수 있게 해주지만, 이를 자동으로 생성하는 것은 방대한 조합적 탐색 공간으로 인해 심각하게 저해되며, 이는 종종 유연하지 않고 자원을 많이 소모하는 오프라인 학습 의존성을 초래한다. 이를 해결하기 위해, 우리는 워크플로우 생성을 상위 토폴로지 층이 하위 작업 경계를 규정하고 하위 수준의 실행 결과가 토폴로지 자체를 능동적으로 재형성하는, 토폴로지와 실행이 맞물린 탐색 패러다임으로 개념화한다. 이 기반 위에서, 우리는 피드백 기반 토폴로지 조정과 하위 워크플로우 최적화를 위한 빠른 MCTS(Monte Carlo Tree Search) 기반 트리 탐색을 결합하여 에이전트형 워크플로우 설계를 자동화하는, 학습 불필요·테스트 시점 계층적 탐색 아키텍처인 HierFlow를 제안한다. HierFlow는 맥락적 필요에 따라 실행 수준 탐색을 선택적으로 트리거하는 지능형 게이팅 모듈을 통해 효율성을 극대화하며, 우리는 작업 간 결합 정도가 계층적 분할의 효과에 미치는 영향을 상세히 분석함으로써 이 메커니즘을 추가로 뒷받침한다. 질의응답, 수학적 추론, 코드 생성 벤치마크에 걸친 종합적인 테스트는 HierFlow가 강력한 베이스라인을 지속적으로 능가하며, 추가 학습 부담 없이 고품질 결과와 계산 효율성의 최적 균형을 제공함을 확인한다.

arXiv:2608.03461v3cs.AI공통 태그 Code Generation

예제 기반 프로그래밍을 위한 해결기 인식 분해: 나누려면 정복하는 법을 알아야 할 때

Solver-Aware Decompositions for Programming-by-Example: When Dividing Requires Knowing How to Conquer

분해 기반 예제 기반 프로그래밍(Programming-by-Example)은 과제를 하위 과제로 나눈다. 분해기는 중간 하위 목표를 예측하고, 학습된 합성기는 각 하위 목표에 대한 프로그램을 생성한다. 실행-분해 접근법은 분해기가 정답(GT) 하위 목표를 모방하도록 학습시키며, 그에 따라 분해의 품질을 과제만의 속성으로 취급한다. 그러나 학습된 합성기는 고유한 귀납적 편향을 가지며, GT 하위 목표는 주석 작성자가 과제를 어떻게 분해했는지를 반영할 뿐 이 합성기가 무엇을 풀 수 있는지를 반영하지 않는다. 따라서 이를 모방하는 분해기는 논리적으로는 타당하지만 합성기가 풀기 어려운 하위 목표를 제안할 수 있다. 이러한 관찰에 착안하여 우리는 해결기 인식 분해(Solver-Aware Decompositions, SAD)를 제안한다. SAD는 GT 하위 목표에 대한 지도 학습을 구조적 발판으로 유지하면서, 고정된 합성기를 상대로 자기 비판적(self-critical) 정책 경사를 이용해 분해기를 온라인으로 추가 학습시킨다. 샘플링된 각 하위 목표에는 목표 프로그램에 대한 합성기의 음의 교차 엔트로피가 보상으로 주어지며, 이는 해당 합성기에게 하위 과제가 얼마나 어려운지를 나타내는 연속적 신호이다. 실험은 정확도의 역설을 보여 준다. 합성기를 고정했을 때 GT로 지도 학습된 분해기는 GT 하위 목표와 더 자주 일치하지만, 합성기가 동일한 GT 데이터로 학습되었음에도 그 하위 목표는 더 낮은 합성 정확도로 이어진다. 두 가지 리스트 처리 도메인에서 SAD는 분포 내 및 길이 일반화 상황 모두에서 GT로 지도 학습된 분해기보다 합성 및 과제 정확도를 향상시키며, 외부 벤치마크로의 제로샷 전이와 미세 조정된 언어 모델에서도 마찬가지이다. 추론 시점에 동일한 합성기와 탐색을 사용하면서 GT 하위 목표를 제공받는 오라클조차 SAD가 해결하는 과제에서 실패하며, 이러한 과제에 대한 SAD의 해 중 GT 프로그램과 일치하는 것은 2% 미만이다. 따라서 분해의 품질은 과제의 속성이 아니라 하위 목표를 실행하는 합성기에 의존한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.