arXiv:2606.19753v1 cs.AI

그라운딩된 추론: 결정론적으로 캡슐화된 생성 모델을 위한 원칙

Grounded Inference: Principles for Deterministically Encapsulated Generative Models

Marty O'Neill

제출 2026-06-18

한국어 초록

생성 모델을 전통적인 컴퓨팅 시스템에 통합하는 것은 엄청난 기회와 막대한 위험을 동시에 내포하고 있습니다. 많은 초기 도입자가 막대한 비용을 치르며 이러한 위험을 깨달았지만, 전통적인 시스템에 인공지능(AI)을 통합할 때의 위험을 완화하기 위한 기초 프레임워크가 여전히 필요합니다. 이 논문은 확률적 모델의 결정론적 캡슐화를 가능하게 하도록 설계된 AI 혼합 아키텍처의 4가지 구체적인 프리미티브를 정의하여 이 기초를 확립합니다. 또한, 이 분야 엔지니어들에게 경고가 되도록 업계 전반에 걸쳐 널리 나타나는 두 가지 포괄적인 안티 패턴을 정립합니다. 이 프레임워크는 생성 모델 제공자가 차세대 생성 모델 인터페이스를 구축할 수 있는 기반을 제공하는 동시에, 전통적인 시스템에 AI를 성공적으로 통합할 수 있도록 설계되었습니다.

원문 초록

The incorporation of generative models into traditional computational systems presents both enormous opportunity and tremendous peril. Although many early adopters have realized these perils at great expense, the field still requires foundational frameworks to de-risk incorporation of AI into traditional systems. This manuscript establishes this foundation through the definition of four specific primitives of AI blended architecture, designed to enable deterministic encapsulation of probabilistic models. It further establishes two overarching anti-patterns broadly represented across industry to serve as warnings for engineers in this field. This framework was designed to enable successful integration of AI into traditional systems while providing a foundation upon which generative model providers could build the next generation of generative model interfaces.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19753v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10633v1cs.SE공통 태그 software engineering

소프트웨어 공학 체계적 문헌고찰에서 LLM의 스크리닝 성능은 정체되었는가?

Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?

체계적 문헌고찰(SR)에서의 스크리닝(선별) 작업은 수작업으로 이루어지며 많은 시간이 소요됩니다. 이전 연구들에서는 이 단계를 자동화하기 위해 대규모 언어 모델(LLM)을 활용하는 방안을 탐색했으나, LLM이 빠르게 발전하고 있어 초기 성능에 대한 주장이 현재의 스크리닝 성능을 더 이상 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 기존의 소프트웨어 공학 SR 스크리닝 벤치마크(SESR-Eval)를 데이터로 사용했습니다. 또한 더 낮은 비용으로 평가를 수행할 수 있도록 검정력 표본추출(power-sampled)을 적용한 더 작은 신규 데이터셋(SESR-Eval-Mini)을 구축했습니다. 이 데이터를 활용해 8개의 최신 LLM을 대상으로 스크리닝 성능을 평가했습니다. 아울러 다양한 프롬프트를 테스트하고, 스크리닝 결정 및 기준에 대한 LLM 간 일치도를 분석했으며, 포함 및 제외 기준의 세분화가 스크리닝 성능에 미치는 영향을 조사했습니다. 8개의 최신 LLM은 기존 7개 모델에 비해 미미하게 향상된 성능을 보였습니다(2차 연구 전반의 평균 MCC는 0.347에서 0.365로 상승). 2차 연구 간의 성능 차이는 여전히 LLM 간의 차이보다 컸습니다. 개별 기준 수준의 결정으로부터 전반적인 스크리닝 결정을 도출하는 방식은 스크리닝 성능을 아주 약간만 저하시켰습니다. LLM들은 해당하는 스크리닝 결정에서 전반적으로 서로 높은 일치도를 보였으나(평균 Gwet의 AC1 = 0.830), 특정 포함 및 제외 기준에서는 상대적으로 더 큰 불일치를 나타냈습니다. 포함 및 제외 기준을 구체화하자 재현율(recall)이 소폭 향상되고 일부 LLM의 결정이 더 용이해졌지만, 기준 세분화의 전반적인 영향은 크지 않았습니다. LLM은 아직 논문 스크리닝에서 인간을 대체할 준비가 되지 않았으며, 더 많은 비용이 드는 최신 모델이 가져다주는 이점 또한 매우 제한적인 것으로 보입니다. 에이전트 기반 접근법, 프롬프트 엔지니어링, 그리고 추가적인 기준 세분화가 잠재적인 세 가지 향후 연구 방향입니다.

arXiv:2607.00711v2cs.SE공통 태그 software engineering

ClarifyCodeBench: 코드 생성을 위한 모호한 요구사항 명확화 능력에 대한 대규모 언어 모델(LLM) 평가

ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation

대규모 언어 모델(LLM)이 프로그래밍 보조 도구로 부상했습니다. 그러나 코드 생성의 효용성은 입력 요구사항의 품질에 의해 제약을 받으며, 이러한 요구사항은 종종 모호하거나 불완전하거나 덜 명시적(underspecified)입니다. LLM은 원샷(one-shot) 코드 합성에는 뛰어나지만, 견고한 소프트웨어 공학에 필수적인 특성인 의도를 능동적으로 명확히 하는 능력은 여전히 충분히 탐구되지 않았습니다. 기존 벤치마크는 완벽하게 명시된 프롬프트를 가정하여 이러한 상호작용 병목 현상을 대체로 간과하고 있으며, 이는 요구사항 도출의 반복적인 특성을 반영하지 못합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 요구사항의 모호성을 해결하는 LLM의 능력을 평가하는 새로운 상호작용형 벤치마크인 ClarifyCodeBench를 소개합니다. 실제 프로그래밍 작업으로부터 구축된 ClarifyCodeBench는 N개의 고유한 모호성 유형, 관련 명확화 질문 및 이에 해당하는 정답(ground-truth)을 포함한 고품질의 수동 주석을 특징으로 합니다. 또한 상호작용 품질을 평가하기 위한 두 가지 엄밀한 지표를 공식화합니다. 비효율적인 질문에 페널티를 부여하는 턴 할인 핵심 질문 비율(Turn-discounted Key Question Rate)과 도출 과정의 정밀도를 측정하는 최적 라운드 준수도(Optimal Round Adherence)입니다. 본 연구는 ClarifyCodeBench를 사용하여 6개의 최첨단 LLM에 대한 체계적인 평가를 수행했습니다. 실증적 결과는 세 가지 중요한 통찰을 제공합니다. 1) 역량의 분리(Capability Decoupling): 강력한 코드 생성 성능이 효과적인 요구사항 명확화 능력으로 직결되지는 않습니다. 2) 추론의 역설(Reasoning Paradox): 컴퓨팅 사고력이 향상되면 코드 정확도는 높아지지만 모호성을 식별하는 데에는 미미한 이점만을 제공합니다. 3) 다중 모호성의 한계(Multi-ambiguity Ceiling): 모호성의 밀도가 높아질수록 LLM의 명확화 성능이 급격히 저하되어 복잡한 실제 명세를 처리하는 데 상당한 병목 현상이 있음을 드러냅니다. 본 연구는 향후 AI4SE 연구가 정적 합성에서 상호작용적 도출로 전환되어야 할 필요성을 강조합니다.

arXiv:2609.28449v1cs.SE공통 태그 software engineering

LLM은 런타임 동작을 추론할 수 있는가? 저장소 수준의 동적 벤치마크

Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark

대규모 언어 모델(LLM)은 코딩 작업에 점점 더 많이 사용되고 있지만, 코드 실행에 대해 추론하는 능력은 여전히 불분명하다. 기존의 저장소 수준 QA 벤치마크는 주로 정적 코드 이해를 평가하며 LLM 기반 평가에 의존하는 경우가 많고, 실행 추론 벤치마크는 대부분 코드 스니펫이나 함수 수준에 국한되어 있다. 본 논문에서는 동적 실행 추론을 위한 저장소 수준 벤치마크인 SWE-Flux를 소개한다. SWE-Flux는 실제 Python 저장소 12개에 걸쳐 실행에 근거한(execution-grounded) 인스턴스 480개를 포함하며, 정답은 수작업으로 작성하거나 LLM으로 판정하는 대신 계측(instrumented)된 테스트 실행에서 자동으로 수집된다. 이 벤치마크는 제어 흐름, 루프, 프로그램 상태, 데이터플로우, 예외, 프로그램 불변식(invariant)에 대한 단일 테스트 및 다중 테스트 질문을 다룬다. 다섯 개의 LLM을 평가한 결과, 이 작업은 여전히 어려운 것으로 나타났다. 가장 우수한 모델도 정확도가 37%에 불과하다. 모델은 불변식, 프로시저 내(intra-procedural) 제어 흐름, 예외, 단순한 루프와 같은 국소적 동작에서는 더 나은 성능을 보이지만, 데이터플로우, 프로시저 간(inter-procedural) 실행, 정밀한 상태 추론, 테스트 스위트 수준의 집계에서는 어려움을 겪는다. 마지막으로, 오라클 수집 파이프라인이 입력 교란(input perturbation)을 사용하여 새로운 벤치마크 변형을 생성할 수 있음을 보인다. 이 파이프라인은 선택된 인스턴스의 거의 90%에 대해 유효한 변형을 성공적으로 수집하며, 그 결과 생성된 변형은 평가 대상 모델들에게 훨씬 더 어렵다.

arXiv:2601.22029v2cs.LG공통 태그 generative models

관측 앙상블 조건 역문제: 응용 및 방법

Inverse Problems Conditioned on Observation Ensembles: Applications and Methods

본 논문은 앙상블 조건 역문제(EIP)라 명명하는 새로운 다변량 통계 문제를 소개한다. EIP의 목표는 순방향 과정(forward process) 하에서 사전분포(prior)의 pushforward에 따라 분포하는 앙상블을 역산하는 것이다. 고에너지 물리학(HEP)에서는 이 문제가 unfolding으로 잘 알려져 있으며, 검출기 효과로 왜곡된 관측으로부터 실제 물리 분포를 재구성하는 것을 목표로 한다. EIP는 전체 파형 역산(FWI)과 알려지지 않은 사전분포를 갖는 역영상(inverse imaging)에서도 등장한다. 우리는 앙상블 역생성 생성 모델(ensemble inverse generative models)이라 부르는 새로운 조건부 생성 모델 클래스를 기반으로 사후 샘pler를 구성하는 비반복적 추론 시점 방법을 제안한다. 사후 모델링에서 이 모델들은 단일 관측 위에 관측 집합에 포함된 앙상블 정보를 추가로 활용한다. 기존 방법과 달리, 제안 방법은 동일한 순방향 모델과 일치하되 넓은 범위의 사전분포에서 기원한 여러 진실-관측 쌍 집합에 걸친 학습을 통해 추론 시점에 순방향 모델을 명시적·반복적으로 사용하지 않는다. 실험적으로 이 학습 절차가 가능도 모델을 암묵적으로 인코딩하여, 어느 정도 보지 못한 사전분포에 대한 직접 사후 추론을 가능하게 함을 보인다. 역영상, HEP, FWI 분야의 여러 합성 및 실제 데이터셋에서 제안 방법을 벤치마크한다. 코드는 https://github.com/ZhengyanHuan/EIP 에서 제공한다.

arXiv:2609.21190v2cs.LG공통 태그 software engineering

SWE-Proof: 언어 모델이 기계 검증 증명으로 실세계 이슈를 해결할 수 있는가?

SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs?

LLM이 생성한 코드의 정확성을 보장하는 것은 현대 소프트웨어 공학의 핵심 과제이다. 에이전트 기반 코드 생성 벤치마크는 홀드아웃 테스트 스위트로 정확성을 검사하지만, 이는 본질적으로 불완전하고 점점 암기(memorization)에 취약해지고 있다. 형식 검증(formal verification)은 두 문제를 모두 피할 수 있으나, 기존 연구는 입력으로 명세가 주어진 독립형 작업만 다루며, 대규모 저장소를 건드리고 의도를 모호한 자연어로 표현하는 실제 이슈는 다루지 않는다. 우리는 알려진 올바른 패치가 있는 코딩 과제를 형식적으로 검증된 과제로 바꾸는 파이프라인 Benchproofer를 제시한다. 새 코드에 대한 명세(specification)를 작성하고, 그 코드가 호출하는 기존 함수들을 공리(axiom)로 요약하며, 기계적·적대적 게이트가 일치할 때만 인스턴스를 채택한다. SWE-bench Verified에 적용하면 테스트가 아닌 형식 검증으로 정확성이 입증된 500개의 실제 이슈인 SWE-Proof가 만들어지며, SWE-bench Pro로도 확장된다. Claude Opus 4.8을 평가한 결과, 검증은 테스트가 놓치는 것을 잡아낸다. 테스트를 통과한 패치의 4분의 1이 반례(counterexample)를 허용하며, 구조화된 자연어 명세는 이를 고치지 못하지만 올바른 형식 명세는 해결률을 85%에서 95%로 끌어올린다. 그 명세를 작성하는 것이 어려운 부분이다. 스스로 명세를 써야 하는 에이전트는 돕지 않은 기준선보다 이득이 없으며, 그러한 명세 중 56%만이 우리 감사(audit)를 통과한다. 흔한 실패는 충실성(faithfulness)으로, 필요한 동작의 일부만 제약하고 나머지는 자유롭게 두는 명세이다. 명세 품질은 여전히 결과와 상관관계를 보이며, 미해결 인스턴스의 92%에서 실패하는 반면 해결된 인스턴스에서는 51%에서 실패한다. 이로써 충실한 명세 합성은 구체적인 미해결 문제가 된다.

arXiv:2605.01392v2cs.SE공통 태그 software engineering

소프트웨어 설계에서의 LLM 활용: GitHub 실증 연구 및 실무자 설문조사

Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey

대규모 언어 모델(LLM)의 최근 발전은 전통적으로 인간의 전문성과 판단에 크게 의존한다고 여겨져 온 소프트웨어 설계를 포함하여, 다양한 소프트웨어 공학 작업 전반에서 상당한 잠재력을 입증했습니다. 그러나 소프트웨어 설계에서 LLM이 어떻게 활용되는지, 그리고 그에 따른 이점과 한계는 무엇인지 조사한 연구는 제한적이었습니다. 본 논문은 소프트웨어 개발자가 소프트웨어 설계에서 LLM을 어떻게 사용하는지 실증적으로 조사하여 이러한 공백을 해결합니다. 우리는 GitHub에서 공유된 291건의 개발자-ChatGPT 대화에 대한 마이닝 연구와 65명의 소프트웨어 실무자를 대상으로 한 설문조사를 결합한 혼합 연구 방법론을 수행했습니다. 마이닝된 대화로부터 아키텍처 설계, 데이터 모델 설계, 디자인 패턴 활용을 포함하여 ChatGPT가 지원하는 9가지 설계 작업 범주를 식별했습니다. 나아가 개발자-ChatGPT 간의 상호작용을 특성화하여, 마이닝된 대화 속 개발자들이 주로 지식 습득과 설계 관련 코드 생성을 위해 ChatGPT를 사용하며 대부분의 작업이 상세 설계 수준에 위치함을 보여줍니다. 설문조사 참가자들은 더 나은 기술 선택 및 설계 결함의 조기 발견 등 7가지 주요 이점과 긴 출력, 실행 불가능하거나 부정확한 코드, 프로젝트 맥락에 대한 의존성 등 6가지 한계를 보고했습니다. 이러한 연구 결과는 오픈소스 및 실무자 관점 모두에서 소프트웨어 설계 내 현재 LLM 사용에 대한 증거 기반의 특성화를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.