arXiv:2607.02615v1 cs.CR

에이전트가 생성하고, 우리가 검증한다: 에이전틱 아티팩트 생성을 위한 경량 프레임워크

The agent creates, we validate: A Lightweight Framework for Agentic Artifact Generation

Yaniv Melamed, Yoni Zukerman, Michal Shechter, Miri Weissler, Ashwin Patil, Hani Neuvirth-Telem

제출 2026-07-01

한국어 초록

대규모 언어 모델(LLM)로 구조화된 아티팩트(예: 데이터베이스 쿼리, 위협 프레임워크 매핑, 엔티티 스키마)를 생성하는 것은 비교적 간단하지만, 프로덕션 배포에 충분히 신뢰할 수 있는 수준으로 만드는 것은 과제를 수반한다. 우리는 핵심 원칙에 기반한 경량 프레임워크를 제시한다: LLM이 생성하고, 우리가 검증한다. 이러한 재구성은 책임을 생성 품질에서 검증 엄밀성으로 전환한다. 이 프레임워크는 세 가지 핵심 속성에 기반한다. 첫째, 테스트 주도 생성(test driven generation): 테스트가 실패하면 LLM은 출력이 실패한 이유를 드러내는 지시적 오류 메시지를 수신하여, LLM이 자신의 실수를 이해하고 후속 시도를 개선할 수 있도록 한다. 둘째, 결정론적 테스트와 LLM 기반 테스트: 결정론적 테스트는 프로그래밍 방식으로 검증 가능한 휴리스틱(스키마, 구문, 상호 참조)을 포착하고, LLM 기반 테스트는 프로그래밍 방식의 검사에 저항하는 미묘한 의미론적·정교한 특성(의도 정렬, 논리적 일관성, 도메인 정확성)을 평가한다. 셋째, 전문가 지식이 증류된 판정자(expert-distilled judges): LLM 기반 테스트는 인간 전문가의 의사결정 분포를 증류하고 재현하도록 보정되어, 수동 인간 품질 게이트를 전문가 수준의 검증 기준을 반영하는 확장 가능하고 재사용 가능한 평가 프록시로 전환한다. 우리는 Microsoft Sentinel에서 프로덕션 배포된 보안 도메인의 세 가지 아티팩트 유형—KQL 쿼리 생성, MITRE ATT&CK 매핑, 엔티티 매핑—에서 이 프레임워크를 시연한다. 우리는 이 프레임워크가 보안을 넘어 다른 아티팩트 생성 작업에도 적용될 수 있으며, LLM 생성의 효율성 이점을 희생하지 않고 신뢰할 수 있는 고품질 출력에 이르는 경로를 제공한다고 믿는다.

원문 초록

Generating structured artifacts with Large Language Models - e.g. database queries, threat framework mappings, entity schemas - is relatively straightforward; however, making them reliable enough for production deployments presents challenges. We present a lightweight framework based on a core principle: LLMs generate, we validate. This reframing shifts responsibility from generation quality to validation rigor. The framework rests on three key attributes: First, test driven generation: when tests fail, the LLM receives indicative error messages that expose why the output failed, enabling the LLM to understand its mistakes and refine subsequent attempts. Second, deterministic and LLM-based tests: deterministic tests catch heuristics that can be programmatically verified (schema, syntax, cross-reference), while LLM-based tests evaluate nuanced semantic and delicate features that resist programmatic inspection (intent alignment, logical consistency, domain correctness). Third, expert-distilled judges: LLM-based tests are calibrated to distill and replicate human expert decision distribution, transforming manual human quality gates into scalable, reusable evaluation proxies that reflect professional-grade validation standards. We demonstrate the framework on three artifact types in the security domain - KQL query generation, MITRE ATT\&CK mapping, and entity mapping - deployed in production at Microsoft Sentinel. We believe this framework can be applied beyond security to other artifact generation tasks, providing a path to reliable, high-quality outputs without sacrificing the efficiency gains of LLM generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02615v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13626v1cs.SE공통 태그 Hallucination, Code Generation

SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹

SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle

대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.

arXiv:2610.10639v1cs.LG공통 태그 Code Generation, Prompt Engineering

가시적 추론은 보편적인 옵티마이저가 아니다: 분석 코드 생성에서 페르소나 및 사고 의존적 효과

Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation

가시적 사고의 연쇄(Visible Chain-of-Thought, CoT)는 흔히 광범위하게 유용한 추론 지침으로 취급되지만, 분석 코드 생성은 자연어의 모호성, 스키마 그라운딩(schema grounding), 대상 언어 제약 조건, 그리고 모델 고유의 추론(inference) 동작을 결합합니다. 동일한 분석 요청을 SQL과 Python(pandas)이라는 두 개의 서로 다른 대상 언어로 표현할 수 있기 때문에, 이 설정은 널리 퍼져 있으면서도 충분히 검증되지 않은 일반적인 가정을 자연스럽게 테스트할 수 있는 환경을 제공합니다. 즉, "SQL로 생각하라" 또는 "Python으로 생각하라"와 같이 가시적 추론 표현이 요청된 대상 언어와 일치할 때 더 효과적이라는 가정입니다. "단계별로 생각하라(think step-by-step)"와 같은 일반적인 지침과 함께 이러한 권장 사항들은 통제된 실행 기반 비교 환경에서 여전히 충분히 평가되지 않은 상태로 남아 있습니다. 본 연구에서는 페르소나 문구, 대상 언어, 가시적 CoT 형식, 제어 접두사, 직접 생성 및 내부 추론 구성을 교차 적용한 쿼리 매칭 SQL-pandas 벤치마크를 조사합니다. 연구 결과는 가시적 CoT를 통한 보편적인 정확도 향상이나 추론 표현을 대상 언어와 일치시키는 데서 오는 일관된 이점을 지지하지 않습니다. 대신 그 효과는 페르소나, 대상 언어, 모델 구성 및 내부 추론 설정에 따라 달라집니다. 또한 제어 절제 연구(control ablations)는 추론 내용의 효과와 프롬프트(prompt) 형식의 효과를 추가로 구분합니다. 이러한 발견은 추론 전략을 보편적인 기본값으로 채택하기보다는 모델, 페르소나, 대상 언어 및 내부 추론 구성을 종합적으로 고려하여 선택해야 함을 시사합니다. 더 나아가 본 연구는 가시적 추론이 실행 가능한 코드 생성을 개선하는 시점, 단순히 모델 동작을 교란하는 시점, 그리고 내부 추론 구성이 더 결정적인 요인이 되는 시점을 식별할 수 있는 통제된 프레임워크를 제공합니다.

arXiv:2610.02571v1cs.SE공통 태그 Code Generation, Prompt Engineering

효과적인 프롬프트 작성을 통한 LLM 생성 코드의 에너지 효율성 개선

Improving the Energy-Efficiency of the Code Generated by LLMs through Effective Prompting

AI 보조 프로그래밍이 점차 보편화됨에 따라 AI가 생성한 소프트웨어의 환경적 영향이 중요한 고려 사항으로 부상했습니다. 이에 따라 기능적 정확성을 넘어 실행 효율성과 에너지 소비를 고려하여 대규모 언어 모델(LLM)이 생성한 코드를 평가할 필요성이 대두되었습니다. 그러나 코드 생성 분야의 상당한 발전에도 불구하고, 최신 프론티어 LLM은 생성하는 코드의 에너지 효율성을 기준으로 평가되는 경우가 드뭅니다. 본 연구에서는 에너지 효율적인 코드 생성을 위한 21가지 프롬프트 전략에 대해 포괄적인 평가를 수행하고, 널리 사용되는 10개의 오픈 가중치 및 독점 LLM에 걸쳐 평가할 8가지 전략을 도출했습니다. 우리는 기준선 프롬프트 대비 Python 및 C++ 코드 생성 모두에 대한 효과를 평가했습니다. 평가된 모델 전반에 걸쳐 선택된 프롬프트 전략은 Python의 경우 최대 25%, C++ 코드 생성의 경우 최대 17%의 에너지 절감을 달성했습니다. 개별 모델 수준에서 Python 에너지 감소는 Granite-4.0-H-Small의 경우 최대 50%, Claude 4.5 Haiku의 경우 39%, MiniMax M3의 경우 28%에 달했으며, C++ 감소는 Granite-4.0-H-Small의 경우 최대 56%, Qwen3-Coder-480B-A35B-Instruct의 경우 7%에 달했습니다. 이러한 결과는 프롬프트 전략이 모델과 프로그래밍 언어에 따라 그 효과가 다를지라도 LLM이 생성한 코드의 에너지 소비에 상당한 영향을 미칠 수 있음을 보여줍니다. 본 연구 결과는 LLM 기반 코드 생성의 평가 및 최적화에 에너지 효율성을 반영하는 것의 중요성을 강조하며, 보다 지속 가능한 AI 보조 프로그래밍을 위한 프롬프트 설계에 대한 실질적인 통찰을 제공합니다.

arXiv:2610.02616v1cs.AI공통 태그 Code Generation, Prompt Engineering

VERSE: 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저

VERSE: Verified Self-Evolving Optimizer for Agent Harnesses

하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.

arXiv:2608.28021v2cs.CR공통 태그 Code Generation, Prompt Engineering

무엇과 비교할 것인가? LLM이 생성한 Infrastructure-as-Code를 위한 인간 기준 보안 벤치마크

Compared to What? A Human-Anchored Security Benchmark for LLM-Generated Infrastructure-as-Code

대규모 언어 모델(LLM)이 Infrastructure-as-Code(IaC)를 작성하는 사례가 점점 늘고 있으며, 이 경우 안전하지 않은 기본값 하나가 그대로 프로덕션에 프로비저닝된다. 기존 평가는 모델별 취약점 수만 보고하므로, 모델이 자신이 보조하는 엔지니어보다 더 나쁜지 여부는 말해 주지 못한다. 본 논문은 GenIaC-SecBench를 제시한다. 이는 6개 벤더의 오픈 및 클로즈드 웨이트 모델 12개 구성에 걸친 100개 배포 시나리오로 이루어져 있으며, 세 가지 정책 엔진(Checkov, Trivy, KICS)이 완전한 커버리지로 스캔한 1,196개의 아티팩트를 산출한다. 무엇보다 동일한 툴체인으로 사람이 작성한 IaC 템플릿 634개를 스캔하여, 이 작업에 대한 최초의 크기 매칭(size-matched) 인간 보안 기준선을 확보했다. 취약점 밀도는 아티팩트 크기와 강한 역의 관계(Spearman $\rho=-0.55$, $p<10^{-77}$)를 보이므로, 크기를 맞추지 않은 비교는 보안이 아니라 크기를 측정하게 된다. 크기를 맞추면 모든 구성이 인간 기준선을 $3.21\times$에서 $3.87\times$ 초과하며, 과제가 단순할수록 격차가 커진다(리소스 1개에서 $4.9\times$, 20개 이상에서 $1.4\times$). 시나리오의 다수는 기능만 명시하는 데 그치지 않고 보안 상태까지 규정하므로, 프롬프트 유형별로 층화하였다. 전체를 합산하면 격차는 $3.50\times$이며, 안전하지 않은 구성을 명시적으로 요청하는 시나리오를 모두 제외하더라도 모든 구성이 기준선을 웃돈다($2.4\times$에서 $4.2\times$). 이 코퍼스는 프롬프트로 유도되지 않은 기본 보안 태세를 분리해 낼 수 없으며, 이 한계를 밝힌다. "추론"을 표준 생성, 프롬프트 기반 사고의 연쇄(Chain-of-Thought), 벤더의 extended-thinking API로 분해해 보면, extended thinking이 프롬프트 기반 CoT보다 우수한 반면($-12.0\%$, $p=0.0013$), 프롬프트 기반 CoT만으로는 표준 생성과 구별되지 않는다($-1.3\%$, 유의하지 않음). extended thinking은 출력 예산의 $1\%$ 미만만 사용하므로 그 효과의 범위가 제한된다. 두 가지 부정적 결과도 보고한다. 더 많이 배포 가능한 모델이 더 취약하지는 않으며($r=0.158$, $p=0.625$), 완전 사례(complete-case) Friedman 검정은 이 데이터에서 계산할 수 없어 Skillings-Mack 검정을 사용하게 된 동기가 된다. 모든 코드와 데이터를 공개한다.

arXiv:2609.23495v1cs.CV공통 태그 Hallucination, Prompt Engineering

고해상도 MLLM에서 텍스트에 더 많은 어텐션을 기울여라

Pay More Attention To Text In High-Resolution MLLMs

고해상도 멀티모달 대규모 언어 모델(MLLM)의 실패는 흔히 시각적 문제로 귀결되어 세부적인 근거를 복원하거나 간섭을 억제하기 위한 줌(zooming), 크롭(cropping) 및 관련 시각적 개입을 유도해 왔습니다. 그러나 최근 연구에 따르면 관련 시각적 근거는 이미 중간 표현(intermediate representation)에 인코딩되어 있어 시각 측면의 개선만으로는 불충분함을 시사합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 남아있는 병목 현상은 시각적 탐색을 유도하는 텍스트에 있는 것일까? 본 연구에서는 기존에 간과되었던 언어적 병목 현상을 규명합니다. 즉, 답변 생성을 위해 구성된 질문이 위치 파악(localization)에 필요한 시각적 근거를 반드시 명시하지는 않는다는 점입니다. 이러한 불일치를 해결하기 위해, 최종 추론을 위한 원래 질문을 보존하면서 보완적인 근거 명세(evidence specifications)를 도출하는 학습(training) 불필요 컴파일러인 EviSpec을 제안합니다. 나아가 근거 명세와 위치 파악의 역할을 분리하는 일치 대조 실험(matched-control experiment)을 통해 이를 검증합니다. 탐색 예산이 고정된 상태에서 구조화된 근거 명세는 일반적인 요청 대비 8.6%의 상대적 성능 향상을 가져옵니다. 근거 지오메트리(geometry)가 일치된 상태에서 EviSpec으로 위치를 파악한 근거는 무작위 근거 대비 14.8%의 상대적 향상을 보입니다. 종합하면, 이러한 대조 실험은 단순히 시각적 접근성을 확장하기보다 찾아야 할 근거를 구체적으로 명시하는 것의 이점을 입증합니다. 5개의 모든 MLLM에 걸쳐 EviSpec은 3개 벤치마크 각각에서 해당하는 기준선(baseline) 대비 지속적으로 성능을 향상시키며, V\textsuperscript{*}Bench, HR-Bench-4K, HR-Bench-8K에서 각각 평균 \textbf{10.4%, 8.8%, 12.4%}의 상대적 성능 향상을 달성합니다. 고해상도 추론을 넘어, EviSpec은 시각적 질의응답(VQA) 및 환각(hallucination) 중심 벤치마크에서도 최고 성능(state-of-the-art)을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.