PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10628v1cs.SE

Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크

Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking

소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.

arXiv:2609.22719v1cs.SE

코드에서 요구사항으로: 기업 규모 비즈니스 규칙의 에이전트 기반 역공학

From Code to Requirements: Agentic Reverse Engineering of Business Rules at Enterprise Scale

기업용 소프트웨어 시스템의 비즈니스 요구사항은 구조화된 형태로 거의 기록되지 않으며, 로직은 대신 소스 코드, 설정 파일, 조직적 기억(institutional memory) 속에 존재한다. 이러한 시스템을 이전·확장·감사해야 할 때 공식적인 요구사항 산출물이 없으면 팀은 비용이 많이 들고 지식이 소실되는 수동 역공학에 내몰린다. 본 논문은 문서화되지 않은 기업 소프트웨어를 역공학하여 비즈니스 요구사항 문서(Business Requirements Documents, bRD)를 자율적으로 생성하는 에이전트 기반 프레임워크를 제시한다. 일곱 개의 전문 에이전트가 협력하여 사용자 여정을 발견하고 비즈니스 규칙을 추출하며, 코드·테스트 스위트·설정·가용 문서로부터 잠금(lock)된 bRD를 합성한다. 이 과정은 정적 분석 도구로 지원되고, 내장된 숙련 실무자 인지 모델이 안내하며, 통제된 에스컬레이션 지점에서 인간 검토자가 감독한다. 실제 기업 배포 환경의 실행 트레이스로 측정한 결과, 프레임워크는 서비스당 9분 미만으로 포괄적인 bRD를 생성하며, 추출된 규칙은 실제 프로덕션 결함 기록과 독립적으로 상호 검증되었다. 동일 목표 아키텍처로의 유사한 이전 마이그레이션에서는 납기에 2년 이상이 걸렸으나, 현재 프로그램에서 이 프레임워크는 IFPUG 복잡도 모델과 업계 벤치마크 인건비를 사용해 실제 저장소 메트릭에서 도출한 기준선 대비 98%를 넘는 비용 절감을 달성한다.

arXiv:2607.21608v1cs.SE

의무에서 명세로: RE에서 EU AI Act 요구사항 검증에 관한 서베이

From Obligation to Specification: A Survey on Validating EU AI Act Requirements in RE

EU AI Act가 발효됨에 따라 AI 시스템을 개발하거나 운영하는 조직은 투명성, 위험 관리, 추적 가능성(traceability)에 대한 새로운 의무를 직면하게 된다. 요구사항 공학(RE) 관점에서 이러한 의무는 테스트 가능하고 감사 가능한 요구사항 및 검증 가능한 증거로 변환되어야 한다. 그러나 많은 조직은 현재 이를 달성하기 위한 체계적인 프로세스가 부족하다. 우리는 대규모 언어 모델(LLM) 기반 에이전트 검증 도구가 이러한 변환을 지원하여 이 격차를 해소하는 데 도움이 될 수 있다고 가설한다. 우리는 EU AI Act 지향 RE를 위한 조직의 준비 상태와 LLM 기반 에이전트 폐루프(closed-loop) 검증 도구에 대한 인식을 평가하기 위해 전문가 인터뷰(N=10)와 온라인 설문조사(N=15)를 포함한 혼합 방법 탐색 연구를 수행한다. 참가자는 RE, 데이터 과학, 개발, 컴플라이언스 역할에 걸쳐 있다. 결과는 EU AI Act가 매우 관련성이 높다고 여겨지지만, 규제 의무를 포착하고 프로젝트에 업데이트를 전파하며, 생명주기 전반에 걸친 추적 가능성과 증거를 유지하는 구조화된 메커니즘이 종종 부재함을 보여준다. 참가자들은 LLM 기반 도구가 의무를 요구사항에 매핑하고, 커버리지를 평가하며, 증거를 조직하는 데 유망하다고 보면서도 완전 자동화에 대한 강한 우려를 표명하고 안전장치(safeguards)의 필요성을 강조한다. 이러한 발견을 바탕으로 우리는 EU AI Act 대응 폐루프 접근법을 위한 최소 요구사항을 개략적으로 제시한다.

arXiv:2606.24834v1cs.AI

Accuracy and Satisfaction in Multi-Turn LLM Dialogues for NFR Assessment

LLM-based dialogue assistants have become mainstream tools for software developers, yet current evaluation benchmarks focus exclusively on functional correctness. This leaves a critical gap in assessing the quality and accuracy of these conversations when handling Non-Functional Requirements (NFRs), which are inherently vague, context-dependent, and involve many parts of a program. Evaluating how well these systems support collaborative reasoning about NFRs requires methods that go beyond single-turn accuracy to capture both the correctness of the system's outputs and the quality of the multi-turn interaction. In this paper, we investigate the accuracy and quality of multi-turn conversations between developers and an LLM-based agent in the domain of Health Insurance Portability and Accountability Act (HIPAA) regulatory compliance. We hired 49 programmers to interact with GitHub Copilot to assess 148 HIPAA-derived NFRs against the iTrust codebase, a system designed to comply with HIPAA regulations, across three dimensions: requirement satisfaction level, reasoning, and code localization. We find that developers tend to agree with LLM assessments, but accuracy against expert ground truth is low. We model user satisfaction and find that longer system responses and more information-providing turns negatively affect user satisfaction, whereas proactive interactions positively affect it. Our findings provide insights for designing LLM-based dialogue systems that support NFR assessment.

arXiv:2606.06563v1cs.SE

자연어 요구사항 기반 AI 주도 테스트 케이스 생성: 기법 및 연구 공백 서베이

AI-Driven Test Case Generation from Natural Language Requirements: A Survey of Techniques and Research Gaps

소프트웨어 테스트는 시스템이 명시된 요구사항을 충족하는지 검증하는 데 핵심적이지만, 개발 과정에서 가장 시간이 많이 소요되고 비용이 큰 활동 중 하나로 남아 있다. 요구사항 기반 테스트 생성은 요구사항 산출물로부터 테스트 케이스를 초기에 도출할 수 있게 하지만, 자연어로부터 이를 직접 생성하는 것은 본질적인 모호성과 부정확성 때문에 어렵다. 최근 AI, 자연어 처리(NLP), 대규모 언어 모델(LLM)의 발전으로 이 파이프라인을 자동화하는 것이 점점 더 실현 가능해졌지만, 환각(hallucination), 추적 가능성(traceability) 저하, 일관되지 않은 평가 등의 새로운 위험도 함께 도입되었다. 본 서베이는 네 가지 연구 질문을 다룬다: 자연어 요구사항으로부터 테스트 케이스를 생성하기 위해 어떤 AI 및 NLP 기법이 제안되었는가; 이러한 접근을 지원하는 도구와 프레임워크는 무엇인가; 생성된 테스트 케이스는 어떻게 평가되는가; 그리고 어떤 연구 공백이 남아 있는가. Kitchenham과 Charters의 체계적 문헌고찰 가이드라인에 따라 2000-2025년에 걸친 주요 학술 데이터베이스를 검색하였고, 엄격한 포함 기준을 적용한 후 21편의 1차 연구를 확인하였다. 문헌은 세 개의 진화 단계로 구성되며, 기존 접근법 중 자동화, 모호성 처리, 도메인 적용성, 추적 가능성, 평가의 철저함, 환각 제어의 여섯 가지 핵심 품질 차원을 동시에 만족하는 것은 없음을 보여준다. 본 서베이의 주요 기여는 세 가지이다: AI 기반 테스트 생성에 대한 3단계 진화적 종합; 모든 품질 차원을 현재 어떤 접근법도 완전히 다루지 못함을 보여주는 6기준 공백 분석; 그리고 환각, 추적 가능성, 복잡도 민감성, 규정 준수를 대상으로 한 네 가지 실행 가능한 연구 지침.