arXiv:2611.23296v1 cs.SE

동료에게 물어라: 요구사항 검토를 위한 NFR 커버리지 공백 순위화

Ask the Peers: Ranking NFR Coverage Gaps for Requirements Review

Risha Parveen, Najmeh Akbari, Farnaz Delirie, Zheying Zhang, Fran\c{c}ois Christophe, Jussi Rasku, Pekka Abrahamsson

제출 2026-11-19

한국어 초록

누락되었거나 과소 반영된 비기능 요구사항(NFR) 범주는 요구사항 집합에 직접적인 증거를 거의 남기지 않아 요구사항 검토 중에 식별하기 어렵다. 본 연구에서는 NFR 커버리지 공백 검토를 프로젝트 수준의 순위화 과제로 정식화한다. 즉, 대상 요구사항 명세가 주어졌을 때 분석가의 검토를 위해 11개의 PROMISE NFR 범주에 순위를 매기는 것이 목표이다. 순위화 메커니즘과 증거 출처가 서로 다른 일곱 가지 통계 기반, 임베딩 기반, 대규모 언어 모델(LLM) 기반 구성을 비교하며, 증거 출처에는 대상 요구사항 문장, 동료 요구사항, 그 의미 표현, 동료 범주 통계가 포함된다. PROMISE, PROMISE+, PURE-Transport, PURE-Business에서 통제된 공백 주입과 leave-one-project-out 평가를 사용하여 구성들을 평가한다. 동료 범주 통계를 사용하는 네 가지 구성은 순위화 메커니즘이 서로 다름에도 범주를 완전히 제거한 조건에서 사실상 동률이며(평균 AUROC 0.875-0.889), 이러한 통계를 직접 LLM 순위화기에 제공할 때 증거로 인한 이득이 가장 크다. 범주가 존재하지만 과소 반영된 경우에는 모든 구성의 성능이 약화되며, 모든 NFR 범주에서 최선인 구성은 없다. 개수가 변하는 범주 수준의 공백에서는 순위화기의 정교함보다 구조화된 동료 증거가 더 중요하다. 이러한 결과는 순위가 요구사항 완전성에 대한 자동 판정으로 쓰이기보다 분석가의 검토를 안내하는 데 사용되어야 함을 시사한다.

원문 초록

Missing or underrepresented non-functional requirements (NFR) categories leave little direct evidence in a requirements set, making them difficult to identify during requirements review. In this study, we frame NFR coverage-gap review as a project-level ranking task: given a target requirements specification, the goal is to rank the 11 PROMISE NFR categories for analyst inspection. We compare seven statistical, embedding-based, and large language model (LLM)-based configurations that differ in both ranking mechanism and evidence source, including target requirement statements, peer requirements, their semantic representation, and peer category statistics. We evaluate the configurations using controlled gap injection with leave-one-project-out evaluation on PROMISE, PROMISE+, PURE-Transport, and PURE-Business. Four configurations that use peer category statistics are effectively tied under complete removal (0.875-0.889 mean AUROC), despite different ranking mechanisms, and supplying those statistics to a direct LLM ranker produces the largest evidence gain. All configurations weaken when a category is present but underrepresented, and none is best for every NFR category. For count-changing category-level gaps, structured peer evidence matters more than ranker sophistication. The findings suggest that the rankings should guide analyst inspection rather than serve as automatic judgements of requirements completeness.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23296v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.