arXiv:2609.28004v1 cs.CL

질문형 대화의 속성별 제어 요약

Controlled Attribute-Specific Summarization of Interrogative Dialogues

A Aditya Bhardwaj, Arjit Singh Arora, Md Shad Akhtar

제출 2026-09-24

한국어 초록

효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.

원문 초록

Effective summarization of interrogative dialogues is a critical task in forensic and investigative settings, requiring high factual accuracy, coherence, and attribute-specific relevance. In this work, we introduce CASPER, a novel Chain-of-Thought Attribute-Specific Prompting for Evaluative Summarization framework that leverages structured prompting and iterative refinement to generate high-quality summaries of interrogator-witness interactions. We construct MINDSum, a dataset extending the MIND corpus, comprising 6,000 utterance pairs annotated with event details, factual statements, character descriptions, and fillers. CASPER employs RoleEval, a hierarchical evaluation mechanism where multiple roles (officer, inspector, senior inspector) iteratively assess summaries based on predefined criteria. By integrating entity extraction and structured feedback loops, CASPER significantly improves factual consistency and contextual completeness compared to existing baselines. Experimental results demonstrate that our framework outperforms standard summarization models on both lexical (ROUGE) and semantic (BERTScore) metrics, while human evaluation confirms its alignment with expert reasoning. Our findings underscore the potential of controlled summarization in high-stakes domains, paving the way for AI-driven forensic intelligence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28004v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13386v1cs.CL공통 태그 Large Language Model, Prompt Engineering

MoPrO-SD: 입장 탐지를 위한 모듈형 프롬프트 최적화

MoPrO-SD: Modular Prompt Optimization for Stance Detection

입장 탐지(stance detection)는 암묵적인 의견, 반어법, 맥락 의존적인 입장 표현으로 인해 대규모 언어 모델(LLM)에 여전히 어려운 과제로 남아 있습니다. 자동 프롬프트 최적화는 모델 가중치를 업데이트하지 않고도 미세조정의 대안을 제공하지만, 기존의 구조화된 접근 방식들은 입장 레이블의 의미론과 클래스별 모호성에 맞추어 특별히 설계되지 않았습니다. 본 연구에서는 프롬프트를 기능적 의미 모듈로 분해하고 LLM 기반 피드백을 사용하여 순차적으로 정제하는 입장 특화 프롬프트 최적화 프레임워크인 MoPrO-SD를 소개합니다. 저자들은 입장 레이블 정제를 위해 클래스 조건부 오류를 활용하는 세 가지 정제 전략인 지시문 전용 최적화(I), 추론을 포함한 지시문(I+R), 예시별 추론을 포함한 지시문(I+R+E)을 연구합니다. 또한 백신 입장 탐지를 위해 사람이 직접 주석을 단 새로운 벤치마크인 VaccineStance를 소개합니다. 4개 데이터셋과 5개 공개 가중치 LLM에 걸친 실험 결과, MoPrO-SD는 많은 환경에서 사람이 작성한 기본(Base) 프롬프트보다 성능을 향상시키는 것으로 나타났습니다. SemEval-2016에서 클래스 조건부 피드백은 5개 백본 중 4개에서 풀링된(pooled) 피드백보다 더 높은 평균 Macro-F1을 달성했습니다. 추론 기반 전략인 I+R과 I+R+E는 모두 강력한 성능을 달성했으며, 모델 및 데이터셋에 따라 상대적인 효과는 달랐으나 최근의 프롬프트 최적화 기법들과 비교하여 경쟁력을 유지했습니다. MoPrO-SD 코드와 VaccineStance 데이터셋은 GitHub에서 이용할 수 있습니다.

arXiv:2610.05671v2cs.AI공통 태그 Large Language Model, Prompt Engineering

프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO

How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation

자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.

arXiv:2610.10628v1cs.SE공통 태그 Large Language Model, Prompt Engineering

Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크

Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking

소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.

arXiv:2610.10650v1cs.CL공통 태그 Text Generation, Large Language Model

대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.

arXiv:2610.02586v1cs.AI공통 태그 Large Language Model, Prompt Engineering

Jev 스타일 타입 기반 결정 모델에서 레이블이 정의를 압도하는 현상

Labels Override Definitions in Jev-Style Typed Decision Models

타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.

arXiv:2610.02616v1cs.AI공통 태그 Large Language Model, Prompt Engineering

VERSE: 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저

VERSE: Verified Self-Evolving Optimizer for Agent Harnesses

하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.