PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10740v1cs.LG

테이블 데이터 기반 대화형 작업 모호성 해소: 정보 누출을 고려한 정식화, 벤치마크 스위트 및 학습

Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training

테이블 데이터 기반 대화형 작업 모호성 해소는 테이블이나 데이터베이스에서 솔루션을 생성하기 전에, 대화를 활용하여 사용자의 의도된 작업에 대한 누락된 정보를 해결합니다. 기존의 평가 및 학습은 정보 누출을 고려한 기반이 부족합니다. 작업 성공 여부에는 에이전트의 모호성 해소 능력과 솔루션 생성 능력이 혼재되어 있으며, 사용자 시뮬레이터가 실제 사용자가 제공할 범위를 넘어 공개하는 정보인 오라클 누출(oracle leakage)이 반영될 수도 있습니다. 또한 기존 데이터셋은 모호성과 접근 경계에 대한 공통 표현이 부족합니다. 본 논문에서는 모호성과 그 해결 방식을 공식화하고, 에이전트를 질문 정책(asking policy)과 솔루션 정책(solution policy)으로, 환경을 오라클과 검증기(verifier)로 분해하는 '모호한 검증 가능 작업(ambiguous verifiable task)' 개념을 제안합니다. 이 프레임워크는 솔루션 생성과 별개로 작업 모호성 해소를 평가하기 위한 베이스라인과 지표, 오라클 누출에 대한 형식적 정의, 별도의 판별 모델이 필요 없는(judge-free) 누출 진단 방법, 그리고 질문 정책을 위한 학습 목표를 제공합니다. 저자들은 에이전트, 오라클, 검증기가 접근할 수 있는 대상을 명시하는 공통 표현 아래 6개의 모호한 데이터셋을 통합한 벤치마크 스위트 AmbiTab을 통해 text-to-SQL에서 이 프레임워크를 구현합니다. 명확화 전략과 오라클 누출을 평가하고, 강화학습(RL)을 통해 질문 정책을 학습합니다. 학습된 질문 정책은 6개 데이터셋 모두에서 모호성 해소 지표를 향상시키고 5개 데이터셋에서 작업 성공률을 높였으며, 제안된 누출 진단 방법을 통해 학습이 오라클 누출에 미치는 영향을 측정합니다.