arXiv:2610.10740v1 cs.LG

테이블 데이터 기반 대화형 작업 모호성 해소: 정보 누출을 고려한 정식화, 벤치마크 스위트 및 학습

Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training

Nafiseh Ghoroghchian, Luis Scoccola, Tina Sedaghat, Omid Vaheb, Hannah Chen, Dino D'Agostino, Keyvan Golestan

제출 2026-10-07

저자 비고

arXiv Comments

39 pages (9 main, 30 appendix), 12 figures (5 main, 7 appendix)

한국어 초록

테이블 데이터 기반 대화형 작업 모호성 해소는 테이블이나 데이터베이스에서 솔루션을 생성하기 전에, 대화를 활용하여 사용자의 의도된 작업에 대한 누락된 정보를 해결합니다. 기존의 평가 및 학습은 정보 누출을 고려한 기반이 부족합니다. 작업 성공 여부에는 에이전트의 모호성 해소 능력과 솔루션 생성 능력이 혼재되어 있으며, 사용자 시뮬레이터가 실제 사용자가 제공할 범위를 넘어 공개하는 정보인 오라클 누출(oracle leakage)이 반영될 수도 있습니다. 또한 기존 데이터셋은 모호성과 접근 경계에 대한 공통 표현이 부족합니다. 본 논문에서는 모호성과 그 해결 방식을 공식화하고, 에이전트를 질문 정책(asking policy)과 솔루션 정책(solution policy)으로, 환경을 오라클과 검증기(verifier)로 분해하는 '모호한 검증 가능 작업(ambiguous verifiable task)' 개념을 제안합니다. 이 프레임워크는 솔루션 생성과 별개로 작업 모호성 해소를 평가하기 위한 베이스라인과 지표, 오라클 누출에 대한 형식적 정의, 별도의 판별 모델이 필요 없는(judge-free) 누출 진단 방법, 그리고 질문 정책을 위한 학습 목표를 제공합니다. 저자들은 에이전트, 오라클, 검증기가 접근할 수 있는 대상을 명시하는 공통 표현 아래 6개의 모호한 데이터셋을 통합한 벤치마크 스위트 AmbiTab을 통해 text-to-SQL에서 이 프레임워크를 구현합니다. 명확화 전략과 오라클 누출을 평가하고, 강화학습(RL)을 통해 질문 정책을 학습합니다. 학습된 질문 정책은 6개 데이터셋 모두에서 모호성 해소 지표를 향상시키고 5개 데이터셋에서 작업 성공률을 높였으며, 제안된 누출 진단 방법을 통해 학습이 오라클 누출에 미치는 영향을 측정합니다.

원문 초록

Conversational task disambiguation over tabular data uses dialogue to resolve missing information about a user's intended task before producing a solution over tables or databases. Existing evaluation and training lack a leakage-aware foundation. Task success mixes the agent's disambiguation and solution-generation capabilities and can also reflect oracle leakage, that is, information that a user simulator reveals beyond what a real user would. Existing datasets also lack a shared representation of ambiguities and access boundaries. We introduce the notion of an ambiguous verifiable task, which formalizes ambiguities and resolutions, decomposing the agent into an asking policy and a solution policy, and the environment into an oracle and verifier. This framework provides baselines and metrics for evaluating task disambiguation separately from solution generation, formal definitions of oracle leakage, judge-free leakage diagnostics, and a training objective for the asking policy. We instantiate the framework in text-to-SQL with AmbiTab, a benchmark suite that unifies six ambiguous datasets under a common representation specifying what the agent, oracle, and verifier may access. We evaluate clarification strategies and oracle leakage, and train an asking policy with reinforcement learning. The trained asker improves our disambiguation metrics on all six datasets and task success on five, and our leakage diagnostics measure how training affects oracle leakage.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10740v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Reinforcement Learning (RL), Benchmarking

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15956v1cs.AI공통 태그 Reinforcement Learning (RL), Benchmarking

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2610.13644v1cs.LG공통 태그 Benchmarking, tabular data

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.04906v2cs.CL공통 태그 Reinforcement Learning (RL), Benchmarking

장기적 작업 수행 에이전트를 위한 검증 가능한 환경의 스케일링

Scaling Verifiable Environments for Long-horizon Work Agents

작업 수행 에이전트(work agent)는 디지털 아티팩트를 다루며 전문적인 지식 집약적 업무를 수행하므로, 장기적(long-horizon) 상호작용과 신뢰할 수 있는 검증을 지원하는 학습(training) 환경이 필요합니다. 그러나 수작업으로 제작된 환경은 막대한 엔지니어링 오버헤드를 유발하여 환경 스케일링을 저해하는 반면, 합성 방식은 작업 공간의 복잡성, 현실성 또는 근거 기반의 검증 가능성을 희생합니다. 이러한 격차를 해소하기 위해, 실제 리소스로부터 검증 가능한 작업 에이전트 환경을 구축하는 확장 가능한 합성 프레임워크인 WorkForge를 소개합니다. WorkForge는 전문가의 워크플로에서 출발하여 각 워크플로에 필요한 리소스, 의사결정 및 결과물을 먼저 식별합니다. 그런 다음 관련된 실제 파일들을 검색하여 작업 공간(workspace)으로 구성합니다. WorkForge는 작업 공간을 검사하여 해당 내용에 대한 구체적이고 확인 가능한 사실들을 추출합니다. 이러한 사실적 앵커(factual anchor)는 작업 공간이 지원할 수 있는 태스크 유형과 그 결과를 검증할 수 있는 방식을 확정합니다. 따라서 WorkForge는 이러한 사실적 앵커로부터 각 태스크의 지침, 해결 계획, 그리고 상호보완적인 프로그래밍 방식 및 의미론적 검증기(verifier)를 직접 도출함으로써, 검증 과정이 관찰 가능한 작업 공간의 증거를 추적할 수 있도록 유지합니다. 나아가, 60개 파일 형식을 포괄하는 작업 공간을 바탕으로 40개 전문 도메인에 걸쳐 16.7K개의 검증 가능한 환경을 구축했습니다. Qwen3.5-35B-A3B-Base를 사후 학습(post-training)한 결과, GDPVal은 45.5에서 73.6으로, APEX Score는 5.0에서 21.3으로 향상되었으며, Qwen3.5-27B 또한 매우 경쟁력 있는 성능을 달성하여 강력한 경쟁 모델들을 능가했습니다. 분석 결과는 제안된 방법의 효과를 입증하며, 데이터양과 상호작용 지평(interaction horizon) 모두에서 일관된 스케일링 동작을 보여줍니다.

arXiv:2610.10833v1cs.AI공통 태그 Reinforcement Learning (RL), Benchmarking

시간 내 완수: 기한을 준수하며 생산적인 시간 제한형 AI 에이전트를 향하여

On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

본 연구에서는 소형 대규모 언어 모델(LLM) 에이전트가 할당된 실행 시간을 준수하면서 주어진 시간을 생산적으로 활용함으로써, 명시적인 실제 시간(wall-clock time) 예산 하에서 효과적으로 작동할 수 있는지 탐구합니다. 추가 계산 시간이 성능을 의미 있게 향상시킬 수 있는 두 가지 에이전트 벤치마크인 MLE-Bench Lite의 5개 대회에서 Qwen3.6-27B를, Zork I(Jericho)에서 Qwen3-4B를 평가합니다. 예산이 프롬프트에만 명시되는 가장 단순한 설정에서는 에이전트가 명시된 예산을 통제된 시간 활용으로 전환하는 데 실패합니다. 이러한 실패는 하네스(harness)가 타이밍 피드백을 제공하지 않아 발생하는 시간 인지의 공백뿐만 아니라, 행동의 소요 시간을 안정적으로 예측하지 못하고 가용 시간에서 적절한 전략으로 이어지는 학습된 매핑이 부재하기 때문에 발생합니다. 저자들은 두 가지 상호보완적인 개입 방식을 조사합니다. 즉, 시간 정보를 노출하고 마감 기한을 강제하는 하네스 기반 메커니즘과 예산을 인식하는 보상을 적용한 강화학습(RL)입니다. 하네스를 통해 시간 정보를 주입하면 성능의 측정 가능한 손실 없이 Qwen3.6-27B의 예산 준수도가 크게 향상되며, 강제 훅(enforcement hook)을 적용하면 준수도가 더욱 엄격해집니다. GRPO를 활용한 강화학습은 Zork I에서 거의 완벽한 예산 준수를 달성하고 학습 중 보지 못한 미확인(held-out) 예산에도 일반화되지만, MLE-Bench에서 학습되지 않은 하네스 대비 작업 성능을 향상시키지는 못합니다. 에이전트가 예산을 준수하도록 만든 후에도, 추가 시간을 작업 성능 향상에 활용하는 데는 여전히 실패합니다. 강화학습으로 학습된 정책은 종료 시점을 학습하지만 남는 시간을 반복적인 행동으로 채우는 경우가 많으며, 여러 예산에 대한 GRPO 학습은 가장 짧은 예산에 대해 학습된 전략으로 수렴(collapse)하는 경향을 보입니다. 본 연구 결과는 시간 준수와 생산적인 시간 배분 사이의 격차를 드러내며, 이는 예산 조건부 에이전트의 핵심 과제로 남아 있음을 보여줍니다.

arXiv:2610.10947v1cs.LG공통 태그 Reinforcement Learning (RL), Benchmarking

RH-Detect: 보상 해킹 탐지를 위한 통합 벤치마크

RH-Detect: A Unified Benchmark for Reward Hacking Detection

의도된 작업을 완수하지 않은 채 평가 신호를 악용하는 현상인 보상 해킹(reward hacking)은 배포된 언어 모델 시스템의 신뢰성을 위협합니다. 기존 데이터셋들은 서로 다른 라벨, 응답 형식, 메타데이터 규약을 사용하여 탐지기(detector)의 결과를 비교하기 어렵게 만듭니다. 본 논문에서는 11개의 공개 데이터셋에서 보상 해킹과 관련된 하위 집합들을 결합하여 92,761개 행과 6가지 행동 범주를 공통 스키마로 구성한 벤치마크인 RH-Detect를 제시합니다. 다중 턴(multi-turn) 도구 사용 궤적을 포함하여 작업 프롬프트와 자유 형식 모델 생성문으로 각각 구성된 5,021개의 개방형 평가 단위에서, 추가 학습 없이 5개 계열의 기성 언어 모델 6개를 보상 해킹 탐지기로서 평가합니다. 최고 성능의 모델은 풀링된(pooled) AUROC 0.962와 93% 이상의 정확도를 달성합니다. 그러나 가장 강력한 4개 모델의 경우, 공통 결정 임계값에서 두 다중 턴 도구 사용 데이터셋인 MALT와 TRACE에 대한 정확도가 다른 데이터 소스에 비해 10.7~15.9%p 낮게 나타나, 배포 시점 모니터링에서의 주요 격차를 부각합니다. 또한 입력 형식에 따라 모델별로 서로 다른 영향이 나타남을 발견했습니다. 생각 과정(thinking)을 제거하면 Qwen3.5-4B의 AUROC는 0.779에서 0.849로 증가하지만, Qwen Flash는 0.977에서 0.950으로 감소합니다. 아울러 본 벤치마크를 탐지기 학습 데이터셋으로도 평가합니다. 각 소스를 차례로 배제(hold out)하며 평가했을 때, 단일 토큰 지도 미세조정(single-token SFT)은 6개 제외 소스 중 5개에서 평균 AUROC를 향상시켰습니다. 해당 실패 사례에 대해 GRPO를 후속 적용한 결과 탐지 성능이 소폭 향상되었습니다. 본 연구 결과는 단일 풀링 점수가 데이터 소스, 탐지기 입력, 학습 절차 전반에 걸친 편차를 가릴 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.