명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.
대규모 언어 모델 에이전트는 규제 공시를 검색하여 금융 질문에 답하는 경우가 점점 많아지고 있다. 이러한 질문은 종종 겉보기와 달리 명세가 부족하다. Meta Platforms의 "operating income"은 연결 기준 $46.75B이지만 Family of Apps 부문만 보면 $62.87B이며, 각 해석은 공시와 정확히 대조해 검증할 수 있다. 유능한 에이전트는 모호함을 인식하고 질문해야 하며, 그럴듯하지만 의도와 다른 해석에 성급히 몰입해서는 안 된다. 기존 금융 벤치마크는 이를 측정할 수 없는데, 질문당 하나의 정답만으로는 모호함을 해소하는 에이전트와 흔한 해석을 추측하는 에이전트를 구분할 수 없기 때문이다. 우리는 이를 단일 정답 환상(single-gold illusion)이라 부른다. 우리는 FinInteract를 공개한다. 이는 영어/중국어 이중 언어 벤치마크로 173개 인스턴스를 포함하며, 5개 범주의 모호성 분류 체계에 따라 각 질문에 기본 해석과 의도된 해석을 짝지어 두고, 에이전트가 적절한 명확화를 이끌어낸 뒤 이를 통합하는지를 채점한다. 동일한 출력을 의도된 해석이 아닌 기본 해석으로 다시 채점하면 GPT-4o의 정확도가 3.1배 부풀려져 환상이 확인된다. 이를 넘어, 해석이 주어지면 모델은 90% 이상 답하지만 스스로 이끌어내야 할 때는 최대 28.9%에 그친다. 또한 분류 체계 전반에서 역량이 고르지 않으며 엔티티 범위(entity scope)와 지표 정의(metric definition)에서는 검정력이 충분하고 그 외 영역에서는 탐색적이다. 모호성 범주를 조건으로 두면 추론과 학습 시점 모두에서 해소 성능이 개선된다.
모호한 사용자 요청은 대화형 LLM 어시스턴트에게 명확화를 순차적 의사결정 문제로 만든다. 어시스턴트는 물을지 여부, 무엇을 물을지, 언제 멈출지, 언제 답할지를 결정해야 한다. 우리는 RegretBench를 소개한다. 이는 고립된 질문 품질이 아니라 정책 행동으로서의 명확화를 평가하는 다중 턴 벤치마크이다. RegretBench는 모호성에 대한 숨겨진 의도(hidden-intent) 공식화를 제공하고, 의미 상태 추적(semantic-state tracking)에 기반한 자유 형식 상호작용을 지원하며, 참조 명확화 정책 대비 모델이 잃는 가치를 측정하는 후회(regret) 기반 목적 함수를 도입한다. 오픈 도메인 QA와 제품 추천 시나리오에서의 실험은 최종 성공만으로는 불충분함을 보여준다. 유사한 정확도를 가진 모델도 효율성, 사용자 행동에 대한 견고성, 중단 결정에서 상당히 다를 수 있기 때문이다. 의도 해소(intent resolution), 상호작용 비용, 비효과적 명확화, 후회를 함께 측정함으로써 RegretBench는 모델이 유용하고 효율적으로 명확화하는지를 드러낸다. 우리 결과는 효과적인 명확화가 그럴듯한 질문 이상을 요구함을 보여준다. 모델은 적절한 시점에 올바른 질문을 해야 하며, 사용자의 의도된 의미가 명확해지면 중단해야 한다.
실제 검색 요청이 모호하거나 불완전한 경우 다단계 추론 과정에서 오류가 전파될 수 있다는 문제를 해결하기 위해, 11개 도메인 211개 샘플과 4가지 모호성 유형을 포함한 명확화 인식 심층 검색 벤치마크 DiscoBench를 제안한다. 실험 결과, 모호성 탐지와 효과적인 명확화는 별개의 역량이며 명확화 요청 없이 반복 검색하는 방식이 직접 추측보다 오히려 성능이 낮아, 현재 검색 에이전트의 검색 능력과 대화형 문제 해결 간 중요한 간극이 드러났다.
계층적 언어 에이전트가 중간 결정 단계에서 정보 부족을 인지하지 못하는 문제를 해결하기 위해, 명확화(clarification)를 행동 공간에 통합하여 행동과 경쟁하게 만드는 ACTION-RATING 방법을 제안합니다. 대규모 분류 벤치마크에서 제안된 방법이 필수 및 기회적 정보 탐색 모드를 유도하며, 정보 탐색 효율성(ISE)을 74%까지 높이고 정확도를 최대 16.2% 개선함을 입증했습니다.