불확실성 인식 생성 및 모호성 하에서의 의사결정
Uncertainty-Aware Generation and Decision-Making Under Ambiguity
한국어 초록
빠르게 향상되는 역량을 바탕으로, 대규모 언어 모델(LLM)은 점점 더 많은 복잡한 실세계 과제에 활용되고 있다. 이러한 과제들은 심층적인 지식과 추론 능력을 요구할 뿐 아니라, 높은 수준의 주관성을 띠며 모델 출력에 대한 신뢰성이 요구된다. 더 나은 모델을 학습시키기 위한 많은 진전이 이루어진 반면, 의사결정 알고리즘에 대한 관심은 상대적으로 부족했다. 본 연구에서는 튜터링 및 자동 동료 심사 과제를 대상으로, 베이즈 결정 이론과 위험 회피적 의사결정에 기반한 다양한 불확실성 인식 의사결정 알고리즘을 제시하고 평가한다. 구체적으로, 튜터 응답 또는 심사 의견 생성 시 튜터링 전략 및 심사 점수에 대한 불확실성을 반영하며, 컨포멀 예측(conformal prediction)을 활용하여 전략과 점수에 대한 보장을 제공한다. 실험적으로, 이러한 알고리즘들이 생성 결과의 유용성을 향상시킬 수 있음을 확인하였으나, 모호성이 높은 경우 신중하게 구현되어야 함을 발견하였다. 예를 들어, 위험 회피 규칙은 일반적인 출력을 최적화하는 방향으로 작동하여 성능을 저하시킬 수 있는 반면, 베이즈 방법은 더 나은 성능을 보이는 경향이 있다. 본 연구는 결정 이론의 기법을 활용하여 LLM 기반 의사결정을 개선하고, 연구 커뮤니티를 위한 미해결 과제들을 제시한다.
원문 초록
With rapidly improving capabilities, Large Language Models (LLMs) are increasingly used in many complex real-world tasks. Beyond requiring in-depth knowledge and reasoning skills, many of these tasks exhibit a high degree of subjectivity and require that the outputs of the model can be trusted. While a lot of progress has been made to train better models, decision-making algorithms have received less attention. In this work, we present and evaluate various uncertainty-aware decision-making algorithms based on Bayesian decision theory and risk-averse decision making on the tasks of tutoring and automatic peer reviewing. Concretely, we take uncertainty over tutoring strategies and review scores into account when generating a tutor response or review and use conformal prediction to provide guarantees over strategy and score. We find empirically that these algorithms can improve the utility of the generations but need to be carefully implemented when ambiguity is high. For example, risk-averse rules can degrade performance by optimizing for generic outputs, while Bayesian methods tend to perform better. Our work uses techniques from decision theory to improve LLM-based decision-making and outlines open challenges for the community.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.30578v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.
임계값 인지 컨포멀 라우팅
Threshold-Aware Conformal Routing
고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.
행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정
Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents
대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.
프로그램 개선을 통한 가설 유도 기반 인지 알고리즘 발견
Hypothesis-guided discovery of cognitive algorithms via program refinement
행동 데이터로부터 알고리즘적 추론에 대한 인지 모델(cognitive model)을 개발하는 것은 인지과학의 핵심 과제이며 기존 방식에 도전 과제를 제기합니다. 인지 모델링에 대한 전통적인 접근법은 해석 가능하고 인간의 전문 지식을 활용할 수 있지만 유연성과 확장성이 부족합니다. 대규모 언어 모델(LLM)을 활용하여 인지 모델을 새롭게 생성(de novo generation)하는 최신 기술들은 확장 가능하고 유연하지만, 인간의 전문 지식이 개입할 여지가 부족하며 주로 알고리즘 복원보다 단순한 과제에 적용되어 왔습니다. 본 연구에서는 인지 알고리즘 발견을 프로그램 개선(program refinement) 문제로 다루는 하이브리드 시스템을 제안합니다. 사람이 생성한 인지 모델을 확률적 프로그램으로 표현한 뒤, 모델과 행동 간의 불일치 식별, 연구자가 지정한 제약 조건 내에서의 코드 수준 수정안 제안, 구조적 충실도 검증의 역할을 맡은 LLM 에이전트 시스템에 제공합니다. 수정 사항은 잠재 변수에 대한 추론(inference) 및 데이터 가능도(likelihood) 계산을 수행하는 확률적 추론 모듈로 전달됩니다. 다양한 인지 알고리즘을 드러내는 문제 해결 패러다임 하에서 인간 행동을 바탕으로 본 파이프라인을 평가합니다. 개선된 모델들은 기존 조상 모델에 비해 모델 적합도를 일관되게 향상시키며, 본 과제에서 유의미한 행동 변동성을 포착하는 소수의 반복적인 혁신 요소를 밝혀냅니다.
CreateScore: LLM 기반 이력서 심사를 위한 도메인 이론 기반 베이지안 라우팅
CreateScore: Domain-Theory-Informed Bayesian Routing for LLM-Based CV Screening
대규모 언어 모델(LLM)은 루브릭 기반의 이력서(CV) 심사를 지원할 수 있지만, 모든 지원자와 평가 기준에 고성능 모델을 적용하는 것은 비용이 많이 듭니다. 본 논문에서는 기준 단위 LLM 라우팅을 위한 도메인 이론 기반 베이지안 네트워크인 CreateScore를 제안합니다. 디리클레-다항(Dirichlet-multinomial) 조건부 확률표를 갖춘 수작업 지정 방향성 비순환 그래프(DAG)가 이력서 증거를 사후 불확실성으로 변환하며, 불확실성이 낮은 결정은 로컬 8B 모델로 처리하고 불확실한 결정은 120B 레퍼런스 모델로 이관(escalate)합니다. 그래프는 인과적으로 동기 부여되었으나, 시스템은 인과 추론이 아닌 표준 베이지안 조건화를 수행합니다. 이관 임계값은 학습(training) 폴드에서 보정된 후(목표: 70% 로컬 처리) 고정됩니다. 200개의 합성 데이터 사이언스 이력서(학습 139건, 테스트 61건, 5개 기준)를 대상으로 평가한 결과, 기준 결정의 77.7%(305건 중 237건)가 로컬에서 처리되었습니다. 120B 모델이 모든 기준을 판정한 기준 조건과 비교했을 때, 라우팅된 이관은 토큰 사용량을 65.2% 줄였고 정확한 점수 일치도를 32.8%(8B 단독)에서 42.6%(95% CI 31.0-55.1%)로 높였습니다. 다만 n = 61에서 이 향상은 통계적으로 유의미하게 구분되지 않았습니다. 그러나 불확실성 신호는 8B 모델이 오류를 범한 결정을 식별하지는 못했습니다. 레퍼런스와의 불일치율은 이관된 결정에서 16.2%, 로컬에서 해결된 결정에서 19.4%였으며(AUROC 0.47, 95% CI 0.39-0.56), 이는 무작위 선택보다 나을 바가 없었습니다. 또한 잘린 추론 모델의 출력이 로컬 레이블로 조용히 대체되면서 이전 평가가 무효화되었던 과정을 기록하고 캐스케이드 평가를 위한 안전장치를 권장합니다. CreateScore는 표적화된 오류 탐지기가 아닌 감사 가능한 비용 절감 메커니즘으로 뒷받침되며, 자율 채용 시스템은 아닙니다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.