원문 초록
The rapid proliferation of AI applications has intensified debate on effective regulation of these black-box services. Effective regulation must balance two competing goals: (1) deterring non-compliant providers from entering the market, while (2) retaining compliant ones. We call this ideal the perfect market outcome (PMO). Regulators face two compounding obstacles that make PMO difficult to achieve: providers hold private information and can act strategically to evade compliance, while any evidence drawn or derived from a finite sample carries statistical uncertainty in proving non-compliance. As this information asymmetry and statistical uncertainty is inherent to any effective regulation, we formalise them through a mechanism design framework that explicitly accounts for such statistical uncertainty. This yields a sharp characterisation: a mechanism achieves PMO if and only if the set of non-compliant evidence distributions forms a closed, convex set of probability measures, known in imprecise probability as a credal set. This result serves as a diagnostic tool to determine whether PMO is achievable under a given regulation. We further show that PMO-achieving mechanisms can be constructed from a collection of hypothesis tests, and validate our theoretical contributions through experiments on spurious-feature and fairness-based regulations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.05175v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.
조건부 대표 모니터링 및 분류를 위한 문맥 적응형 임계값 설정
Context-Adaptive Thresholding for Conditionally Representative Monitoring and Classification
일반적으로 분류기(classifier)와 모니터링 절차는 오분류율과 같은 목적 함수를 최적화(optimization)하여 레이블이 지정된 데이터로부터 학습(training)됩니다. 이는 중요한 외생 변수가 주어졌을 때 결과(레이블)의 조건부 분포가 모집단의 조건부 법칙과 달라져 비대표적인(unrepresentative) 조건부 분포를 초래할 수 있습니다. 본 연구에서는 오경보율(false alarm rate)을 유지하면서 민감도(sensitivity)를 분배하기 위해 공변량 $Z$(문맥)에 맞춰 임계값을 적응시킴으로써, 임의의 주어진 임계값 형태 분류기 및 모니터링 규칙을 수정하여 대표성 있는 조건부 레이블 예측을 달성하는 방법을 제시합니다. 경보 이벤트가 알려지지 않은 경우, 이 접근법은 임계값 설정 규칙 관점에서 해당 이벤트를 (근사적으로) 추론(inference)할 수도 있게 합니다. 이 접근법은 계산 비용이 저렴한 비모수적 추정 절차를 통해 구현되며, 그 특성은 경험적 과정 이론(empirical process theory)을 포함한 점근적 분포 이론 및 비점근적 오차 한계 관점에서 연구됩니다. 이러한 결과는 균일 신뢰대(uniform confidence bands), 함수형 가설 검정 및 변화 탐지 절차의 구성을 가능하게 합니다. 해석 가능한 머신러닝에서 자주 사용되는 잘 알려진 FICOS 신용 평가 예시에서, 임계값 적응은 일반적인 분류 평가 지표 측면에서 트랜스포머(transformer)를 포함한 최신(SOTA) 방법들과 견줄 수 있는 쉽게 해석 가능한 결정 규칙으로 이어집니다.
언어 모델 선택적 예측을 위한 계층적 그룹-조건부 컨포멀 리스크 제어
Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models
대규모 언어 모델(LLM)은 도메인, 주제 난이도, 언어적 스타일에 따라 구조화된 이질적인 집단을 대상으로 한다. 컨포멀 리스크 제어(CRC)는 기권(abstention)을 포함한 선택적 예측에 대해 엄밀한 주변(marginal) 리스크 보장을 제공하지만, 주변 보장이 그룹별 보장을 의미하지는 않는다. 모델은 전체 모집단 예산을 충족하면서도 하위 그룹에 체계적으로 과도한 오류 노출을 일으킬 수 있다. 그룹 구성의 경미한 변화(shift) 하에서 표준 CRC는 최대 47%의 시행에서 예산을 위반한다. 우리는 사용자가 정의한 그룹 계층의 모든 노드에 걸쳐 동시 리스크 보장을 강제하는 사후(post-hoc) 보정 프레임워크인 HG-CRC(Hierarchical Group-Conditional CRC)를 제안한다. 이는 노드에 대한 Bonferroni 보정과, 적용 가능한 가장 구체적인 임계값을 사용하는 leaf-first 정책을 적용하며, 더 세분화된 노드가 미인증(uncertified)이거나 예시를 거부할 때는 더 거친(coarser) 노드로 대체(fallback)한다. 재학습 없이 보류(hold-out) 보정 세트만 필요하다. 세 가지 모델(Qwen3-4B, Llama-3.1-8B-Instruct, Gemma-3-4B)과 두 벤치마크(ARC Challenge, MMLU-Pro)에 대해, IID 일반화, 이질성, 혼합/도메인/프롬프트/난이도 변화, 레이블 노이즈, 양자화를 탐구하는 여덟 가지 구성으로 평가한다. 주요 결과: HG-CRC는 고정확도 모델(Qwen3-4B, Llama-3.1-8B)에 대해 ARC Challenge에서 경험적 위반율 0%와 WGER=0에 도달한다. 500회 부트스트랩 시행에서 이 0값들은 경험적 상한(실제 비율 최대 0.6%)이며, 인증(certified)된 것은 아니다. 결과는 벤치마크별로 다르다. MMLU-Pro에서는 이 모델들이 전면 기권하거나(Llama) WGER=0.014를 유지한다. 여기서 보정이 잘 되지 않은 Gemma-3-4B는 기권을 통해 우아하게 성능이 저하된다. 전역 CRC 대비 참여(participation) 비용은 22~37%p이다. ablation은 계층적 깊이가 예산을 충족함을 보여준다. 난이도 수준을 제거하면 위반이 약 11%로 되돌아간다. Bonferroni는 이론적 보장에 필요하지만, 그 경험적 효과는 노드가 많을 때만 중요하다.
클라우드 네이티브 평가-서비스(EaaS): Conformal 보장을 갖춘 확장 가능한 AI 모니터링을 위한 마이크로서비스 아키텍처
Cloud-Native Evaluation-as-a-Service: A Microservices Architecture for Scalable AI Monitoring with Conformal Guarantees
우리는 AI 평가 방법을 여섯 개의 stateless Kubernetes 마이크로서비스로 운영화하는 클라우드 네이티브 참조 아키텍처인 EaaS를 제시한다: 유한 표본 보정 Adaptive Prediction Sets를 적용한 conformal prediction, calibration 평가, RFF-근사 Maximum Mean Discrepancy(RFF-MMD)를 통한 drift detection, bootstrap 신뢰구간을 갖춘 fairness 모니터링, 방향성 비순환 그래프(DAG) 기반 파이프라인 오케스트레이터, 결과 저장 API. 네 가지 핵심 방법론적 관심사를 검증한다. 첫째, K=50개의 무작위 calibration/test 분할에서 경험적 coverage는 marginal conformal 보장과 일치하며, 평균 coverage는 명목 목표치에서 1.4 percentage points 이내이다. 둘째, MMLU의 네 가지 답변 token이 모두 top-20 logprobs에 포함되며 imputation이 0% 필요하고, 10%에서 시뮬레이션된 imputation은 coverage에 1.5% 미만의 영향을 준다. 셋째, RFF-MMD는 중간 휴리스틱 bandwidth에서 경미한 및 심각한 drift에 대해 100% detection power를 달성하며, Type I error는 5-8.5%이다. 넷째, UCI Adult Income 데이터셋에 대한 fairness 모니터링은 인종별 유의미한 demographic parity 격차(DP gap=0.33)를 드러내고, 순차 배치에서 안정적인 alert를 보인다. Conformal prediction 및 calibration 서비스는 배치 크기 100에서 p99 지연시간이 2ms 미만이다; RFF-MMD는 ~500ms가 필요하며 주기적 배치 모니터링에 적합하다. 네 개의 오픈소스 도구와의 비교에 따르면, 우리가 아는 한 현재 어떤 플랫폼도 conformal-prediction-as-a-service, 마이크로서비스 분해, DAG 기반 오케스트레이션을 결합하지 않는다.
방향성 환각: 뉴스 기반 LLM 질의응답에서의 이념적 표류
Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering
대규모 언어 모델(LLM)은 정치 정보에 관한 질문에 답하는 데 점점 더 많이 사용되고 있으며, 사실 오류와 이념적 왜곡의 영향이 큰 선거 인접 정보 환경에서도 마찬가지이다. 우리는 문서 기반 QA에서 근거 없는 진술인 환각을 이념적 표류의 진단 신호로 취급하는 재현 가능한 측정 프레임워크를 제시한다. 좌·중도·우 성향 소스를 포괄하는 QBias의 전문가 라벨 21,727개 미국 정치 뉴스 기사를 사용하여, (i) 기사별 질문을 생성하고, (ii) 세 개의 오픈 가중치 LLM과 하나의 독점 모델로부터 문서 기반 답변을 유도하며, (iii) 참조 기반 비교를 통해 문장 수준 환각을 탐지하고, (iv) 파인튜닝된 스탠스 분류기로 환각 문장의 이념적 성향을 분류하고, (v) 출력 로짓을 분석하여 토큰 수준 불확실성을 환각 및 표류와 연관 짓는다. 환각 비율은 모델 간에 상당히 다르며 논쟁적인 주제에 집중되는 반면, 환각 빈도의 소스 이념 차이는 미미하다. 대조적으로, 환각 내용은 뚜렷한 좌향 표류를 보인다: 환각 문장의 다수가 좌파 성향으로 분류되며, 우파 성향 소스에서 생성된 환각에서도 마찬가지이다. 로짓 수준 분석은 환각이 높은 엔트로피 생성 맥락에서 발생함을 보여 주며, 일부 모델에서는 불확실성이 좌향 표류도 예측하는데, 이는 "불확실성에서 추측으로" 메커니즘과 일치한다. AI 매개 정치 정보 감사와 선거 관련 배포에서의 안전장치 설계에 대한 함의를 논의한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.