PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.12497v3cs.LG

AI 기반 분석에서의 인간 감독 배분

Allocating Human Oversight in AI-Enabled Analytics

Artificial intelligence provides low-cost predictions for many analytics tasks, but their reliability and the value of another human label vary across tasks. We study how to allocate a shared human-validation budget when task-level uncertainty is unknown and each acquired label informs both estimation and subsequent allocation. For known difficulty levels, the benchmark follows a cost-adjusted Neyman rule that accounts for task importance and label cost. Within our Tuned Rectification-Difficulty framework, we develop an upper-confidence-bound policy that jointly learns the correction coefficients of tuned prediction-powered inference and the resulting difficulties from paired human labels and predictions, and establish an allocation-regret guarantee for the confidence-radius policy. In synthetic experiments and a real digital-twin survey with 68 tasks and over 2,000 respondents, our method closes most of the gap to the oracle on the allocation objective. It matches the estimation error of uniform allocation with up to 22.7% and 4.5% fewer human labels, respectively. The same allocation structure extends beyond scalar means to vector-valued decision models, including regression and choice/conjoint estimation, by replacing the scalar residual variance with a scalarized sandwich covariance. The value of AI depends not only on model accuracy but also on the operational policy that targets human oversight where it matters most.

arXiv:2604.17267v2cs.AI

LLM 증강 설문에서의 교정 난이도와 최적 표본 할당

Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys

대규모 언어 모델(LLM)은 낮은 비용으로 합성 설문 응답을 생성할 수 있지만, 질문에 따라 정확도가 예측 불가능하게 달라진다. 본 연구는 모든 과제에 대해 저렴한 LLM 예측이 가능한 상황에서, 고정된 인간 응답자 예산을 추정 과제들에 할당하는 설계 문제를 다룬다. 우리의 프레임워크는 세 가지 구성 요소를 결합한다. 첫째, 예측 기반 추론(Prediction-Powered Inference)을 기반으로, 인간 표본 크기 증가에 따라 추정량의 분산이 얼마나 빠르게 감소하는지를 결정하는 질문별 교정 난이도를 정의한다. 둘째, LLM이 가장 신뢰하기 어려운 과제에 인간 레이블을 더 많이 배분하는 폐쇄형 최적 할당 규칙을 도출한다. 셋째, 교정 난이도가 새로운 설문에서 관측되지 않은 인간 응답에 의존하기 때문에, 파일럿 데이터 없이 완전히 새로운 과제에 대해 이를 예측하는 메타러닝 접근법을 역사적 데이터로 학습한다. 이 프레임워크는 일반적인 M-추정으로 확장되어, 회귀 계수와 컨조인트 분석을 위한 다항 로짓 부분 가치를 포함한다. 서로 다른 도메인, 질문 유형, LLM에 걸친 두 개의 데이터셋에서 프레임워크를 검증한 결과, 목표 설문에 대한 파일럿 인간 데이터 없이도 이론적으로 달성 가능한 효율성 향상의 61~79%를 포착하고, MSE를 각각 11.4%와 10.5% 감소시켰다.

arXiv:2505.20178v2stat.ML

No Free Lunch: Non-Asymptotic Analysis of Prediction-Powered Inference

적응형 예측-기반 추론(PPI++)의 점근적 공짜 점심 보장을 평균 추정 문제의 유한 표본 분석으로 재검토하여, PPI++가 골드 스탠다드 레이블만 사용한 추정보다 추정 오차가 더 큰 설정을 특성화하고 의사 레이블과 골드 스탠다드 레이블 간 상관관계가 표본 수 n에 의존한 임계값 이상일 때만 우위가 나타난다는 필요충분조건을 제시한다. 표본 분할 하 PPI++ 분산의 정확한 비점근적 표현을 제공하고, 가우시안 데이터에서는 상관관계가 1/√(n-2) 이상일 때만 개선되는 등 이론적 결과가 실제 데이터셋에서도 확인된다.

arXiv:2501.09731v2stat.ML공식 코드 · Papers with Code

예측을 대리 결과로: AI 시대의 대리 결과 재검토

Predictions as Surrogates: Revisiting Surrogate Outcomes in the Age of AI

생물통계학·경제학의 대리 결과(surrogate outcome) 모델과 예측 기반 추론(PPI)을 연결하고, 사전학습 모델 예측을 재보정(recalibration)해 최적 대체된 손실을 학습하는 재보정 PPI(RePPI)를 제안한다. 실제 결과만 쓰는 추정량을 항상 능가하며, 세 가지 AI 응용에서 기존 PPI 대비 유효 표본 크기가 크게 증가한다.