PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30372v1cs.AI

인간 응답 데이터를 위한 저비용 통계적 추정량으로서의 대규모 언어 모델 활용

Using Large Language Models as Low-Cost Statistical Estimators for Human-Response Data

사회과학 및 행동과학 전반의 정량적 연구는 비용이 많이 들고, 속도가 느리며, 표본 바이어스에 취약한 인간 피험자 실험에 의존한다. 본 논문에서는 사전학습된 대규모 언어 모델(LLM)이 제곱 손실 하에서 조건부 기댓값의 위험 동등 추정량을 유도함을 보이며, 제한적 함수적 위험 동등성을 확립한다: 제곱 손실 하에서, LLM은 조건부 평균을 통해서만 데이터에 의존하는 임의의 추론에 대해 조건부 기댓값의 제곱 손실 예측에 대한 베이즈 최적 위험과 일치하는 위험을 가진 추정량을 유도한다. 우리는 LLM을 i.i.d. 데이터로 학습된 잘못 명세된 함수적 추정량 $T(\hat{P}_n)$으로 형식화하고, 추정 오차를 표현 바이어스 $ε_{\mathrm{rep}}$와 최적화 오류로 분해하며, 완화된 정규 조건 하에서 LLM의 기대 오차가 환원 불가능한 모집단 분산과 제곱 표현 바이어스의 합으로 수렴함을 증명한다. 표현 바이어스는 핀스커 부등식에 의해 상계가 주어진다. 식별 가능성 오류 $δ$는 유효 바이어스로 전파되어 점근적 위험 하한을 높인다. 우리는 양방향 르 캄 결핍 분석을 통해 제한적 함수적 위험 동등성을 확립한다: 전방 결핍은 점근적으로 소멸하는 반면 역방향 결핍은 정확히 0이다. 유한 표본 집중 경계와 명시적 의사 결정 규칙을 갖춘 보정 프로토콜을 제공한다. 결과는 정확하고 증명 가능한 진술이다: 잘 보정된 LLM은 명시적 범위 조건에 의해 경계가 주어지는 조건부 평균 의존 추론에 대해 베이즈 최적 위험을 달성한다. 실제 응용에서 이는 조건이 충족되고 모델이 잘 보정된 경우, 대규모 언어 모델이 원래 인간 실험에 의존하던 많은 예측 및 의사 결정 과제에서 낮은 비용으로 거의 최적의 통계적 추론을 근사하며 활용될 수 있음을 의미한다.

arXiv:2606.17665v1math.ST

Non-asymptotic Tail Bounds for the Kostlan--Shub--Smale Field: Tensor PCA and Spherical $k$-Spin Complexity

이 논문은 구면 위의 Kostlan--Shub--Smale (KSS) 랜덤 필드의 상한(supremum)에 대한 명시적이고 비점근적인 꼬리 바운드의 계층 구조를 구축하고, 이를 Spiked 텐서 PCA와 구면 $k$-스핀 모델의 랜드스케이프(landscape)라는 두 가지 문제에 적용합니다. 텐서 PCA의 경우, 신호 대 잡음비(SNR) $\lambda$에서 단일 가우시안 관측치로부터 차수 $k \ge 3$ 및 차원 $d \ge 3$인 랭크-$R$ 대칭 신호 텐서를 추정하는 비점근적 통계적 한계를 연구합니다. 이는 코히어런스(coherence)가 최소 $\kappa$인 정규화된 랭크-$R$ 텐서로 제한된 최대 가능도 추정기(MLE)인 *프로필 최대 가능도 추정기(profile maximum likelihood estimator)*를 통해 수행됩니다. 우리의 분석은 단일 축소(reduction)를 사용합니다: 결정론적 기하학적 부등식(튜브 방법)과 랭크 축소 단계는 추정 오차를 정준 KSS 필드의 상한으로 제한합니다. Kac--Rice 공식은 이를 이동된 가우시안 직교 앙상블(Gaussian Orthogonal Ensemble)의 기대 절대 특성 다항식에 대한 가우시안 적분으로 변환하며, 이는 다시 우리 계층 구조의 네 가지 명시적 꼬리 바운드(세 개는 Mehta--Fyodorov 표현에서, 하나는 Ben Arous--Dembo--Guionnet 대편차(large deviation)에서)에 의해 제어됩니다. 동일한 축소를 통해 명시적인 상수를 포함하는 두 가지 결과를 얻습니다. 추정의 경우, 유한-$(k,d)$ 오차 바운드는 랭크 $R$과 코히어런스 $\kappa$에 대한 명시적인 의존성과 함께 Perry, Wein 및 Bandeira의 점근적으로 최적의 속도 $\sqrt{d\log k}$를 복원합니다. 랜드스케이프의 경우, 구면 $k$-스핀 해밀토니안의 소킹(annealed) 복잡도에 대한 양측 비점근적 바운드는 고차원 한계(high-dimensional limit)에서 Auffinger--Ben Arous--Černý 복잡도 함수를 복원합니다.