PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30372v1cs.AI

인간 응답 데이터를 위한 저비용 통계적 추정량으로서의 대규모 언어 모델 활용

Using Large Language Models as Low-Cost Statistical Estimators for Human-Response Data

사회과학 및 행동과학 전반의 정량적 연구는 비용이 많이 들고, 속도가 느리며, 표본 바이어스에 취약한 인간 피험자 실험에 의존한다. 본 논문에서는 사전학습된 대규모 언어 모델(LLM)이 제곱 손실 하에서 조건부 기댓값의 위험 동등 추정량을 유도함을 보이며, 제한적 함수적 위험 동등성을 확립한다: 제곱 손실 하에서, LLM은 조건부 평균을 통해서만 데이터에 의존하는 임의의 추론에 대해 조건부 기댓값의 제곱 손실 예측에 대한 베이즈 최적 위험과 일치하는 위험을 가진 추정량을 유도한다. 우리는 LLM을 i.i.d. 데이터로 학습된 잘못 명세된 함수적 추정량 $T(\hat{P}_n)$으로 형식화하고, 추정 오차를 표현 바이어스 $ε_{\mathrm{rep}}$와 최적화 오류로 분해하며, 완화된 정규 조건 하에서 LLM의 기대 오차가 환원 불가능한 모집단 분산과 제곱 표현 바이어스의 합으로 수렴함을 증명한다. 표현 바이어스는 핀스커 부등식에 의해 상계가 주어진다. 식별 가능성 오류 $δ$는 유효 바이어스로 전파되어 점근적 위험 하한을 높인다. 우리는 양방향 르 캄 결핍 분석을 통해 제한적 함수적 위험 동등성을 확립한다: 전방 결핍은 점근적으로 소멸하는 반면 역방향 결핍은 정확히 0이다. 유한 표본 집중 경계와 명시적 의사 결정 규칙을 갖춘 보정 프로토콜을 제공한다. 결과는 정확하고 증명 가능한 진술이다: 잘 보정된 LLM은 명시적 범위 조건에 의해 경계가 주어지는 조건부 평균 의존 추론에 대해 베이즈 최적 위험을 달성한다. 실제 응용에서 이는 조건이 충족되고 모델이 잘 보정된 경우, 대규모 언어 모델이 원래 인간 실험에 의존하던 많은 예측 및 의사 결정 과제에서 낮은 비용으로 거의 최적의 통계적 추론을 근사하며 활용될 수 있음을 의미한다.

arXiv:2606.13670v1cs.AI

대규모 언어 모델을 활용한 사회 및 행동 과학 분야의 자동화된 재현성 평가

Automated reproducibility assessments in the social and behavioral sciences using large language models

자원 집약적인 사회 및 행동 과학의 재현성 평가 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 자동화 파이프라인을 제안합니다. 제안된 방법은 인간 재분석가보다 높은 비율로 원래 연구와 동일한 질적 결론에 도달하여 LLM이 재현성 평가를 위한 확장 가능한 도구가 될 수 있음을 입증했습니다.

arXiv:2606.12848v1cs.AI

(인간의) 어텐션이 (여전히) 전부다: 인간의 감독이 AI 보조 사회과학을 신뢰할 수 있게 만든다

(Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

대규모 언어 모델(LLM) 기반 연구의 신뢰성을 높이기 위해 인간의 감독과 결정 게이트를 포함한 Human-in-the-Loop Economic Research(HLER) 아키텍처를 도입하여, 실패율을 72%에서 16%로 획기적으로 감소시켰습니다.

arXiv:2606.11456v1cs.CL

사회과학에서의 AI 코딩 에이전트: 방법론적 다양성, 경험적 일관성, 해석적 취약성

AI Coding Agents in Social Science: Methodologically Diverse, Empirically Consistent, Interpretively Vulnerable

과학적 분석에서 LLM(대규모 언어 모델) 기반 에이전트를 배포하는 것에 대해 상반되는 우려가 제기된다: 에이전트가 방법론적 다양성을 감소시킬 수 있다는 점과, 연구자가 동기가 부여된 결론에 도달하게 하는 분석적 유연성을 증폭시킬 수 있다는 점이다. 우리는 이러한 우려가 경험적으로 분리 가능한 두 가지 층, 즉 방법론적 선택의 설계 층과 의사결정 규칙이 추정치를 실질적 주장에 매핑하는 평결 층을 겨냥한다고 주장한다. 우리는 Claude Code와 Codex를 사용하여 주요 이민 및 사회 정책 데이터에 대해 20회의 독립적인 실행을 수행하고 이를 다수 분석가 인간 기준선과 비교하여 두 층을 모두 테스트한다. 설계 층에서 Codex는 인간의 방법론적 다양성과 일치하고 Claude Code는 거의 3배에 달하는 명세를 생성한다. 두 에이전트의 효과 추정치는 인간 합의와 광범위하게 일치하며, 어떤 에이전트 모델도 특정 인간 모델과 정확히 일치하지 않는다. 프롬프트로 유도된 반이민 연구자의 사전 믿음은 각 에이전트의 방법론적 결정을 재구성하지만, 동일한 데이터에서 편향된 인간 분석가와 달리 집계 추정치나 최종 평결을 변화시키지는 않는다. 또한 에이전트는 인간이 추정치에 편향을 주기 위해 사용하는 방법론적 축을 따라 경로를 변경하지도 않는다. 평결 층에서 명시적인 확인적 프롬프트는 계수 분포는 본질적으로 변화시키지 않은 채 Claude Code의 평결을 10% 지지에서 90% 지지로 뒤집으며, 이는 규칙 완화가 아닌 규칙 생략을 통해 작동한다. AI 에이전트는 설계 층에서 인간의 방법론적 다양성과 대등하거나 이를 능가하면서도 평결 층에서는 여전히 취약성을 보인다. 우리의 설정에서 AI 바이어스의 위치는 추정이 아니라 해석에 있다.

arXiv:2606.11447v1cs.CL

AI 코딩 에이전트는 사회과학 연구 결과를 재현할 수 있다

AI Coding Agents Can Reproduce Social Science Findings

최근의 일화적인 증거는 AI 코딩 에이전트가 원본 데이터와 코드가 주어지면 발표된 연구 결과를 재현할 수 있음을 시사하지만, 사회과학 전반에 걸친 체계적인 평가는 여전히 제한적입니다. 기존 평가 벤치마크는 규모가 작거나, 올바르게 실행되지 않는 코드와 같은 재현 자료 자체의 문제로 인해 에이전트 성능을 왜곡하는 등 부족한 점이 있습니다. 이에 본 연구에서는 SocSci-Repro-Bench를 소개합니다. 이 벤치마크는 4개 학문 분야와 13개 실질적 영역에 걸친 221개 작업으로 구성되어 있으며, 사용 가능한 자료로 결과가 완전히 재현 가능한 연구나 데이터 누락으로 인해 재현 불가능함이 명백한 연구를 바탕으로 구축되어 에이전트의 재현 능력을 분리하여 측정할 수 있게 합니다. 두 가지 최첨단 코딩 에이전트인 Claude Code와 Codex를 평가한 결과, 두 에이전트 모두 상당 부분의 사회과학 연구 결과를 재현할 수 있음을 확인했으며, Claude Code가 Codex보다 현저히 더 우수한 성능을 보였습니다. 이러한 재현율은 유사한 재현 가능성 벤치마크에서 일반적인 대규모 언어 모델(LLM) 기반 에이전트에 대해 이전에 보고된 수치를 상당히 초과합니다. 두 에이전트 모두 근본적인 연구 질문 식별이 필요한 추론 작업에서도 강력한 성능을 보였으며, 추가 분석 결과 이러한 결과가 주로 암기에 의해 주도되는 것은 아님을 시사합니다. 재현 자료와 함께 원본 논문 PDF를 제공하면 성능이 다소 향상되지만, 재현이 불가능한 작업에서는 바이어스(bias)가 발생합니다. 또한, 에이전트가 미묘한 프롬프트 프레이밍(prompt framing)을 통해 확인적 사양 검색(confirmatory specification search) 쪽으로 유도될 수 있음을 보여줍니다. 종합적으로 이러한 발견은 최소한 일부 최첨단 코딩 에이전트가 계산 워크플로우의 신뢰할 수 있는 실행자로 기능할 수 있음을 시사하며, AI 시스템이 과학적 생산에서 더 큰 역할을 담당하게 됨에 따라 신중한 벤치마킹과 프롬프트 설계의 필요성을 강조합니다.