PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11456v1cs.CL

사회과학에서의 AI 코딩 에이전트: 방법론적 다양성, 경험적 일관성, 해석적 취약성

AI Coding Agents in Social Science: Methodologically Diverse, Empirically Consistent, Interpretively Vulnerable

과학적 분석에서 LLM(대규모 언어 모델) 기반 에이전트를 배포하는 것에 대해 상반되는 우려가 제기된다: 에이전트가 방법론적 다양성을 감소시킬 수 있다는 점과, 연구자가 동기가 부여된 결론에 도달하게 하는 분석적 유연성을 증폭시킬 수 있다는 점이다. 우리는 이러한 우려가 경험적으로 분리 가능한 두 가지 층, 즉 방법론적 선택의 설계 층과 의사결정 규칙이 추정치를 실질적 주장에 매핑하는 평결 층을 겨냥한다고 주장한다. 우리는 Claude Code와 Codex를 사용하여 주요 이민 및 사회 정책 데이터에 대해 20회의 독립적인 실행을 수행하고 이를 다수 분석가 인간 기준선과 비교하여 두 층을 모두 테스트한다. 설계 층에서 Codex는 인간의 방법론적 다양성과 일치하고 Claude Code는 거의 3배에 달하는 명세를 생성한다. 두 에이전트의 효과 추정치는 인간 합의와 광범위하게 일치하며, 어떤 에이전트 모델도 특정 인간 모델과 정확히 일치하지 않는다. 프롬프트로 유도된 반이민 연구자의 사전 믿음은 각 에이전트의 방법론적 결정을 재구성하지만, 동일한 데이터에서 편향된 인간 분석가와 달리 집계 추정치나 최종 평결을 변화시키지는 않는다. 또한 에이전트는 인간이 추정치에 편향을 주기 위해 사용하는 방법론적 축을 따라 경로를 변경하지도 않는다. 평결 층에서 명시적인 확인적 프롬프트는 계수 분포는 본질적으로 변화시키지 않은 채 Claude Code의 평결을 10% 지지에서 90% 지지로 뒤집으며, 이는 규칙 완화가 아닌 규칙 생략을 통해 작동한다. AI 에이전트는 설계 층에서 인간의 방법론적 다양성과 대등하거나 이를 능가하면서도 평결 층에서는 여전히 취약성을 보인다. 우리의 설정에서 AI 바이어스의 위치는 추정이 아니라 해석에 있다.