좌우 대립을 넘어선 온라인 담론 속 이데올로기 분석을 위한 개념적 프레임워크
A conceptual framework for ideology in online discourse beyond the left and right
한국어 초록
계산사회과학(CSS)은 온라인 담론을 연구할 때 이데올로기를 주로 단일한 좌/우 당파적 축으로 조작화해 왔다. 이러한 접근 방식은 사람들이 인종, 기후, 젠더 및 기타 영역과 관련된 더 구체적인 이데올로기적 형성을 어떻게 해석하고 이에 관여하는지를 가린다. 본 연구에서는 이데올로기를 다층적 사회-인지 개념 네트워크로 개념화하는 프레임워크를 소개하고, 이러한 이데올로기 개념 모델(모델)이 온라인 담론 연구와 어떻게 연결될 수 있는지 설명한다. 이를 통해 본 프레임워크는 프레이밍과 같은 관련 사회적 과정과 함께 담론에서 이데올로기가 어떻게 발현되는지를 명확히 하며, 가치와 신념과 같은 여러 개념을 하나의 분석에서 언제 그리고 왜 함께 연구해야 하는지에 대한 더 나은 이해의 근거를 제공한다. 더 넓게는 온라인 담론 연구에 사용되는 방법론과 이데올로기 이론을 연결하여 두 분야 모두에 유익한 더욱 풍부한 사회적 담론 분석을 가능하게 한다. 주로 이론적이지만, 데이터 샘플을 바탕으로 프레임워크의 구체적인 조작화를 제공함으로써 실제 데이터에서 이를 어떻게 활용할 수 있는지에 대한 한 가지 사례를 보여준다.
원문 초록
Computational social science (CSS) has largely operationalized ideology along a single left/right partisan axis when studying online discourse. This approach obscures how people interpret and engage with more specific ideological formations related to race, climate, gender, and other domains. We introduce a framework that instead conceptualizes ideology as a multi-level socio-cognitive concept network and then explain how this conceptual model of ideology can be linked to the study of online discourse. In doing so, our framework clarifies how ideology manifests in discourse alongside related social processes such as framing, and provides an argument for better understanding of when and why we might study multiple concepts, such as values and beliefs, together in one analysis. More broadly, it bridges methods used to study online discourse with ideology theory, enabling richer analyses of social discourse that benefit both fields. Although primarily theoretical, we provide a concrete operationalization of the framework on a sample of data, allowing us to show one example of how it can be used on real data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CARE로 다루기: 대규모 언어 모델(LLM)은 온라인 커뮤니티의 반응 방식을 재현할 수 있는가?
Handle with CARE: Can LLMs Reproduce How Online Communities React?
대규모 언어 모델(LLM)이 계산 사회 분석의 프록시로 점점 더 널리 사용되고 있으나, 인간 커뮤니티의 "두터운 기술(thick descriptions)"(Geertz, 1973)을 충실하게 표현하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 평가는 종종 사회적 정체성을 정적인 레이블로 단순화하여 실제 집단이 사회적 변화에 대응하는 방식을 소외시킵니다. 이러한 격차를 해소하기 위해, 본 연구는 실제 뉴스에 대한 개별 커뮤니티의 진성적이고 사건 조건부인 반응을 기준으로 LLM이 시뮬레이션한 담화를 벤치마킹하는 반응 중심 프레임워크인 CARE(Community-Aware Reaction Evaluation)를 도입합니다. 207개의 Reddit 커뮤니티에 걸쳐 2,166개의 뉴스 기사에 대한 9,947개의 실제 반응을 포괄하는 CARE는 거친 태도와 세분화된 의사소통 톤을 아우르는 계층적 분류 체계를 사용하여 주요 LLM을 평가합니다. 우리의 실증적 분석 결과는 널리 쓰이는 커뮤니티 조건화(community-conditioning) 패러다임에서 두 가지 중대한 실패 모드를 드러냅니다. 첫째, 커뮤니티 문맥과 목표 지향적 추론이 매크로 수준의 태도 및 톤 프로파일링을 유의미하게 향상시키는 반면, 특정 사건에 대한 반응을 예측할 때는 이러한 이점이 인스턴스 수준에서 대체로 붕괴됩니다. 둘째, 커뮤니티 조건화의 이점은 현저하게 불균등합니다. 즉, 프롬프트 전략이 비균일한 변화를 초래하여 일부 커뮤니티에서의 충실도 향상이 다른 커뮤니티의 성능 저하로 상쇄됩니다. 이러한 미시-거시 간 괴리와 커뮤니티 수준의 불안정성은 표준 조건화가 동적이거나 공평한 사건 반응을 포착하지 못한 채 모델이 정적인 기준선 프로필을 근사하도록 할 뿐임을 보여주며, CARE가 커뮤니티 인지 사회 시뮬레이션을 위한 필수적인 진단 도구임을 확립합니다. 코드와 데이터는 https://github.com/nuankw/Handle_with_CARE 에서 제공됩니다.
확률적 앵무새인가 조화로운 합창인가? 합성 데이터를 통한 인간 설문 조사 재현 능력에 대한 5개 주요 대규모 언어 모델(LLM) 테스트
Stochastic Parrots or Singing in Harmony? Testing Five Leading LLMs for their Ability to Replicate a Human Survey with Synthetic Data
인공지능(AI) 기반 합성 연구 데이터는 인간 참여자의 응답을 얼마나 잘 재현할 수 있을까? 최근 문헌들은 조직 연구 관행에 중대한 시사점을 던지는 이 질문을 다루기 시작했다. 본 논문은 실리콘밸리 코더 및 개발자 420명을 대상으로 한 인간 응답자 설문 조사와 실제 설문 응답자를 시뮬레이션하도록 설계된 5개 주요 생성형 AI 대규모 언어 모델(LLM)(ChatGPT Thinking 5 Pro, Claude Sonnet 4.5 Pro plus Claude CoWork 1.123, Gemini Advanced 2.5 Pro, Incredible 1.0, DeepSeek 3.2)이 생성한 합성 설문 데이터를 비교 제시한다. 연구 결과, AI 에이전트(agent)는 예상보다 재현성과 조화에 치우친 기술적으로 그럴듯한 결과를 생성했으나, 그 어떤 모델도 인간 대상 설문 조사를 가치 있게 만들었던 직관에 반하는 통찰을 포착하지 못했다. 더욱이 모든 모델의 편차는 서로 유사하게 군집화되어 실제 데이터가 이상치(outlier)로 남게 되었다. 본 연구의 핵심 발견은 주요 LLM이 연구에서 인간의 설문 응답을 확장, 재현 및 대체하는 데 점점 더 많이 사용되고 있지만, 이러한 발전은 새로운 발견을 드러내기보다는 서로 조화를 이루며 통념을 흉내 내는(parrot) 능력이 증가했음을 보여줄 뿐이라는 점이다. 향후 연구에서 합성 응답자를 활용하려면 합성 설문 데이터를 책임감 있게 사용할 수 있는 시기와 장소에 대해 재현 가능한 검증 프로토콜과 보고 표준이 더 많이 필요하며, 본 논문이 이러한 공백을 메운다. 본 연구 결과는 합성 설문 응답이 특히 이전에 문서화된 증거가 부족한 맥락에서 조직 내 실제 인간의 사회적 신념을 유의미하게 모델링할 수 없음을 시사한다. 결론적으로 우리는 합성 설문 기반 연구가 엄밀한 설문 조사 방법론의 대체재가 아니라, 연구 대상 집단에 대한 사회적 가정, 통념 및 기타 기대치를 식별하기 위한 현장 조사 전후의 신뢰할 수 있는 도구로 자리매김해야 한다고 제언한다.
너무 많은 토큰에 비용을 지불하고 있는가? 간단한 휴리스틱을 활용한 유효하고 비용 효율적인 멀티모달 LLM 주석
Paying for Too Many Tokens? Valid and Cost-Efficient Multimodal LLM Annotation with Simple Heuristics
비전-언어 모델(Vision-Language Models, VLMs)은 대규모로 비디오 주석 작업을 가능하게 하지만, 비용이 빠르게 누적됩니다: 초당 1프레임으로 일반적인 60초 분량의 숏폼 비디오를 처리하는 데에는 수백만 개의 토큰이 필요합니다. 비용을 줄이기 위해 연구자들은 프레임의 일부를 샘플링하거나, 비디오를 이미지 그리드로 압축하거나, 단일 모달리티만 사용하는 등의 휴리스틱에 의존합니다. 그러나 어떤 휴리스틱이 비용을 절감하는지, 그리고 그러한 휴리스틱이 해당 주석을 통해 도출되는 하위 결론(downstream conclusions)을 보존하는지는 여전히 명확하지 않습니다. 이러한 공백을 해소하기 위해, 우리는 숏폼 비디오를 사용하여 감성 분류와 주제 분류라는 두 가지 전산 사회과학(computational social science, CSS) 과제에 대해 이러한 휴리스틱들을 체계적으로 평가합니다. 우리는 선행 연구들이 일반적으로 별개로 다루어 온 세 가지 축, 즉 분류 정확도, 하위 추론(downstream inference)의 유효성, 비디오당 토큰 비용을 기준으로 각 구성(configuration)을 평가합니다. 첫째, 우리는 정확도와 유효성이 서로 다르게 나타난다는 것을 발견했습니다: 가장 높은 정확도를 보이는 구성이 잘못된 결론을 낳을 수 있습니다. 둘째, 모달리티의 가치는 보장되지 않습니다: 텍스트만으로도 강력한 성능을 낼 수 있으며, 이는 모달리티를 추가하는 것이 신호(signal)의 추가 없이 비용만 추가할 수 있음을 시사합니다. 마지막으로, 우리는 숏폼 비디오에 주석을 달 때 비용이 비디오 길이와 분리될 수 있음을 발견했습니다: 간단한 샷 전환 감지(shot-transition detection)를 통해 생성된 단일 $2\times8$ 이미지 그리드는 전체 비디오 이해 수준에 근접하며($κ$ 차이 .05 이내), 토큰 비용은 약 15%에 불과합니다. 이러한 발견을 바탕으로, 우리는 CSS 분야에서 비용을 고려한 VLM 주석 작업을 가능하게 하는 가이드라인을 도출합니다.
계산사회과학 텍스트 어노테이션을 위한 의사결정 모델 평가
Evaluating Decision Models for Text Annotation in Computational Social Science
계산사회과학(computational social science)은 텍스트 어노테이션(annotation)에 대규모 언어 모델(LLM)에 점점 더 의존하고 있으며, 발표된 연구 결과의 타당성은 이제 이러한 모델이 생성한 레이블에 달려 있다. 범주형 질의응답을 위해 만들어진 새로운 모델 클래스인 의사결정 모델(decision model)은 자유 형식 텍스트 대신 선택지, 레이블 집합에 대한 확률 분포, 그리고 신뢰도 점수로 유형화된 질문에 답하며, 그 비용은 프런티어 모델 추론 가격의 극히 일부에 불과하다. 이러한 모델의 답변이 정확한지, 그리고 모델이 제시하는 신뢰도를 사회과학 구성 개념(construct)에서 신뢰할 수 있는지는 알려져 있지 않다. 본 연구에서는 18개 계산사회과학 분류 과제(7,977개 항목)에 대해 Ziems et al.(2024)의 평가를 재현하여, 최초의 상용 의사결정 모델과 두 개의 오픈 가중치(open-weight) 모델을 19개의 프런티어 및 오픈 가중치 언어 모델과 동일한 제로샷 프로토콜 하에서 비교하고, 의사결정 모델 비교를 그 이후 일주일 동안 공개된 11개의 오픈 가중치 시스템으로 확장한다. 의사결정 모델은 15개 평가 과제 중 14개에서 과제별 최고 성능 LLM에 뒤처졌으며, 매크로 F1 기준 중앙값 격차는 11.6점이었고, 측정된 비용은 중앙값 기준 44배 낮았다. 이 모델의 신뢰도는 19개 LLM 중 16개의 언어화된(verbalized) 신뢰도보다 더 잘 보정되어 있으나, 세 개의 프런티어 모델은 더 낮은 중앙값 보정 오차를 보인다(0.157 대 0.066). 신뢰도 0.9를 초과하는 항목은 일반적으로 정확하게 레이블링되지만(중앙값 정확도 0.815), 또래 지원 대화에서의 공감(empathy) 과제 하나에서는 모델이 높은 신뢰도를 보고하면서도 무작위 수준에 가까운 성능을 보였다. 그럼에도 본 연구 결과는 의사결정 모델이 어노테이션 파이프라인의 첫 단계로서 유용함을 시사한다. 신뢰도가 낮은 항목을 LLM으로 라우팅하면 LLM 단독 사용과 같거나 더 나은 성능을 LLM 비용의 4분의 1에서 절반 수준으로 달성할 수 있다.
LLM 기반 공론 입장 분석의 불안정성 원인 정량화
Quantifying the Sources of Instability in LLM-Based Stance Analysis of Public Discourse
계산 사회과학은 원시 미디어를 분석 가능한 텍스트로 변환하기 위해 화자 분리(speaker diarization), ASR 전사 정제, 문장 분절 등 자동화된 전처리 파이프라인에 점점 더 의존하고 있다. 이러한 파이프라인이 동일한 입력에서 서로 다른 출력을 생성할 때, 두 가지 서로 다른 불안정성 원인이 발생할 수 있다: 전처리 파이프라인 자체(분리 방법, 분절 규칙)와 하위 측정 도구(LLM 어노테이션 대 키워드 어휘집)가 그것이다. 5개 도메인의 41명 공인을 대상으로 한 256개 YouTube 인터뷰를 활용하여, 정서적 감성(affective valence)과 인식론적 양태(epistemic modality) 간의 결합을 분석 대상으로 삼아 두 가지 화자 분리 파이프라인과 두 가지 측정 방법을 비교하였다. 분석 결과 다음을 확인하였다: (1) 전처리 파이프라인 민감도는 영상 샘플 수가 적은 화자(N ≤ 5)에 집중되며, 샘플이 가장 풍부한 4명의 화자(N ≥ 16)의 경우 $r(\text{neg}, \text{emph})$에서 파이프라인에 의한 평균 절대 변화량은 0.13에 불과하다. (2) 방법 간 불일치는 더 크고 체계적으로 나타나며, LLM과 키워드 어휘집 방법은 동일한 전처리 파이프라인 내에서도 여러 충분히 샘플된 화자에 대해 결합 방향을 반대로 할당한다. (3) 집계된 감성 비율은 파이프라인이나 방법에 관계없이 매우 안정적이어서($|Δp(\text{neg})| < 6$pp), 두 불안정성 원인 모두를 은폐한다. 이 연구의 기여는 파이프라인 효과와 측정 효과를 분리하는 진단 프레임워크를 제시하는 것이다: 인터뷰 데이터에서 다차원 간 관계를 연구하는 연구자들은 자신의 결론이 두 변동 원인 모두에 대해 강건한지 검증해야 하며, 특히 측정 방법 선택에 주의를 기울여야 한다.
Language Models as Measurement Apparatus for Culture
토론
이 논문과 연결된 포럼 글이 아직 없습니다.