arXiv:2605.14021v2 cs.CY

Google AI Overviews 측정: 활성화율, 출처 신뢰도, 주장 충실도 및 퍼블리셔 영향

Measuring Google AI Overviews: Activation, Source Quality, Claim Fidelity, and Publisher Impact

Haofei Xu, Umar Iqbal, Jacob M. Montgomery

제출 2026-05-13

저자 비고

arXiv Comments

Accepted to the 2026 ACM Internet Measurement Conference (IMC 2026)

한국어 초록

Google AI Overviews(AIO)는 생성형 AI의 가장 널리 접하는 배포 사례로 볼 수 있으며, 자신이 보는 답변이 AI로 생성되었음을 인지하지 못할 수도 있는 20억 명 이상의 사용자에게 도달하고 있습니다. 검색 엔진이 전통적으로 순위가 매겨진 출처를 제시하고 사용자가 이를 평가하도록 했던 것과 달리, AIO는 단일 답변을 종합하여 전달함으로써 사용자가 무엇을 읽고 알게 되는지에 대해 Google에 전례 없는 편집 통제권을 부여합니다. 본 연구에서는 40일간(2026년 3월 13일~4월 21일) 19개 주제 범주에 걸쳐 55,393개의 트렌딩 쿼리를 발행하여 대규모 종단적 측정 연구를 제시합니다. 본 연구는 네 가지 주요 결과를 보고합니다. 첫째, 전반적인 AIO 활성화율은 13.7%이며, 질문 형식 쿼리의 경우 64.7%까지 상승하는 반면 정치적으로 민감한 주제에서는 현저히 낮은 비율을 보입니다. 둘째, AIO가 인용한 도메인은 함께 표시된 첫 페이지 결과보다 더 신뢰할 수 있지만, 30% 가까이는 해당 결과에 전혀 나타나지 않아 Google의 순위 알고리즘과 구별되는 출처 선정 메커니즘이 있음을 시사합니다. 셋째, 응답을 98,020개의 원자적 주장(atomic claim)으로 분해했을 때 11.0%는 인용된 페이지에 의해 뒷받침되지 않으며(누락이 주요 실패 양상임), 출처 신뢰도와 주장 충실도는 대체로 독립적입니다. 넷째, AIO가 인용한 페이지의 절반을 훨씬 넘는 곳에 디스플레이 광고가 게재되어 있어, Google 자체 스폰서 광고는 동일 페이지에 계속 노출됨에도 AIO가 클릭률을 억제함에 따라 퍼블리셔는 수익 손실을 입게 됩니다. 종합하면, 이러한 연구 결과는 인식론적 보안(epistemic security)에 미치는 영향이 아직 잘 이해되지 않은 채 온라인 정보 생태계가 급격히 변화하고 있음을 기록합니다.

원문 초록

Google AI Overviews (AIOs) are arguably the most widely encountered deployment of generative AI, reaching over 2 billion users who may not realize the answers they see are AI-generated. Where search engines have traditionally surfaced ranked sources and left users to evaluate them, AIOs synthesize and deliver a single answer - giving Google unprecedented editorial control over what users read and know. We present a large-scale longitudinal measurement study, issuing 55,393 trending queries across 19 topical categories over a 40-day window (March 13 - April 21, 2026). We report four main findings. First, overall AIO activation is 13.7%, rising to 64.7% for question-form queries, while politically sensitive topics see markedly lower rates. Second, AIO-cited domains are more credible than co-displayed first-page results, yet nearly 30% do not appear in those results at all, indicating a source selection mechanism distinct from Google's ranking algorithm. Third, decomposing responses into 98,020 atomic claims, 11.0% are unsupported by the cited pages - with omission the dominant failure mode - and source quality and claim fidelity are largely independent. Fourth, well over half of AIO-cited pages carry display advertising, meaning publishers lose revenue when AIOs suppress the click-through, even as Google's own sponsored ads continue to appear on the same page. Together, these findings document a rapid transformation of the online information ecosystem whose consequences for epistemic security remain poorly understood.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.14021v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23838v1cs.CR공통 태그 Hallucination, Misinformation, Retrieval-augmented Generation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.22584v1cs.AI공통 태그 Hallucination, Misinformation, Retrieval-augmented Generation

검색-증강 생성을 위한 출처 인식 재순위화: 신뢰도 사전 접근법

Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach

표준 검색-증강 생성(RAG) 파이프라인은 정보 출처나 신뢰성을 고려하지 않고 검색된 문서를 의미적 유사도만으로 순위를 매긴다. 본 연구는 도메인 정보에 기반한 출처 신뢰도 사전(prior)을 통합하는, RAG 검색 순위 매김에 대한 단순하고 해석 가능한 수정을 평가한다. 각 문서에는 출처 유형에 따라 사전 lambda(s)가 부여되며, 검색 점수는 score(q, d) = sim(q, d) * lambda(s)로 재가중된다. 해당 프레임워크는 120개 문서로 구성된 건강 도메인 코퍼스에서 유사도만 사용하는 기준선과 비교하여 평가되었다. 이 통제된 설정에서 출처 인식 재순위화는 Precision@5를 0.48에서 0.72로 향상시키고, 메타데이터를 통해 신뢰도가 낮은 출처를 식별할 수 있는 평가된 위협 모델 하에서 평균 적대적 문서 검색을 감소시킨다. 모든 실험은 Milwaukee School of Engineering의 고성능 컴퓨팅 클러스터인 Rosie에서 수행되었으며, 이는 전체 실험 파이프라인을 안정적이고 재현 가능하게 실행하는 데 필요한 GPU 가속 인프라를 제공했다. 이 결과는 기술된 실험 설정의 한계 내에서, RAG 파이프라인에서 출처 품질 저하에 대한 잠재적 완화 전략을 시사한다.

arXiv:2607.11783v1cs.CL공통 태그 Hallucination, Misinformation, Retrieval-augmented Generation

온도가 검색-증강 생성에서 이념적 담론을 형성하는 방식

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

검색-증강 생성(RAG)은 환각(hallucination)을 줄이고 대규모 언어 모델(LLM)의 사실적 그라운딩(grounding)을 강화하기 위해 점점 더 널리 채택되고 있다. 검색 과정의 오류에 대한 강건성은 탐구된 바 있으나, 이념적 바이어스가 LLM 출력에 미치는 영향은 간과되어 왔다. 예를 들어, 검색된 자료에 이념적 입장이 포함된 경우, RAG는 그러한 이념적 담론을 출력에서 전달하거나 증폭시키거나 억제할 수 있다. 본 연구에서는 이념적 담론을 포함하는 RAG 프레임워크가 LLM 생성 답변에 미치는 영향을 분석함으로써 이 문제를 다룬다. 이를 위해 1,117개의 COVID-19 치료 관련 기사로 구성된 코퍼스에 어휘 다차원 분석(Lexical Multidimensional Analysis, LMDA)을 적용하여 세 가지 이념적 담론을 식별하였다. 이 코퍼스는 RAG의 외부 지식 소스로 활용된다. 여러 LLM이 서로 다른 샘플링 온도(sampling temperature)에서 이념적 질문에 답변하도록 하여 평가하였다. 생성된 텍스트는 이념적 참조 텍스트와의 유사도를 기준으로 의미적·어휘적으로 평가되었다. 연구 결과, RAG 프레임워크는 이념적 담론을 LLM 응답으로 전달하는 경향이 있으며, 샘플링 온도가 이 전달의 강도에 측정 가능한 영향을 미치는 것으로 나타났다. 생성된 답변과 참조 텍스트 간의 담론적 정렬(discoursive alignment)은 중간 온도에서 가장 높게 나타났는데, 이는 모델이 확률적 특성과 검색 그라운딩 사이에서 균형을 이루는 구간이다. 반면 낮은 온도에서는 담론 전달이 감소하여, 지나치게 결정론적인 샘플링이 담론 전달을 억제함을 시사한다.

arXiv:2608.24707v3cs.CL공통 태그 Hallucination, Misinformation

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

arXiv:2610.13695v1cs.CL공통 태그 Hallucination, Retrieval-augmented Generation

구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색

Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph

의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.