PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23893v1cs.IR

누가 이름으로 언급되는가: 인용 유형이 그라운딩된 언어 모델의 개인 이름 언급을 예측하며, 명단 기반 측정 도구는 이를 0.5%만 포착한다

Who Gets Named: Citation Type Predicts Individual Naming by Grounded Language Models, and a Roster Instrument Captures 0.5% of It

AI 브랜드 가시성에 대한 선행 연구는 기업 수준을 측정한다: 모델이 회사를 추천하는지, 그리고 그것이 기업의 평판과 일치하는지를 본다. 본 연구는 구매자가 사람을 선택하는 카테고리에서 한 단계 아래 수준의 질문을 던진다. 2026년 7월 24일 2시간 창구에 걸쳐 2,400건의 그라운딩 API 호출을 수행했다: 구매 의도 프롬프트 120개, 네 가지 모델(GPT-5.6 Sol, Gemini 3.6 Flash, Perplexity Sonar Pro, Grok 4.5), 각각 5회 반복, 네 개 유럽 시장과 다섯 가지 질의 언어. 모든 응답은 개인 전문가를 이름으로 언급했는지 여부에 대해 코딩되었으며, 명단을 참조하지 않는 규칙 연쇄를 통해 이루어졌고, 동명의 미국 도시로 해석되는 탐지는 제외했다(정밀도 96.9%, 재현율 61.7%, 따라서 아래의 모든 비율은 하한이다). 모든 추론은 프롬프트 내 클러스터링을 보정한다: 클래스 내 상관 0.258, 명목 2,400 대비 유효 n 407. 모델은 응답의 25.8%에서 개인을 이름으로 언급했다. 카테고리가 지배적이다: 부동산 35.4%, 자동차 대리점 32.9% 대 보험 9.1%(chi-square 159.3, 보정 후 p = 5.8e-8). 모델은 4배 차이를 보인다: Grok 38.0%에서 Gemini 9.3%까지. 인용 유형은 이름 언급을 예측하고 인용량은 그렇지 않다: 이름을 언급한 응답은 해당 개인의 자체 사이트를 2.6%p 더 자주 인용하고(95% CI +1.4~+3.9) 카테고리 포털을 4.3%p 더 자주 인용하며, 기업 소유 페이지는 동일한 비율로 인용한다(44.1% 대 45.5%). 아홉 쌍의 대응 번역 쌍에서 영어 프롬프트는 응답의 36.7%에서 개인을 이름으로 언급했고, 동일 질문을 현지어로 한 경우 15.6%였다(OR 3.14, 클러스터링 보정 p = 0.074, 방향은 분명하나 설계로 이를 확정할 수는 없다). 공개 LinkedIn 검색으로 구축한 939명 명단은 27,293건의 이름 형태 언급 중 128건과 일치했다(0.47%), 939명 중 26명만이 한 번이라도 언급되었고, 0.0%~25.4%의 명단 기반 비율은 그 중첩을 측정한다. 개인 AI 가시성의 명단 기반 측정은 모델이 실제로 하는 일의 작고 대표성 없는 일부만 본다.

arXiv:2607.10341v1stat.AP

확률적에서 안정적으로: AI 가시성 측정에서의 순위 안정성과 구조적 충분성

From Stochastic to Stable: Rank Stability and Structural Sufficiency in AI Visibility Measurement

AI 가시성 측정은 비교적 성격을 띤다: 실무자들은 생성형 검색 엔진이 어떤 도메인을 가장 자주 인용하는지, 그리고 관찰된 차이가 의사결정을 지원하기에 충분히 큰지 알고자 한다. 그러나 업계에는 데이터가 충분히 수집되었는지 판단하는 원칙적인 방법이 없다. 수집 예산은 연구와 플랫폼에 따라 크게 다르며, 결론은 종종 안정성과 정밀도가 불분명한 순위로부터 도출된다. 우리는 두 가지 상호 보완적인 기준에 기반한 순차적 수렴 프레임워크를 소개한다: 순위 안정성(rank stability)은 순위 상관 궤적이 구조적 안정점에 도달했는지 평가하고, 구조적 충분성(structural sufficiency)은 신뢰 구간이 0을 제외하는 확립된 도메인들 사이의 인용 점유율 분포가 해당 추정치의 불확실성을 초과하는지 평가한다. 두 기준을 함께 사용하면 단순히 안정화된 순위와 추론을 지원하기에 충분히 해소된 순위를 구별할 수 있다. 두 기준 모두 관찰된 인용 분포의 규칙성, 즉 순위 구조, 불확실성 프로파일, 관찰된 도메인과 확립된 도메인 사이의 경계로부터 도출된다. 이 프레임워크는 소수의 구조적 상수를 유지하지만, 외부에서 지정된 쿼리 수, 상관 목표값, 신뢰 구간 폭 목표값을 필요로 하지 않으며, 중단 여부는 관찰된 측정 불확실성에 의해 결정되고 다양한 충분성 임계값에서 강건성을 유지한다. Gemini, SearchGPT, Perplexity를 아우르는 30개의 플랫폼-주제 조합에 적용했을 때, 이 프레임워크는 플랫폼 및 주제별 인용 분포에 적응한다. 결과는 어떠한 고정된 수집 예산도 맥락 전반에 걸쳐 정당화될 수 없으며, 수렴은 관찰된 분포의 구조로부터 평가될 수 있음을 보여준다. 이 프레임워크는 AI 가시성 측정이 비교 분석을 지원할 준비가 되었는지 판단하기 위한 실용적인 기반을 제공한다.