단 하나의 오염된 페이지만으로도 충분합니다: 생성형 추천 시스템에서의 웹 콘텐츠 오염 평가
One Polluted Page Is Enough: Evaluating Web Content Pollution in Generative Recommenders
한국어 초록
검색 증강 대규모 언어 모델(LLM)은 실시간 웹 콘텐츠를 검색하여 일상적인 소비자 추천을 점점 더 중개하고 있습니다. 이는 새로운 위험을 야기하는데, 생성형 추천 시스템(generative recommenders)은 추천을 오도하도록 설계된 가짜 리뷰 및 홍보 페이지와 같은 오염된 웹 콘텐츠를 입력받을 수 있습니다. 우리는 다음을 질문합니다: 오염된 검색 결과를 처리할 때 검색 증강 LLM이 어느 정도로 가짜 제품의 의도치 않은 홍보 도구가 되는가? 이에 답하기 위해, 우리는 통제된 웹 콘텐츠 오염 하에서 가짜 제품 홍보를 측정하는 벤치마크인 FORGE(Fake Online Recommendations in Generative Environments)를 소개합니다. 업스트림 검색 결과가 주어지면, FORGE는 검색된 웹 페이지의 실제 제품을 가짜 제품으로 로컬에서 재작성하여 웹 콘텐츠 오염을 시뮬레이션하고, LLM이 가짜 제품을 추천하는 빈도를 측정합니다. FORGE는 15개 카테고리와 5개 소비자 시나리오에 걸쳐 225개의 실제 제품을 포괄합니다. 12개의 상용 및 오픈 웨이트 LLM에 걸쳐 모든 모델은 취약성을 보였습니다: 단 하나의 오염된 페이지는 최대 27%의 속임 비율을 초래하는 반면, 상위 3개를 모두 교체하면 이 비율은 73.8%로 증가합니다. 취약성은 카테고리마다 크게 다르며, 모델이 관련 제품에 대한 안정적인 사전 지식이 부족할 때 증가합니다. 추론(reasoning)은 이 취약성을 완화하지 못하며, 오히려 거짓 추천을 정당화하기 위해 허위 사회적 증거를 생성하는 경우가 많습니다. 우리는 세 가지 방어 기제를 평가합니다: 회의적 프롬프팅(skepticism prompting)과 합의 필터링(consensus filtering, 모델 사전 지식 또는 문서 간 증거 기반). 회의적 프롬프팅은 추론과 마찬가지로 취약성을 악화시킬 수 있으며, 필터링은 정당한 제품을 억제할 위험이 있습니다. 우리는 https://github.com/leoluolol/forge-benchmark에서 FORGE를 공개합니다.
원문 초록
Search-augmented LLMs increasingly mediate everyday consumer recommendations by retrieving live web content. This creates a new risk: generative recommenders may consume polluted web content, such as fake reviews and promotional pages crafted to mislead recommendations. We ask: to what extent do search-augmented LLMs become unwitting promoters of fake products when consuming polluted retrieval results? To answer this, we introduce FORGE (Fake Online Recommendations in Generative Environments), a benchmark for measuring fake-product promotion under controlled web-content pollution. Given an upstream search result, FORGE locally rewrites real products in retrieved web pages into fake ones to simulate web-content pollution, and measures how often the LLM recommends the fake product. FORGE covers 225 real-world products across 15 categories and 5 consumer scenarios. Across 12 commercial and open-weights LLMs, all models are vulnerable: a single polluted page yields fooled rates of up to 27%, while the full top-3 replacement raises this to 73.8%. Vulnerability varies substantially across categories, increasing when models lack stable prior knowledge of the relevant products. Reasoning does not mitigate this vulnerability; instead, it often generates spurious social proof to justify false recommendations. We evaluate three defenses: skepticism prompting and consensus filtering (over model priors or cross-document evidence). Skepticism can exacerbate vulnerability, much like reasoning, while filtering risks suppressing legitimate products. We release FORGE at https://github.com/leoluolol/forge-benchmark.
요약
검색 증강 대규모 언어 모델(LLM)이 가짜 리뷰와 같은 웹 콘텐츠 오염에 취약함을 평가하기 위해 FORGE 벤치마크를 제안한다. 단 하나의 오염된 페이지만으로도 최대 27%의 모델이 가짜 제품을 추천하며, 상위 3개 검색 결과가 조작될 경우 이 비율은 73.8%까지 증가한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13610v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인용이 오도할 때? 법률 환각 탐지를 위한 주장 수준의 벤치마크
When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection
대규모 언어 모델(LLM)이 법률 연구 및 문서 작성에 점차 많이 활용되고 있으나, 인용된 출처의 뒷받침 없이도 그럴듯하게 들리는 주장을 여전히 생성할 수 있습니다. 본 연구에서는 법률적 주장이 근거 권위(underlying authority)에 의해 뒷받침되는지 검증하기 위한 벤치마크인 PARCEL을 소개합니다. 최근 뉴욕주 항소법원 판결을 활용하여 뒷받침됨(Supported), 반박됨(Refuted), 또는 발견되지 않음(Not Found)으로 라벨링된 3,396개의 괄호형(parenthetical-style) 주장 데이터셋을 구축합니다. 본 연구는 이 과제를 삼항 자연어 추론 문제로 설정하고, 제로샷(zero-shot) 환경에서 여러 최신 LLM을 평가합니다. 가장 우수한 모델은 최대 0.97의 정확도에 도달하지만, 전체 판결문 텍스트가 제공되는 경우에도 모델이 뒷받침되지 않는 주장을 뒷받침되는 것으로 잘못 표시하는 중요한 취약점 또한 결과에서 드러납니다. 모든 모델에 걸쳐 근거의 부재를 탐지하는 것이 직접적인 모순을 탐지하는 것보다 어려우며, 위조되었으나 그럴듯한 인용이 가장 큰 성능 저하를 유발합니다. 전반적으로 PARCEL은 법률 RAG 시스템에서 주장 수준의 그라운딩(groundedness)을 테스트하기 위한 실용적인 벤치마크를 제공합니다.
빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가
Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses
에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.
MOF-VERIFY: MOF 가설 검증을 위한 실패 인식 에이전틱 하네스
MOF-VERIFY: A Failure-Aware Agentic Harness for MOF Hypothesis Verification
대규모 언어 모델(LLM)이 AI 기반 재료 동료 과학자(Co-Scientist)의 추론 구성 요소로 점점 더 많이 활용되고 있지만, 이로 인한 검증 파이프라인의 신뢰성은 여전히 불분명합니다. 금속-유기 골격체(MOF)는 구조가 서로 다른 식별자로 나타날 수 있고, 합성 결과가 실험 조건에 크게 의존하며, 증거가 이종의 출처에 분산되어 있고, 일부 가설은 문헌뿐만 아니라 계산을 필요로 하기 때문에 특히 까다로운 환경을 제공합니다. 본 논문에서는 구조적 그라운딩(structural grounding), 합성 조건 검증, 증거 충분성 검증, 머신러닝 인터애토믹 포텐셜(MLIP) 기반 계산 검증을 포괄하는 네 가지 태스크 계열로 구성된 진단 벤치마크를 소개합니다. 지식 접근, 증거 획득 및 추론에서의 실패를 국소화하기 위해 T-MOF-1-3은 오픈북이 아닌 폐쇄형(closed-book), 검색 지원(retrieval-enabled), 오라클 증거(oracle-evidence) 설정에서 평가되며, T-MOF-4는 계산 검증을 별도로 평가합니다. 이렇게 진단된 실패 모드를 기반으로, 최종 판정을 내리기 전에 구조, 문헌, 증거 충분성 및 계산 병목 현상을 해결하는 실패 인식 에이전틱 하네스(agentic harness)인 MOF-Verify를 개발했습니다. 여러 백본 LLM에 걸쳐 MOF-Verify는 직접 추론(inference) 및 검색 기반 베이스라인 대비 가설 검증 성능을 대폭 향상시킵니다. 벤치마크 데이터셋은 https://github.com/IMMS-Ewha/MOF-Verify-Benchmark 에 공개되어 있습니다.
월드 임베딩 벤치마크
World Embedding Benchmark
월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.
AI Legal Companion: Enhancing Access to Justice and Legal Literacy for the Public
ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.