arXiv:2611.19900v1 cs.CL

출처를 밝히거나 응답을 유보하기: 공개 자료가 부족한 아프리카 기업 웹에서의 근거 기반 검색 평가

Attribute or Abstain: Evaluating Evidence-Grounded Retrieval on the Low-Resource African Business Web

Bakary Gibba, Muhammad Abba Mandara, Karim Ismail Abd-Ellah Mohamed

제출 2026-11-17

한국어 초록

기업을 조사하는 검색 증강 시스템은 정보를 얼마나 많이 찾는지로 평가받는다. 그러나 공개 자료가 부족한 시장에서는 근거 없이 확신하는 답변이 응답을 유보하는 것보다 더 큰 비용을 초래한다. 본 연구는 아프리카 6개 시장에서 영어, 프랑스어, 포르투갈어로 작성한 기업 조사 쿼리 150개로 구성된 벤치마크 AfriBizClaims를 제시한다. 정상적으로 작동하는 시스템이라면 답변을 유보해야 하는 가상의 기업에 관한 쿼리도 포함한다. AI 심사 모델은 시스템의 주장마다 인용 페이지가 그 주장을 뒷받침하는지 판정한다. 다른 계열의 두 번째 AI 심사 모델과 사람 주석자 두 명의 판단으로 이를 교차 확인한다. 응답 유보는 답변 가능 여부의 레이블과 비교해 채점한다. 같은 언어 모델을 사용해 통합 말뭉치의 BM25 검색, 표준 웹 검색 증강 생성, 멀티스텝 에이전트 파이프라인 Konexium V1을 비교했다. 두 가지 단순 기준선은 출처를 잘 제시했다. 평가한 주장 중 98%를 인용 페이지가 뒷받침했으며, 가상 기업에 대해서는 모든 필드의 답변을 유보했다. 질문 대상이 아닌 기업에 관한 주장을 오류로 간주하면 에이전트 파이프라인의 쿼리별 정밀도는 68%였으며, 이름이 명시된 기업에 관한 질문에 한 번도 정확히 답하지 못했다. 다른 기업으로 대체한 사례에는 가상의 기업명 24개 중 5개도 포함됐다. 반복 실행에서 결과의 안정성은 가장 낮았고 비용은 가장 높았다. 이 파이프라인에서는 쿼리와 근거 사이에 단계가 늘어도 답변이 근거에 더 충실해지지 않았다. 쿼리, 시스템 출력, 레이블, 짧은 근거 발췌문은 공개할 예정이다.

원문 초록

Retrieval-augmented systems that research companies are judged by how much they find, yet in markets where public evidence is sparse, a confident answer without support costs more than no answer. We introduce AfriBizClaims, a benchmark of 150 company-research queries across six African markets in English, French and Portuguese, including queries about fictitious companies that a correct system must decline. Each claim a system makes is judged against the page it cites by an AI judge, checked against a second AI judge from another model family and against two human annotators, and abstentions are scored against answerability labels. We compare BM25 over a pooled corpus, standard web retrieval-augmented generation, and a multi-step agent pipeline (Konexium V1), all using the same language model. The two simple baselines are well attributed: 98% of their judged claims are supported by the page they cite, and they decline every field of every fictitious company. Counting claims about a company other than the one asked about as errors, the agent pipeline's per-query precision is 68%, and it never answers a question about a named company correctly: it substitutes other firms, including for 5 of the 24 fictitious names, and it is the least stable between runs and the most expensive. In the pipeline we evaluated, more steps between the query and the evidence did not buy more grounded answers. We will release the queries, system outputs, labels and short evidence excerpts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19900v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.