arXiv:2610.08205v1 cs.CE

소규모 그리스어-영어 지식 베이스를 위한 도구 호출 기반 검색 대 벡터 RAG: 사용자의 그리스어 입력 방식에 대한 정확도 및 견고성

Tool-calling retrieval versus vector RAG for a small Greek--English knowledge base: accuracy and robustness to how users type Greek

Nikolaos D. Tantaroudas, Ilias Karachalios, Andrew J. McCracken

제출 2026-10-06

저자 비고

arXiv Comments

13 pages; 2 figures;

한국어 초록

규모가 작고 자주 편집되는 지식 베이스를 기반으로 하는 어시스턴트는 실시간 데이터 인터페이스로의 도구 호출을 통해 검색하거나, 벡터 검색-증강 생성(RAG)을 통해 검색할 수 있습니다. 본 연구에서는 그리스 키티라섬의 그리스어-영어 농업 플랫폼에 게시된 기록에서 추출한 198개 질문으로 구성된 벤치마크인 KyGround에서 두 방식을 비교합니다. 각 질문의 답변은 해당 기록을 바탕으로 자동 검증되며, 각 질문은 악센트 부호가 없는 그리스어, 대문자 표기, 세 가지 라틴 문자 표기(Greeklish) 방식을 포함해 최대 9가지 형태로 제시됩니다. Claude Haiku 4.5를 라우터 및 답변 모델로 사용했을 때, 해당 플랫폼의 도구 에이전트를 재구성한 모델은 표준 그리스어 질문의 71.6%에 정답을 맞힌 반면 벡터 RAG는 95.3%를 기록했습니다(차이 -23.6%p, 95% 신뢰구간 -33.1 ~ -15.1). 라우터가 벡터 쿼리를 직접 작성하도록 해도 결과는 달라지지 않았으며, 약 26,000 토큰 크기의 전체 지식 베이스를 프롬프트에 직접 입력했을 때는 99.3%에 도달했습니다. 도구 에이전트의 성능 손실은 검색 단계에서 발생했습니다. 라우터의 인자가 기록에 그대로 나타나지 않는 경우(예: 그리스어를 라틴 문자로 음차 표기하거나, 기록에 등장하지만 한 어구로 이어지지 않는 단어들을 결합한 경우) 리터럴 검색은 아무 결과도 반환하지 못했고 에이전트는 답변을 기권했습니다. 악센트 부호가 없거나 대문자로 작성된 질문은 도구 에이전트의 성능을 약 20포인트 떨어뜨린 반면 벡터 RAG에는 기껏해야 2포인트의 손실만 초래했습니다. 악센트를 구분하지 않는 검색을 적용하자 이러한 손실이 해소되었고, 어간 추출된 토큰을 매칭하자 도구 에이전트의 표준 그리스어 정확도는 83.8%까지 상승했습니다. Greeklish 입력은 두 설계 모두에서 약 21~32포인트의 손실을 유발했습니다. 커뮤니티 지식 베이스를 위한 도구 인터페이스는 사용자의 입력 방식을 수용할 수 있는 검색 기능이 필요합니다.

원문 초록

Assistants grounded in a small, frequently edited knowledge base can retrieve through tool calls to a live data interface or through vector retrieval-augmented generation (RAG). We compare the two on KyGround, a benchmark of 198 questions drawn from the published records of a Greek--English agricultural platform on Kythera, Greece, with answers verified automatically against the records and each question posed in up to nine forms, including Greek without accents, in capitals and in three Latin-script (Greeklish) schemes. With Claude Haiku 4.5 as router and answer model, a reconstruction of the platform's tool agent answered 71.6\% of canonical Greek questions correctly and vector RAG 95.3\% (difference $-23.6$ percentage points, 95\% CI $-33.1$ to $-15.1$). Letting the router write the vector query changed nothing, and placing the whole knowledge base of about 26,000 tokens in the prompt reached 99.3\%. The tool agent's losses arose in retrieval. Its literal searches returned nothing when the router's arguments did not occur verbatim in a record, for example when it transliterated Greek into Latin script or combined words that occur in a record but not as one phrase, and the agent then abstained. Unaccented and capitalised questions cost the tool agent about 20 points and vector RAG at most 2; accent-insensitive search removed this loss, and matching stemmed tokens raised the tool agent to 83.8\% on canonical Greek. Greeklish cost both designs about 21 to 32 points. Tool interfaces for community knowledge bases need search that tolerates how users type.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08205v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.