iccs.gr

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.08205v1cs.CE

소규모 그리스어-영어 지식 베이스를 위한 도구 호출 기반 검색 대 벡터 RAG: 사용자의 그리스어 입력 방식에 대한 정확도 및 견고성

Tool-calling retrieval versus vector RAG for a small Greek--English knowledge base: accuracy and robustness to how users type Greek

규모가 작고 자주 편집되는 지식 베이스를 기반으로 하는 어시스턴트는 실시간 데이터 인터페이스로의 도구 호출을 통해 검색하거나, 벡터 검색-증강 생성(RAG)을 통해 검색할 수 있습니다. 본 연구에서는 그리스 키티라섬의 그리스어-영어 농업 플랫폼에 게시된 기록에서 추출한 198개 질문으로 구성된 벤치마크인 KyGround에서 두 방식을 비교합니다. 각 질문의 답변은 해당 기록을 바탕으로 자동 검증되며, 각 질문은 악센트 부호가 없는 그리스어, 대문자 표기, 세 가지 라틴 문자 표기(Greeklish) 방식을 포함해 최대 9가지 형태로 제시됩니다. Claude Haiku 4.5를 라우터 및 답변 모델로 사용했을 때, 해당 플랫폼의 도구 에이전트를 재구성한 모델은 표준 그리스어 질문의 71.6%에 정답을 맞힌 반면 벡터 RAG는 95.3%를 기록했습니다(차이 -23.6%p, 95% 신뢰구간 -33.1 ~ -15.1). 라우터가 벡터 쿼리를 직접 작성하도록 해도 결과는 달라지지 않았으며, 약 26,000 토큰 크기의 전체 지식 베이스를 프롬프트에 직접 입력했을 때는 99.3%에 도달했습니다. 도구 에이전트의 성능 손실은 검색 단계에서 발생했습니다. 라우터의 인자가 기록에 그대로 나타나지 않는 경우(예: 그리스어를 라틴 문자로 음차 표기하거나, 기록에 등장하지만 한 어구로 이어지지 않는 단어들을 결합한 경우) 리터럴 검색은 아무 결과도 반환하지 못했고 에이전트는 답변을 기권했습니다. 악센트 부호가 없거나 대문자로 작성된 질문은 도구 에이전트의 성능을 약 20포인트 떨어뜨린 반면 벡터 RAG에는 기껏해야 2포인트의 손실만 초래했습니다. 악센트를 구분하지 않는 검색을 적용하자 이러한 손실이 해소되었고, 어간 추출된 토큰을 매칭하자 도구 에이전트의 표준 그리스어 정확도는 83.8%까지 상승했습니다. Greeklish 입력은 두 설계 모두에서 약 21~32포인트의 손실을 유발했습니다. 커뮤니티 지식 베이스를 위한 도구 인터페이스는 사용자의 입력 방식을 수용할 수 있는 검색 기능이 필요합니다.