주입할 것인가, 탐색할 것인가? 거래 법률 문서의 LLM 분석을 위한 토큰 효율적 검색
Inject or Navigate? Token-Efficient Retrieval for LLM Analysis of Transactional Legal Documents
거래 법률 문서 집합에 대한 질의응답 시 전체 코퍼스를 LLM 컨텍스트 윈도우에 주입하는 방식 대신, 구조 인식 청킹 기반의 임베딩 검색(NAVEMBED)과 압축 구조화 인덱스 탐색(NAVINDEX) 두 가지 검색 방식을 비교 평가했다. 20개 질문 벤치마크에서 NAVEMBED는 토큰을 최대 29.9배 줄이면서도 주입 방식과 동등한 품질을 유지했고, NAVINDEX는 답변 컨텍스트를 약 56배 압축하고 비용을 25% 절감하면서 전체 18개 문서 관련 질문에서 동률을 기록했다.