검색 피드백으로 언어 모델에 불리언 특허 검색의 범위를 좁히는 법 가르치기
Teaching Language Models to Narrow Boolean Patent Searches from Search Feedback
한국어 초록
특허 선행기술 조사자는 줄마다 불리언 쿼리를 작성한다. 처음에는 범위를 넓혀 관련 문서를 찾고, 이후에는 후보를 검토할 수 있을 만큼 범위를 좁힌다. 일본 특허청의 검색 보고서 38,397건에서 실행 가능한 전문가 전략을 추출해 다시 실행했다. 생성한 전략은 인용 문헌의 재현율과 각 인용 문헌을 포함하는 가장 작은 결과 집합으로 평가했다. 프롬프트 기반 모델은 재현율이 높은 유효한 전략을 작성했으나, 인용 문헌이 속한 집합이 너무 커서 검토하기 어려웠다. 점수를 매긴 롤아웃으로 생성기를 오프라인에서 두 방식으로 적응시켰다. 전략 수준 학습은 검토 부담을 반영한 전체 전략 점수를 사용한다. 쿼리 줄 수준 학습은 이미 찾은 인용 문헌을 더 작은 집합에 남기는 줄에 높은 가중치를 준다. 같은 롤아웃에서 쿼리 줄 수준의 기여도 부여는 전략 수준 점수보다 검토 관련 평가지표에서 우수했다. 이를 반복하자 인용 문헌을 포함하는 집합의 크기 중앙값이 768개에서 50개 미만으로 줄었다. 문서가 100개 미만인 집합에서 전문가보다 더 많은 인용 문헌을 찾았으나 재현율은 낮았다. 전략 수준 선호 학습은 거의 완전한 재현율을 달성했다. 두 방식은 서로 보완적이다.
원문 초록
Patent prior-art searchers issue Boolean queries line by line, broadening to find relevant documents and narrowing until candidates can be screened. We distill 38,397 Japan Patent Office search reports into executable expert strategies, re-execute them, and evaluate generated strategies by citation recall and the smallest set containing each citation. Prompted models write valid, high-recall strategies but leave citations in sets too large to screen. We adapt a generator offline from scored rollouts in two forms: strategy-level learning from a screening-aware strategy score, and line-level learning from citation-preserving narrowing credit, which upweights the query lines keeping a found citation in a smaller set. On shared rollouts, line-level credit outperforms strategy-level scores on screening measures; iterated, it cuts the median citation-containing set from 768 to under 50 and places more citations in sets under 100 documents than experts, at lower recall. Strategy-level preference learning reaches near-complete recall; the two forms are complementary.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22270v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.