무한히 많은 환각을 허용하는 극한에서의 생성
Generating in the Limit with Infinitely Many Hallucinations
극한에서의 언어 식별이라는 고전적 패러다임은 학습을 미지의 목표 언어에서 문자열을 공개하는 적대자와 해당 언어를 식별하는 학습자 간의 게임으로 모델링한다. 최근 도입된 극한에서의 언어 생성 프레임워크는 현대 언어 모델링을 더 잘 반영하도록 목표를 전환하여, 학습자가 목표 언어에서 유효하고 새로운 문자열을 생성하도록 요구한다. 관련 연구는 근본적인 긴장 관계를 부각시켰는데, 목표에 대한 넓은 커버리지는 종종 유효성의 희생을 수반한다는 것이다. 우리는 정밀도(precision)의 새로운 개념을 도입하고 이 문제를 고전적인 재현율(recall)-정밀도 트레이드오프로 재구성한다. 우리는 대규모 언어 모델(LLM)이 직면하는 환경에 더 가까운 설정을 반영하기 위해 열거, 신규성, 유효성에 대한 다양한 제약 조건 하에서 극한에서의 생성을 분석한다. 핵심 기여는 최종적으로 유효하지 않은 학습자에 대한 분석으로, 오류의 빈도가 0으로 수렴하여 정밀도가 1로 유지되는 한 무한히 많은 오류를 허용한다. 우리는 적대자가 목표 언어의 상당 부분을 영구적으로 보류할 때 이 완화가 재현율을 엄격하게 높일 수 있음을 보인다. 또한 출력의 고정된 비율만 새로울 것을 요구하는 신규성 제약의 연속적 완화도 연구한다. 이러한 결과들을 종합하면, 간헐적인 오류와 반복이 불가피하지만 그 비율이 제어되는 보다 현실적인 언어 생성 모델을 향해 나아간다.