PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29706v1cs.IR

ARMOR: 저자원 통신 질의응답을 위한 적응형 검색기 최적화

ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering

통신 질의응답(QA)은 검색-증강 생성(RAG)에 있어 까다로운 환경이다: 증거가 표준, 논문, 백과사전적 자료, 웹 문서에 분산되어 있으며, 답변은 기술적 표, 방정식, 전문 프로토콜 언어에 크게 의존하는 경우가 많다. 저자원 하위 도메인에서는 생성기 미세조정이 과도하게 특화되어 일반적 능력을 저하시킬 수 있으므로, 쿼리 측 검색기 적응이 매력적인 대안이 된다. 이에 우리는 고정된 생성기와 쿼리 적응형 RAG 시스템이 생성기 측 적응을 능가할 수 있는지, 그리고 해당 환경에서 어떤 검색기 목적 함수가 가장 적합한지를 탐구한다. 우리는 제한된 매개변수 및 소프트 검색 가정 하에서, 쿼리 인코더 튜닝의 유효 차원이 더 작을 때 지도 미세조정보다 추정 항이 더 작아질 수 있음을 보임으로써, 생성기 미세조정이 아닌 검색을 적응 대상으로 삼는 것을 이론적으로 동기화한다. 특히 관련성이 높은 두 가지 목적 함수를 식별한다 -- 생성 유용성을 최적화하는 잠재 문서 RAG 가능도와, 의미론적 검색 기하 구조를 개선하는 InfoNCE 대조 목적 함수 -- 그리고 이를 통신 도메인의 다운스트림 QA 성능을 목표로 하는 검색기 최적화 방법을 통해 결합하여 활용한다. 구체적으로, 우리는 ARMOR(Adaptive Regularized Mixture Optimization for Retrievers)를 소개하는데, 이 방법은 RAG 검색 분포와 InfoNCE 소프트맥스에 대해 별도의 온도를 학습하고, 적응된 쿼리 인코더를 고정된 기본 쿼리 인코더 방향으로 정규화한다. 통신 특화 검색 및 생성형 QA 벤치마크에 걸쳐, ARMOR가 여러 도메인 내 설정에서 증거 검색과 답변 생성을 개선함을 보인다. 코드는 https://github.com/heshandevaka/ARMOR.git에서 이용 가능하다.