PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11109v1cs.IR

생성형 중국 법령 검색

Generative Chinese Statute Retrieval

법령 검색(statute retrieval)은 법률 정보 검색의 핵심 태스크이지만, 기존 접근법은 구어체 법률 질의와 공식 법령 언어 간의 간극을 해소하는 데 어려움을 겪고 있다. 본 논문에서는 법령 검색을 시퀀스 생성 문제로 재정의하고 법령 지식을 생성 모델에 내재화하는 생성형 법령 검색 프레임워크 GCSR을 제안한다. 구체적으로, 법적 계층 구조와 의미 정보를 인코딩하는 다중 세분성 구조화된 문서 ID(docid)와 멀티태스크 학습 전략을 제안한다. 실험 결과, GCSR은 강력한 희소(sparse), 밀집(dense) 및 법률 도메인 기준선 모델들을 일관되게 능가하는 것으로 나타났다. 본 연구의 결과는 법령 검색에 있어 생성형 검색의 효과성을 입증하며, 더 광범위한 법률 정보 접근 및 다운스트림 법률 추론 태스크에 대한 잠재력을 부각시킨다.

arXiv:2607.10044v1cs.LG

FlashTrie: 생성적 검색을 위한 GPU 가속 제약 빔 서치

FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval

제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.

arXiv:2607.01170v1cs.IR

Diffusion-GR2: Diffusion Generative Reasoning Re-ranker

자동회귀(AR) 리랭커의 추론 속도를 높이기 위해, GR2를 블록 디퓨전(block-diffusion) 모델로 변환하는 Diffusion-GR2를 제안하며, 변환 파인튜닝(CFT)·온폴리시 증류(OPD)·강화학습(RL)의 3단계로 구조적 갭과 분포 갭을 해소한다. Amazon Beauty 실험에서 AR 리랭커와 거의 동등한 정확도를 유지하면서 디코딩 처리량을 2.4–3.5× 향상시켰다.

arXiv:2606.26899v1cs.AI

메트릭 순서 시퀀스 학습과 하이브리드 정책 선호 최적화를 적용한 확산 트랜스포머 기반 생성형 검색

Generative Retrieval via Diffusion Transformer with Metric-Ordered Sequence Training and Hybrid-Policy Preference Optimization

세밀한 패턴을 표현하는 시드 집합에서 목표 속성을 만족하면서 동일 패턴을 유지하는 아이템을 찾는 패턴 보존 속성 검색을 연속 생성형 검색으로 풀기 위해 MO-DiT+HPPO를 제안한다. 메트릭 순서 연속 사전학습, 꼬리 중심 미세조정, 하이브리드 정책 선호 최적화(HPPO)와 파레토 쌍 필터로 쿼리 임베딩을 생성하며, 네 가지 속성 도메인에서 8개 분할 셀 중 7개에서 교집합 메트릭이 유의미하게 향상된다.