PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13823v1cs.DB

같은 쿼리, 다른 답변: 시맨틱 쿼리 처리에서의 실행 간 변동성

Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing

시맨틱 쿼리 엔진은 대규모 언어 모델(LLM)에 개별 행을 판단하도록 요청하며, 벤치마크는 온도(temperature) 0에서 몇 차례 실행한 품질을 바탕으로 이러한 엔진들을 비교합니다. 본 연구에서는 또 다른 실행에서 결과가 얼마나 달라지는지 측정합니다. 우리는 SemBench, LRO-Bench, UDA-Bench의 텍스트 및 테이블 워크로드를 각 벤치마크의 하네스를 통해 재실행하여 120만 건의 모델 호출을 모두 기록하고, SemBench의 공개된 실행 결과를 재분석했습니다. 온도 0에서도 5회 실행 동안 모델에 따라 0.07%에서 10.2%의 행이 연산자 출력을 변경했으며, 특정 태스크에서는 최대 24.0%에 달했습니다. 가능 세계 모델(possible-worlds model)이 예측하듯이, 쿼리 플랜은 답변이 노출하는 행의 수에 따라 이러한 변화를 지수적으로 증폭시킵니다. UDA-Bench에서는 추출된 값 중 소수 퍼센트만 변경되었음에도 답변의 약 3분의 2가 변경되었습니다. SemBench의 공개 결과에서는 결정론적 플랜을 사용하는 엔진을 포함하여 텍스트 결과의 21%가 실행 간에 품질 변화를 보였습니다. 쿼리별 시스템 비교 다수와 LRO-Bench의 구현 권장사항 테스트 28개 중 16개는 벤치마크가 수행한 실행만으로는 결론을 내릴 수 없었습니다. 변경되는 행은 모델 간에 서로 의견이 일치하지 않는 행이며, 단일 실행 내의 동일한 요청 간 불일치 빈도는 서로 다른 실행 간의 불일치 빈도만큼이나 잦았습니다. 또한 단일 실행의 결정 마진(decision margin)이나 추론 길이를 통해 어떤 행이 변경될지 예측할 수 있습니다. 보팅(voting)은 분산을 줄이지만 완전히 제거하지는 못하며, 보정된 캐스케이드(calibrated cascade)는 반환하는 행이 변경되는 와중에도 보장성을 유지합니다. 우리는 이를 바탕으로 벤치마크를 위한 보고 규칙과 엔진을 위한 설계 규칙을 도출합니다.

arXiv:2607.23815v1cs.DB

Kalypso: 관계형 LLM 서빙

Kalypso: Relational LLM Serving

대규모 언어 모델(LLM)은 필터링, 추출, 순위화, 조인, 비정형 데이터 변환을 위한 의미론적 연산자로 점점 더 많이 사용되고 있다. 기존 의미론적 쿼리 처리 시스템은 쿼리 계획을 인식하지 못하는 요청 중심 LLM 서빙 시스템을 호출하여, 상당한 성능 개선 여지를 남겨둔다. 본 논문은 LLM 서빙이 의미론적 쿼리 구조를 인식하도록 하면서 쿼리 의미론과 출력 정확도를 보존하는 추상화인 관계형 LLM 서빙(relational LLM serving)을 제안한다. 핵심 기회는 의미론적 연산자 간 파이프라인 실행에 있다. 중간 튜플이 한 연산자에서 다음 연산자로 직접 흐를 때, KV-cache 상태를 재계산하는 대신 재사용할 수 있다. 우리는 의미론적 쿼리 계획을 위한 API를 제공하고 적응형·메모리 인지 스케줄링 알고리즘으로 이를 실행하는 관계형 LLM 서빙 시스템인 Kalypso를 제시한다. Kalypso는 파이프라인 연산자 실행을 GPU 메모리 압력 관리와 결합하여 서빙 엔진에서 KV-cache 상태가 퇴거되기 전에 재사용하는 새로운 온라인 스케줄링 문제를 다룬다. 스케줄러는 업스트림 병렬성, 다운스트림 진행, GPU 활용률의 균형을 맞추기 위해 메모리 할당을 지속적으로 조정한다. 평가 결과, Kalypso는 요청 중심 LLM 서빙을 사용하는 베이스라인 대비 쿼리 완료 시간을 개선했으며, 다양한 워크로드에서 최대 4.57배의 속도 향상을 보였다. 이는 쿼리 인지 LLM 서빙이 의미론적 쿼리 실행의 효율을 크게 높일 수 있음을 보여준다.

arXiv:2604.26180v2cs.DB

Evergreen: Efficient Claim Verification for Semantic Aggregates

LLM 기반 시맨틱 집계(semantic aggregation)가 생성한 자연어 요약에 사실 근거가 없는 주장(claim)이 포함될 수 있다는 문제를 해결하기 위해, Evergreen은 각 주장을 선언적 시맨틱 검증 쿼리로 컴파일하고 조기 종료·관련성 정렬·신뢰 구간 추정 등 검증 특화 최적화를 적용하는 시스템이다. 레스토랑 리뷰 및 고객 지원 데이터셋 벤치마크에서 강력한 LLM 기준 F1 0.94를 유지하면서 비용을 3.1배 절감하였으며, 약한 LLM으로도 외부 최강 베이스라인의 F1(0.83)을 0.87로 능가하면서 비용은 7.0배 낮췄다.