RISSOLE: Parameter-efficient Diffusion Models via Block-wise Generation and Retrieval-Guidance
원문 초록
Diffusion-based models demonstrate impressive generation capabilities. However, they also have a massive number of parameters, resulting in enormous model sizes, thus making them unsuitable for deployment on resource-constraint devices. Block-wise generation can be a promising alternative for designing compact-sized (parameter-efficient) deep generative models since the model can generate one block at a time instead of generating the whole image at once. However, block-wise generation is also considerably challenging because ensuring coherence across generated blocks can be non-trivial. To this end, we design a retrieval-augmented generation (RAG) approach and leverage the corresponding blocks of the images retrieved by the RAG module to condition the training and generation stages of a block-wise denoising diffusion model. Our conditioning schemes ensure coherence across the different blocks during training and, consequently, during generation. While we showcase our approach using the latent diffusion model (LDM) as the base model, it can be used with other variants of denoising diffusion models. We validate the solution of the coherence problem through the proposed approach by reporting substantive experiments to demonstrate our approach's effectiveness in compact model size and excellent generation quality.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LADDER: 효율적 다중 홉 추론을 위한 그래프 가이드 확산 언어 모델
LADDER: Graph-Guided Diffusion Language Models for Efficient Multi-Hop Reasoning
그래프 검색-증강 생성(GraphRAG)은 구조화된 엔티티 토폴로지를 활용하여 복잡한 추론에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켜 왔다. 그러나 기존 프레임워크는 표준 자기회귀(autoregressive) 언어 모델에 크게 의존하며, 본질적인 순차 생성 특성이 전체 추론 효율을 심각하게 저해한다. 연속적인 병렬 정제(refine-in-parallel) 디코딩을 통해 대규모 병렬성을 제공하는 확산 언어 모델(DLM)에서 영감을 받아, 우리는 이산 공간에서 GraphRAG를 가속하는 것을 목표로 한다. 그러나 두 가지 과제로 인해 이는 결코 사소하지 않다. 첫째, 부분적으로 디노이즈된 초안은 매우 동적이고 불확실하여 동적 그래프 그라운딩(grounding)이 쉽지 않다. 둘째, 원시 디노이즈 상태는 본질적으로 노이즈가 많고 불안정하여, 동기식 그래프 검색과 다중 홉 집계는 계산 비용이 과도하다. 이를 위해 우리는 그래프 가이드 병렬 디코딩을 통해 확산 언어 모델링과 GraphRAG를 연결하는 새로운 프레임워크 LADDER를 제안한다. 구체적으로, (i) 부분 디노이즈 상태에서 목표 엔티티의 88%가 조기에 등장하며 최종 확정(commitment)이 평균 5.7–9.6스텝 앞당겨진다는 핵심 통찰에 기반하여, 이벤트 기반 자체 클로킹(self-clocking) 검색을 제안한다. 이 메커니즘은 그래프 연결 가능(graph-linkable) 엔티티 집합이 확장될 때만 그래프 검색을 동적으로 트리거하여, 학습된 게이트나 휴리스틱 임계값을 우회하는 비동기 자체 클로킹 정책을 만든다. (ii) 불완전 쿼리(incomplete-query) 그래프 전파 모듈은 전문 그래프 파운데이션 모델을 사용하여 새로 등장하는 엔티티 쿼리를 처리하고, 다중 홉 증거를 지속적으로 집계하여 병렬 예측을 선명하게 하고 전체 디코딩 수렴을 가속하도록 설계되었다. 세 가지 도전적인 다중 홉 QA 벤치마크에 대한 광범위한 실험에서 LADDER는 평균 정확 일치를 39.6%에서 45.2%로 높이면서 지연(latency)을 4.1배 감소시킨다.
문서 검색-인식 청킹(D-RAC): PDF 정규화 및 멀티모달 마크다운 변환을 통한 엔터프라이즈 문서의 범용 검색-인식 수집
Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion
엔터프라이즈 지식 베이스 기반의 검색-증강 생성(RAG) 시스템은 PDF, Word 문서, 프레젠테이션, 스캔본 등 다양한 문서 형식을 수집해야 하지만, 이러한 문서의 콘텐츠는 복잡한 시각적 레이아웃, 다단 페이지, 조밀한 표 내에 갇혀 있습니다. 규칙 기반 추출과 광학 문자 인식(OCR)은 읽기 순서를 훼손하고 표를 평탄화하며 제목 계층 구조를 잃어버리는 반면, 추출된 텍스트에 대해 완전 에이전트(agent) 기반 청킹을 수행하면 높은 토큰(token) 비용과 환각(hallucination) 위험이 발생합니다. 본 논문에서는 웹 검색-인식 청킹(W-RAC) 프레임워크를 임의의 문서 형식으로 확장한 문서 검색-인식 청킹(D-RAC)을 제안합니다. D-RAC은 사실상 모든 형식이 충실하고 결정론적인 PDF 렌더링을 지원한다는 점을 활용하여 모든 입력 문서를 먼저 PDF로 정규화(normalization)합니다. 이후 단일 멀티모달 LLM 패스를 통해 렌더링된 페이지를 검색에 최적화된 마크다운으로 변환하며, 이때 표를 독립적인 산문 문장으로 재작성하고 제목 계층 구조를 보존합니다. 그 뒤 청킹 과정은 W-RAC과 완전히 동일하게 진행되어, ID 주소 지정이 가능한 단위로 결정론적 파싱을 수행한 다음 텍스트가 아닌 식별자 기반의 경량 LLM 청크 계획 수립을 거칩니다. 청킹 과정에서 원본 텍스트는 결코 재생성되지 않으므로, W-RAC의 비용 절감, 결정론성, 관측 가능성 이점을 유지하는 동시에 렌더링 가능한 모든 형식을 일급 입력(first-class input)으로 활용할 수 있게 합니다. 5개 엔터프라이즈 도메인에 걸친 RAG-Multi-Corpus 벤치마크의 236개 문서, 795페이지 분량의 PDF 서브셋에서, D-RAC은 전체 말뭉치를 오류 없이 72분 만에 변환 및 청킹하여 1,748개의 검색 준비 청크를 생성했습니다. 최신 프론티어 LLM을 사용한 에이전트 기반 청킹과 비교했을 때, D-RAC은 청킹 단계의 출력 토큰을 95.7% 줄여 청킹 비용을 77.8%(GPT-4.1 가격 기준)에서 85.6%(Gemini 2.5 Pro 가격 기준)까지 절감하고 청킹 시간을 75% 단축했습니다. D-RAC은 500페이지 이상의 문서에 대해서도 선형적으로 확장(scaling)됩니다.
DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation
Datrics Text2SQL. A Framework for Natural Language to SQL Query Generation
빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선
Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning
개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.
소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선
Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals
검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.