arXiv:2403.06857

Development of a Reliable and Accessible Caregiving Language Model (CaLM)

Bambang Parmanto, Bayu Aryoyudanta, Wilbert Soekinto, I Made Agus Setiawan, YuHan Wang, Haomin Hu, Andi Saptono, Yong K. Choi

제출 2024-03-11

원문 초록

Unlike professional caregivers, family caregivers often assume this role without formal preparation or training. Because of this, there is an urgent need to enhance the capacity of family caregivers to provide quality care. Large language models can potentially be used as a foundation technology for supporting caregivers as educational tools or as adjunct to care. This study aimed to develop a reliable Caregiving Language Model (CaLM) by using FMs and a caregiving knowledge base, develop an accessible CaLM using a small FM that requires fewer computing resources, and evaluate the performance of the model compared to a large FM. We developed CaLM using the Retrieval Augmented Generation (RAG) framework combined with FM fine-tuning for improving the quality of FM answers by grounding the model on a caregiving knowledge base. We used two small FMs as candidates for the FM of CaLM (LLaMA-2 and Falcon with 7B parameters) and larger FM GPT-3.5 as a benchmark. We developed the caregiving knowledge base by gathering various types of documents from the Internet. In this study, we focused on caregivers of individuals with Alzheimer's Disease Related Dementias. We evaluated the models' performance using the benchmark metrics commonly used in evaluating language models and their reliability to provide accurate references with the answers. The RAG framework improved the performance of all FMs used in this study across all measures. As expected, the large FM performed better than small FMs across all metrics. The most interesting result is that small fine-tuned FMs with RAG performed significantly better than GPT 3.5 across all metrics. The fine-tuned LLaMA-2 small FM performed better than GPT 3.5 (even with RAG) in returning references with the answers. The study shows that reliable and accessible CaLM can be developed by using small FMs with a knowledge base specific to the caregiving domain.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02542v1cs.AI공통 태그 Language Modelling, RAG, Retrieval-augmented Generation

월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)

How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.

arXiv:2609.24346v1cs.AI공통 태그 Language Modeling, RAG, Retrieval-augmented Generation

LADDER: 효율적 다중 홉 추론을 위한 그래프 가이드 확산 언어 모델

LADDER: Graph-Guided Diffusion Language Models for Efficient Multi-Hop Reasoning

그래프 검색-증강 생성(GraphRAG)은 구조화된 엔티티 토폴로지를 활용하여 복잡한 추론에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켜 왔다. 그러나 기존 프레임워크는 표준 자기회귀(autoregressive) 언어 모델에 크게 의존하며, 본질적인 순차 생성 특성이 전체 추론 효율을 심각하게 저해한다. 연속적인 병렬 정제(refine-in-parallel) 디코딩을 통해 대규모 병렬성을 제공하는 확산 언어 모델(DLM)에서 영감을 받아, 우리는 이산 공간에서 GraphRAG를 가속하는 것을 목표로 한다. 그러나 두 가지 과제로 인해 이는 결코 사소하지 않다. 첫째, 부분적으로 디노이즈된 초안은 매우 동적이고 불확실하여 동적 그래프 그라운딩(grounding)이 쉽지 않다. 둘째, 원시 디노이즈 상태는 본질적으로 노이즈가 많고 불안정하여, 동기식 그래프 검색과 다중 홉 집계는 계산 비용이 과도하다. 이를 위해 우리는 그래프 가이드 병렬 디코딩을 통해 확산 언어 모델링과 GraphRAG를 연결하는 새로운 프레임워크 LADDER를 제안한다. 구체적으로, (i) 부분 디노이즈 상태에서 목표 엔티티의 88%가 조기에 등장하며 최종 확정(commitment)이 평균 5.7–9.6스텝 앞당겨진다는 핵심 통찰에 기반하여, 이벤트 기반 자체 클로킹(self-clocking) 검색을 제안한다. 이 메커니즘은 그래프 연결 가능(graph-linkable) 엔티티 집합이 확장될 때만 그래프 검색을 동적으로 트리거하여, 학습된 게이트나 휴리스틱 임계값을 우회하는 비동기 자체 클로킹 정책을 만든다. (ii) 불완전 쿼리(incomplete-query) 그래프 전파 모듈은 전문 그래프 파운데이션 모델을 사용하여 새로 등장하는 엔티티 쿼리를 처리하고, 다중 홉 증거를 지속적으로 집계하여 병렬 예측을 선명하게 하고 전체 디코딩 수렴을 가속하도록 설계되었다. 세 가지 도전적인 다중 홉 QA 벤치마크에 대한 광범위한 실험에서 LADDER는 평균 정확 일치를 39.6%에서 45.2%로 높이면서 지연(latency)을 4.1배 감소시킨다.

arXiv:2610.15921v1cs.LG공통 태그 RAG, Retrieval-augmented Generation

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.16008v1cs.CL공통 태그 RAG, Retrieval-augmented Generation

소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선

Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.

arXiv:2610.02267v1cs.AI공통 태그 RAG, Retrieval-augmented Generation

빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.

arXiv:2610.02373v1cs.CR공통 태그 RAG, Retrieval-augmented Generation

홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점

Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM

GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.