PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20911v1cs.CL

잠재 개인 메모리: 개인 메모리를 동적 소프트 프롬프트로 표현

Latent Personal Memory: Represent personal memory as dynamic soft prompts

대규모 언어 모델(LLM)을 개인화하려면 장기적이고 사용자별 행동 패턴을 계산적으로 효율적이며, 확장 가능하고, 고정된 베이스 모델과 호환되는 방식으로 인코딩해야 한다. 우리는 사용자별 이력을 해석 가능한 N개의 잠재 슬롯으로 구성된 컴팩트하고 지속적인 행렬로 표현하는 확장 가능한 프레임워크인 Latent Personal Memory(LPM)를 제안한다. 공유 크로스 어텐션(cross-attention) 투영 네트워크가 이러한 슬롯을 동적이고 입력 조건형 소프트 프롬프트로 매핑하며, 이를 고정된 LLM의 입력 앞에 붙인다. Qwen3-1.7B, 4B, 8B 백본에서 PersonaMem v1 및 LoCOMO 벤치마크上 LPM을 평가한다. 결과는 PersonaMem v1에서 LPM이 전체 정확도 기준 LoRA 대비 최대 8.8%, Prompt Tuning 대비 최대 54.4% 더 우수한 성능을 보이며, KV-cache 사용량을 64배 이상 줄였음을 보여준다. LoCoMo에서는 LPM이 학습 가능한 파라미터를 120배 적게 사용하면서 LoRA와 동일한 정확도를 달성한다. 또한 LPM의 효율성이 컨텍스트 길이에 따라 증가하며, 128K 컨텍스트 길이에서 full-context 방식을 능가함을 보인다.

arXiv:2606.17803v1cs.LG

경량 경험 기반 잠재 기억을 통한 지속적 자기 개선

Continual Self-Improvement with Lightweight Experiential Latent Memories

대규모 언어 모델(LLM)은 추론 시간 연산을 확장하여 강력한 추론 성능을 달성하지만, 근본적으로 상태가 없어(stateless) 이 과정에서 생성된 풍부한 자가 생성 추론 흔적을 버립니다. 우리는 모델이 외부 감독이나 미래 데이터에 대한 접근 없이, 이러한 경험으로부터 온라인으로 학습하여 일시적인 연산(추론 흔적)을 지속적이고 재사용 가능한 지식으로 변환할 수 있는지 조사합니다. 우리는 원시 추론 흔적에 대한 문맥 내 학습(ICL)이 일반화에 실패함을 보여주며, 이는 토큰 수준 재사용의 근본적인 한계를 반영합니다. 즉, 개별 흔적은 정제(예: 자기 성찰) 후에도 전이에 필요한 추상화가 부족합니다. 대조적으로, 비지도 강화학습에 대한 최근 연구에서 영감을 받아, 우리는 자가 생성 테스트 시간 신호(다수결 투표)를 보상으로 사용하는 경량의 인스턴스별 학습이 상당한 이득을 가져옴을 발견했습니다. 이는 종종 전체 데이터셋 오프라인 학습을 능가하여, 원시 흔적에서 학습된 잠재 표현으로의 전환을 유도합니다. 이 통찰을 바탕으로, 우리는 마주친 문제에 소비된 추론 시간 연산을 기본 추론 구조를 포착하는 압축된 모듈식 잠재 기억으로 증류하는 온라인 방법을 제안합니다. 이 기억들은 미래의 입력을 위해 저장 및 검색되며, 모듈식 설계를 통해 재앙적 망각을 방지하면서 지속적인 개선을 가능하게 합니다. 중요하게도, 우리의 방법은 매우 효율적이며, 모델 파라미터의 약 0.001%에 불과한 극도로 가벼운 소프트 프롬프트 기억으로 파라미터화되고 단 몇 번의 그래디언트 스텝으로만 학습되지만, 전체 파라미터 업데이트 및 오프라인 학습과 경쟁하는 성능을 달성합니다. 도전적인 수학적 추론 벤치마크 전반에서, 우리의 접근 방식은 제로샷 및 원시 데이터 ICL 기준선을 상당히 능가하며, 데이터셋 간에 효과적으로 전이됩니다.

arXiv:2510.05363v2cs.AI

MHA-RAG: 예시를 소프트 프롬프트로 인코딩하여 효율성, 정확도 및 일관성 향상

MHA-RAG: Improving Efficiency, Accuracy, and Consistency by Encoding Exemplars as Soft Prompts

제한된 학습 데이터로 파운데이션 모델(Foundation Models)을 새로운 도메인에 적응시키는 것은 어렵고 계산 비용이 많이 듭니다. 기존 연구에서는 도메인 특화 예시를 인컨텍스트 시연(in-context demonstrations)으로 사용하는 효과를 입증했지만, 예시를 순수 텍스트로 표현하는 것이 가장 효율적이고 효과적이며 안정적인 접근 방식인지에 대해 조사합니다. 우리는 대안을 탐구합니다: 예시 순서에 독립적인 모델 아키텍처를 사용하여 예시를 소프트 프롬프트로 표현하는 것입니다. 이를 위해 Multi-Head Attention Retrieval-Augmented Generation (MHA-RAG)를 소개합니다. 이 프레임워크는 어텐션(attention) 헤드의 수가 다양한 작업에 걸쳐 소프트 프롬프트 생성을 제어하는 간단한 하이퍼파라미터 역할을 합니다. 다양한 질의응답 벤치마크와 모델 규모에서 MHA-RAG는 표준 RAG 대비 20점의 성능 향상을 달성했으며, 추론(inference) 비용을 10배 GFLOPs 줄여 더 높은 정확도와 효율성을 모두 제공하고 예시 순서에 독립적인 결과를 보여줍니다.