PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03251v1cs.AI

사실을 학습하는 것과 이를 인출하는 방법을 학습하는 것은 다르다

Learning a Fact Is Not Learning How to Retrieve It

"X의 수도는 Y이다"로 학습된 모델은 "X의 수도는" 뒤에 "Y"를 생성할 수 있지만, "X의 수도:" 뒤에서는 실패할 수 있습니다. 본 연구에서는 동일한 사실을 이끌어내는 이러한 서로 다른 방식들을 요청 형태(request forms)라고 부릅니다. 사실 학습과 사실 인출을 분리하기 위해, 두 개의 모델을 2단계에 걸쳐 학습(training)합니다. 1단계(요청 형태 학습)에서 한 모델은 각 사실을 5가지 형태로 보고, 다른 모델은 동일한 사실들을 진술문 형태로만 봅니다. 2단계(목표 사실 학습)에서는 두 모델 모두 새로운 사실들에 대해 모두 진술문 형태로 동일한 학습을 받습니다. 이후 두 모델 모두 진술문으로부터 새로운 사실을 거의 동등하게 잘 인출하지만, 다른 요청 형태에서는 현저한 차이를 보입니다. 따라서 모델(model)은 사실을 학습하기 전에 요청 형태를 통해 인출하는 방법을 학습할 수 있습니다. 이러한 차이를 이해하기 위해 정답 직전의 은닉 상태(hidden state)를 살펴보며, 이를 문맥 상태(context state)라고 부릅니다. 동일한 사실에 대해 서로 다른 두 가지 요청 형태가 주어졌을 때, 1단계에서 5가지 형태로 학습된 모델은 진술문으로만 학습된 모델보다 더 유사한 문맥 상태를 생성합니다. 인출 시점에 이 상태를 변경하면 이미 학습된 사실의 인출을 가능하게 하거나 방지할 수 있으며, 동일한 효과가 수도나 통화와 같은 사실 및 사실 관계 전반에 걸쳐 전이됩니다. 학습 중 문맥 상태의 역할을 검증하기 위해 목표 사실 학습 중에만 문맥 상태를 변경했습니다. 이러한 개입은 테스트 시점의 개입 없이도 이후의 인출 결과를 변화시킵니다. 종합하면, 이러한 결과들은 향후의 인출이 초기 요청 형태 경험과 사실 학습 중의 문맥 상태에 의존한다는 점을 보여줍니다.

arXiv:2606.27237v2cs.CL

태스크 특화 지식 베이스로서의 언어 모델: 해석 가능성 분석

LMs as Task-Specific Knowledge Bases: An Interpretability Analysis

행동·기계론적 분석을 통해 언어 모델(LM)이 사실적 지식을 태스크 불변 저장소가 아닌 태스크 특화 방식으로 인코딩함을 보였으며, 한 태스크에서 획득한 사실이 다른 태스크로 공동 출현하지 못하는 경우가 빈번하고 동일 사실마다 태스크별로 구분되는 매개변수 부분집합이 존재한다. 사고의 연쇄(Chain-of-Thought) 추론은 평가 태스크와 다른 태스크 특화 매개변수를 활용하는 경향이 있어, 모델이 아는 것과 질문 방식이 매개변수 공간에서 얽혀 있다는 점에서 지식 베이스(knowledge base) 유추를 약화시키고 사실적 지식의 신뢰성·제어 가능성에 시사점을 준다.

arXiv:2507.05740v2cs.CL

GPTKB v1.5: A Massive Knowledge Base for Exploring Factual LLM Knowledge

GPT-4.1로부터 재귀적 지식 추출 방법론을 적용해 1억 개 트리플 규모의 대규모 지식 베이스(knowledge base)인 GPTKB v1.5를 구축하고, 이를 통해 대규모 언어 모델(LLM)의 사실적 지식을 링크 탐색, SPARQL 질의, 모델 간 비교 분석 방식으로 체계적으로 탐구할 수 있는 데모 시스템을 제시한다. 샘플 기반 평가의 가용성 편향(availability bias)을 극복하고 LLM 지식의 강점과 한계를 대규모로 분석할 수 있는 기반을 마련했으며, 트리플 정밀도 75.5%를 달성했다.