Incremental Knowledge Based Question Answering
원문 초록
In the past years, Knowledge-Based Question Answering (KBQA), which aims to answer natural language questions using facts in a knowledge base, has been well developed. Existing approaches often assume a static knowledge base. However, the knowledge is evolving over time in the real world. If we directly apply a fine-tuning strategy on an evolving knowledge base, it will suffer from a serious catastrophic forgetting problem. In this paper, we propose a new incremental KBQA learning framework that can progressively expand learning capacity as humans do. Specifically, it comprises a margin-distilled loss and a collaborative exemplar selection method, to overcome the catastrophic forgetting problem by taking advantage of knowledge distillation. We reorganize the SimpleQuestion dataset to evaluate the proposed incremental learning solution to KBQA. The comprehensive experiments demonstrate its effectiveness and efficiency when working with the evolving knowledge base.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
디코딩 없는 배치 음성 의사결정: 단일 토큰 감독을 통해 동결된 LLM이 전사본 너머의 음성을 듣게 하다
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.
정보 탐색을 넘어서: 능동적 의료 대화를 위한 심각도 인식 질문 지도(Severity-Aware Question Supervision)
Beyond Information Seeking: Severity-Aware Question Supervision for Proactive Medical Dialogue
능동적 의료 대화(proactive medical dialogue)는 에이전트가 불완전한 환자 정보를 바탕으로 무엇을 질문할지 결정해야 한다. 기존의 정보 탐색 접근법은 일반적으로 진단 불확실성을 가장 많이 줄이는 질문을 우선시하지만, 이 기준은 의료 진단의 중요한 특성, 즉 진단 오류마다 그 결과가 크게 다를 수 있다는 점을 간과한다. 따라서 가장 많은 정보를 주는 질문이 후속 의사결정에 가장 가치 있는 질문과 다를 수 있다. 우리는 각 후보 질문을 심각도를 반영한 최종 위험(severity-aware terminal risk)의 기대 감소량으로 평가하는, 결과 인식 질문 지도(question-supervision) 목적 함수인 Expected-Severity-Risk(ESR)를 제안한다. 질문은 그에 대한 답변이 관측되기 전에 선택되어야 하므로, ESR은 학습 데이터만으로 계산한 모집단 통계를 사용하여 가능한 답변에 대해 주변화(marginalize)한다. 이렇게 얻은 순위는 접두 문맥(prefix)만 사용하는 언어 정책으로 증류되므로, 배포 시에는 교사 측 위험 계산이 필요하지 않다. DDxPlus에서 짝을 맞춘 세 개의 Qwen3-4B 학습 시드에 걸쳐, ESR은 평균 고위험 진단 누락률을 0.0645에서 0.0455로 낮추고(29.5% 상대 감소), 평균 진단 정확도를 0.9123에서 0.9320으로 향상시켰으며, 이때 대화당 추가로 필요한 질문은 0.14개에 불과했다. 고정 예산 분석에서는 질문 수를 통제하더라도 이러한 차이가 유지됨을 보였고, 짝을 맞춘 기대 0/1 위험(expected-0/1-risk) 학생 모델 대조군은 비대칭적 심각도 가중치의 기여를 추가로 분리해 보여준다. 이러한 결과는 능동적 의료 대화를 불확실성 감소에서 벗어나 결과 인식 증거 수집(consequence-aware evidence acquisition)으로 발전시켜야 한다는 주장을 뒷받침한다.
LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축
Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference
대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.
CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅
CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval
에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.
독점에서 오픈소스로: 에이전틱 검색에서 다중 에이전트 프로토콜 증류를 통한 분포 격차 해소
From Proprietary to Open-Source: Bridging the Distribution Gap via Multi-Agent Protocol Distillation in Agentic Search
에이전틱 검색은 다단계 추론과 검색을 교차 수행하여 대규모 언어 모델(LLM)이 지식 집약적 과제를 해결할 수 있게 하지만, 결과 기반 강화학습(RL)으로 이를 최적화하면 희소한 감독만 제공된다. 지식 증류는 더 밀집된 지도를 제공할 수 있으며, 강력한 추론 능력을 갖춘 고급 독점 모델은 유망한 교사 모델이다. 독점 모델로부터의 증류가 이러한 감독 신호를 밀집화할 수 있지만, 기존의 로짓 매칭은 숨겨진 로짓과 불일치하는 토큰화기로 인해 불가능하며, 원시 자연어 궤적 모방은 핵심 추론 역량보다는 표면적인 스타일적 인공물을 전달한다. 이질적 증류 문제를 해결하고 분포 격차를 메우기 위해, 우리는 구조화되고 스타일이 정규화된 프로토콜을 중간 표현으로 사용하는 결합 증류-강화학습 프레임워크인 Multi-Agent Protocol Distillation(MAPD)를 제안한다. 오프라인 다중 에이전트 시스템(MAS)은 각 쿼리를 분해하고, 지원 증거를 검색하며, 실패한 검색을 복구하고, 그 결과로 얻은 탐험 trace를 과제 유형, 추론 계획, 추출적 그라운딩 사실을 포함하는 JSON 프로토콜로 변환한다. 학습 중 프로토콜은 학생 정책(student policy)의 특권 분기(privileged branch)에만 제공되며, 해당 분기의 토큰 분포가 희소한 RL 목표와 함께 밀집된 증류 신호를 제공한다. 7개 QA 벤치마크에 걸친 광범위한 평가에서 MAPD는 경쟁력 있는 증류 및 RL 방법을 지속적으로 능가하며, Qwen3-1.7B에서 평균 성공률 39.4%, Qwen3-4B에서 44.4%를 달성한다. 중요하게도, 이 프레임워크는 다양한 독점 교사 모델에 걸쳐 견고하게 일반화되며, 학생 정책의 스타일 표류(style drift)와 장황함 퇴화(verbosity degeneration)를 효과적으로 완화한다.
SIREN: 경험 기반 LLM 에이전트를 활용한 end-to-end 극한 기상 조기 경보
SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents
극한 기상 조기 경보는 위험 기상 사건이 초래하는 사회적, 경제적, 환경적 위험을 완화하는 데 필수적이다. 그러나 전문가 중심의 경보 워크플로는 비용이 많이 들고 노동 집약적이며, 경보에서 대응까지의 과정 전반에 걸쳐 확장하기 어렵다. 대규모 언어 모델(LLM) 에이전트의 최근 발전으로 기상 관련 작업의 자동화가 가능해졌지만, 기존 연구는 여전히 개별적인 과학적 작업에 집중되어 있으며 운영상 극한 기상 조기 경보에 필요한 상호 의존적 프로세스의 연쇄를 간과한다. 이러한 격차를 메우기 위해 본 연구는 LLM 에이전트를 통한 자동화된 end-to-end 극한 기상 조기 경보를 탐구한다. 먼저 19개 작업에 걸쳐 600개의 질문-답변 인스턴스로 구성되고, 4개의 개별 경보 절차와 end-to-end 경보 연쇄를 포괄하는 포괄적 벤치마크인 SIREN-Bench를 개발한다. SIREN-Bench에 대한 평가는 기존 기상 에이전트 프레임워크의 상당한 역량 격차를 드러낸다. 이는 전문가들의 역사적 사례 활용에서 영감을 받은 경험 기반 에이전트 프레임워크인 SIREN의 개발을 촉진한다. SIREN은 이질적인 기상 증거와 도구를 통합하는 에이전틱 실행 환경과, 검색(retrieval), 스킬 증류(skill distillation), 예측 모델링(predictive modeling)을 통해 역사적 사례를 활용하는 일련의 에이전트 하네스(agent harness)를 결합한다. 광범위한 실험은 SIREN이 개별 경보 절차와 end-to-end 경보 연쇄 모두에서 기상 에이전트 베이스라인을 능가함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.