Using NLU in Context for Question Answering: Improving on Facebook's bAbI Tasks
원문 초록
For the next step in human to machine interaction, Artificial Intelligence (AI) should interact predominantly using natural language because, if it worked, it would be the fastest way to communicate. Facebook's toy tasks (bAbI) provide a useful benchmark to compare implementations for conversational AI. While the published experiments so far have been based on exploiting the distributional hypothesis with machine learning, our model exploits natural language understanding (NLU) with the decomposition of language based on Role and Reference Grammar (RRG) and the brain-based Patom theory. Our combinatorial system for conversational AI based on linguistics has many advantages: passing bAbI task tests without parsing or statistics while increasing scalability. Our model validates both the training and test data to find 'garbage' input and output (GIGO). It is not rules-based, nor does it use parts of speech, but instead relies on meaning. While Deep Learning is difficult to debug and fix, every step in our model can be understood and changed like any non-statistical computer program. Deep Learning's lack of explicable reasoning has raised opposition to AI, partly due to fear of the unknown. To support the goals of AI, we propose extended tasks to use human-level statements with tense, aspect and voice, and embedded clauses with junctures: and answers to be natural language generation (NLG) instead of keywords. While machine learning permits invalid training data to produce incorrect test responses, our system cannot because the context tracking would need to be intentionally broken. We believe no existing learning systems can currently solve these extended natural language tests. There appears to be a knowledge gap between NLP researchers and linguists, but ongoing competitive results such as these promise to narrow that gap.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅
MemoryAthena: Adaptive Routing over Latent and Generated Memories
학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.
추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?
Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?
본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.
UniDataAgent: 기업 질문-보고서 자동화를 위한 온톨로지 그라운딩 에이전트
UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation
기업 데이터 에이전트(agent)는 단순히 질문을 쿼리로 변환하는 것을 넘어 조직 고유의 의미 체계(semantics)를 보존해야 합니다. 본 논문에서는 의미 체계 획득과 온라인 실행을 분리하여 재사용 가능한 질문-보고서 분석을 수행하는 온톨로지 그라운딩(ontology-grounded) 시스템인 ChinaUnicom DataAgent(UniDataAgent)를 소개합니다. 온톨로지 획득 및 검증(OAV) 단계에서는 전문가가 작성한 비즈니스 스킬, 제약된 생성, 질문 검증, 선별된 전문가 검토를 통해 메타데이터, 비즈니스 지식, 지원 자료로부터 버전 관리되는 기업 온톨로지를 구축합니다. 질문-보고서 실행(QRE) 단계에서는 각 질문에 대한 의미적 계약(semantic contracts)을 검색하고, 스킬과 데이터 툴을 조율하며, 결과를 검증하고 근거가 연결된 보고서를 생성합니다. 27개 기업 테이블과 대략 수천 가지 지표 유형에 걸쳐, 온톨로지 구축에는 수작업으로 약 1주일이 걸리던 작업이 불과 몇 시간밖에 걸리지 않았습니다. 보고서 생성에는 며칠의 근무일 대신 단 몇 분밖에 걸리지 않았습니다. 온톨로지 그라운딩은 실제 비즈니스 질문에 대해 95.0%의 엄격한 정확도(strict accuracy)를 달성하여 문서 기반 검색-증강 생성(RAG)의 72.5%와 대조를 보였으며, 특히 정형 및 조합형(compositional) 태스크에서 두드러졌습니다. 이 시스템은 이미 배포되어 비용 절감 효과를 창출하고 있으며 다른 기업으로 복제될 수 있는 잠재력을 지니고 있습니다.
대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구
Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System
공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.
손실 압축 텍스트 오토인코더
Lossy Compressive Text Autoencoders
본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.
SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.