대규모 언어 모델(LLM)이 Text-to-SQL 작업에서 눈부신 성과를 거두었지만, 실제 환경에서의 배포는 잠재적 신뢰성 문제로 인해 저해되고 있다. 이러한 잠재적 약점을 식별하는 것은 신뢰할 수 있는 데이터베이스 인터페이스 구축에 매우 중요하지만, 현재의 진단 접근법은 정적이고 전문가가 정의한 규칙에 크게 의존하여 체계적이고 자동화된 탐험 역량이 부족하다. 이 간극을 해소하기 위해, 우리는 LLM 기반 Text-to-SQL 생성의 잠재적 실패 패턴을 자율적으로 발견하도록 설계된 새로운 프레임워크인 SAGE(Systematic Automated Guided Exploration)를 제안한다. 구체적으로, SAGE는 주어진 샘플에 대한 취약점 가설을 생성하고 지속적으로 진화하는 취약점 코덱스(Vulnerability Codex)를 참조하여 표적화된 변형(perturbation)을 설계함으로써, 잠재적 결함을 반복적으로 검증하고 문서화한다. 최신 오픈소스 LLM에 대한 광범위한 실험을 통해 SAGE가 상당한 수의 실패 사례를 발견하며, 현재 모델들의 심각한 취약성을 드러냄을 입증한다. 나아가, 분석 결과 취약점 코덱스가 강력한 모델 간 전이 가능성을 보이며, 이는 발견된 패턴이 일반화된 구조적 약점을 나타냄을 시사한다. 마지막으로, 우리는 SAGE의 교정(remediation) 가능성을 탐색한다. 예비적 수준이지만, 생성된 샘플에 대한 경량 미세조정이 유망한 성능 향상을 보여, 향후 연구에서 신뢰성 루프를 닫기 위한 확장 가능한 경로를 제시한다.
대화형 에이전트는 인간의 협업 업무에 점점 더 깊이 통합되고 있지만, 근본적으로 수동적이고 반응적인 방식에 머물고 있다: 팀이 시의적절한 개입으로 이득을 얻을 수 있는 순간을 능동적으로 인식하기보다는 사용자의 명시적인 요청에만 응답한다. 이러한 반응적 설계는 다중 사용자 협업에서 에이전트를 능동적 참여자로 활용하는 것을 크게 제한한다. 실제로 이러한 협업 환경에서는 의견 충돌, 모호한 목표, 간과된 제약, 불명확한 계획, 논의의 반복, 불균형한 참여가 점차 그룹의 진행을 저해할 수 있다. 에이전트를 수동적 보조자에서 다중 사용자 협업의 능동적 참여자로 전환하기 위해, 우리는 공통 기반(common ground) 이론, 협력 계획, 조정 업무 이론에 기반한 중단 인식 에이전트 프레임워크인 ProACT를 제안한다. ProACT는 화자가 구분된 대화 기록을 관찰하고, 현재 발화가 개입이 필요한 협업 중단을 포함하는지 판단하며, 에이전트가 침묵을 유지할지 발화할지를 결정하고, 발화가 필요한 경우 해당 사례를 목적에 맞는 협업 스킬로 라우팅한다. 또한 우리는 프로젝트 계획, 제품 설계, 연구 협업, 물류, 교육, 자원 제약 의사결정 등 다양한 영역에서 능동적 에이전트를 평가하기 위한 최초의 다중 사용자 협업 벤치마크를 소개한다. 3,244개의 턴 수준 예시와 다섯 가지 대규모 언어 모델(LLM) 백본에 걸쳐, ProACT는 직접 채팅 방식 대비 협업 적절성, 비방해성, 간결성, 개입 품질 평가 전반에서 일관된 향상을 보인다.
While current AI agents support increasingly long context windows, tool use, and skill execution for long-horizon tasks, they still require memory systems to effectively leverage historical experience. Existing memory frameworks typically rely on fixed storage, retrieval, and summarization mechanisms, which can be rigid across different tasks and often require manual tuning. To address this limitation, we propose SelfMem, a self-optimizing memory framework. Inspired by prior work on self-improving AI, we follow the principle of "teaching an agent to fish rather than giving it a fish." Instead of forcing the model to follow a predefined memory strategy or format, SelfMem provides an environment with memory tools and feedback signals that allow the agent to explore, evaluate, and refine its own memory strategy. Our results show that SelfMem consistently outperforms retrieval, compression, and agent-memory baselines on BEAM across conversation scales from 100K to 1M tokens. Compared with the strongest baseline, SelfMem improves the official score by 48.7%, 40.8%, and 41.9% at 100K, 500K, and 1M, respectively. Further question-type analysis shows broad robustness across diverse memory demands, and our optimization study shows that model-guided strategy refinement further improves performance.
문헌 리뷰를 작성하려면 인용 논문들 간의 관계, 즉 논문들이 서로를 어떻게 발전시키고, 반박하거나, 대안적 관점을 제시하는지에 대한 깊은 이해가 필요하다. 우리는 관련 연구 생성을 위한 대규모 언어 모델(LLM) 계획과 그래프 알고리즘을 결합하여 인용 논문들 간의 핵심 관계를 추출하는 프레임워크인 Graph-Reasoning Aided Survey Planning(GRASP)을 제안한다. 우리의 2층(two-layer) 그래프 구조는 사고의 그래프(Graph of Thoughts)와 논증-반론 계획 네트워크(Argument-Counterargument Planning Network)로 구성되어 인용 논문들을 서로 다른 세분화 수준으로 표현하며, Steiner 트리를 통한 위상 인식 가지치기(topology-aware pruning)를 적용하여 그래프에 포착된 핵심 논문 간 관계를 식별한다. 인용 분석 기반 평가 결과, GRASP가 생성한 관련 연구 섹션(RWS)은 담화 역할, 의도, 인용 그룹화 측면에서 인간이 작성한 목표 텍스트와 매우 유사하게 일치함을 보였다.
Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization
배경: 개별 증례 안전성 보고서(ICSR) 물량의 증가로 확장 가능한 자동화 인과성 평가에 대한 수요가 높아지고 있다. 대규모 언어 모델(LLM)은 가능성을 보이지만, 임상적으로 까다로운 작업에서의 성능은 여전히 최적에 미치지 못하며, 추론 시점의 하이퍼파라미터 최적화는 아직 연구되지 않았다. 목적: 가우시안 프로세스(GP) 호환 최적화 목적 함수를 개발하고, 온도(temperature) 최적화가 FAERS ICSR의 Naranjo 인과성 평가에서 LLM과 전문가 간 일치도를 향상시키는지 조사한다. 방법: 층화 추출된 FAERS 723개 증례에 대해 전문가 인과성 평가를 수행하였다. OpenAI의 GPT-5.2를 사고의 연쇄(CoT) 프롬프팅으로 평가하였다. 네 가지 복합 지표를 개발하였다: 가중 코사인 유사도(WCS), 정보 가중 일치 점수(IWAS), 엔트로피 가중 일치 및 코사인 유사도 점수(EWACS), 합의 가중 코사인 유사도(CWCS). 또한 개선 확률(PoI) 획득 함수를 갖춘 GP 대리 모델을 이용한 베이지안 최적화를 온도 범위 [0, 2]에 적용하였다. 결과: GPT-5.2는 기준선(T = 0)에서 기존 바이오메디컬 LLM을 능가하여, Naranjo 알고리즘의 질문 5에서 74.1%, 질문 10에서 65.4%의 일치율을 달성하였다. 엔트로피 분석을 통해 이 두 항목이 유일하게 유의미한 최적화 대상임이 확인되었다. 온도는 집단 수준에서 체계적인 효과를 보이지 않았다(β = 0.002, p = 0.959). EWACS 기반 베이지안 최적화는 인과성 분류 일치율을 45.0%에서 72.0%로 개선하였으며(+27 pp), Doubtful 증례에서 가장 큰 향상이 나타났다(+42.9 pp). 결론: EWACS가 GP 호환 지표로서 최적임이 확인되었다. 범용 온도 최적값의 부재는 LLM 성능이 주로 ICSR 내용에 의해 결정됨을 시사하지만, 증례별 온도 선택은 의미 있는 개선을 가져왔으며, 이는 LLM 보조 약물감시에서 온도 최적화의 활용 가능성을 지지한다.
사람이 언어 모델과 무언가를 공유할 때, 모델은 종종 발신자가 그것을 보낸 행위가 아닌 메시지의 표면에 답한다: 완성된 프로젝트를 공유하면 코드를 비평하고, 깊은 밤에 쓴 날 것의 글을 공유하면 정서 상태를 점검한다. 우리는 발신자의 의사소통 의도—그라이스식 '의미된 것(what-was-meant)'—를 일급 해석 가능성 객체로 취급하며, 이 실패가 견고한 표상 위에서의 판독(readout) 문제임을 보인다. 선형 프로브는 모델의 기본 패스 은닉 상태로부터 발신자의 의도—인식을 원하는지 평가를 원하는지—를 깔끔하고 표면과 무관하게 디코딩하며, 이는 6개 모델과 4개 계열에 걸쳐, 그리고 기본 체크포인트에서도 성립한다. 이 표상은 화용론적으로만 추론되는 의도와, 어휘적으로 명확한 두 번째 의도(지지 vs. 도움)로도 일반화된다. 행동 측면과 모든 인과 검증은 인식/평가 대조에서 확립되며, 여기서 변하는 것은 기본 출력이 의도에 따라 행동하는지 여부이다. 판독은 모델 내 층 깊이에서 표상보다 뒤처지며(의도는 출력을 구동하기 몇 층 전부터 디코딩 가능하다); 모델 간에는 기본적으로 의도에 따라 행동하는지 여부가 모델마다 달라, 우리가 스케일링 법칙으로 해석하지 않는 관찰된 계층화(6개 중 3개가 실패를 보임)가 나타난다. 격차가 있는 경우, 표상과 긴밀하게 연결된 방향—탐색된 층에서의 판별 방향—이 인과적 제어 수단이 된다: 이를 조향하면 명시적 지시와 동등하게, 프롬프트 없이도 의도된 행동이 회복된다. 이 방향은 피드백 제공 축에 거의 직교하므로, 일반적인 피드백 조절 장치가 아닌 표상된 의도를 경유하지만, 회복 용량에서 경유된 의도는 명시적 요청을 무효화할 수 있다. 우리는 명백한 무효화에 대한 통제를 통해 각 연결을 뒷받침하고, 귀무 결과를 확인 결과만큼 명확하게 보고한다.
코드 수정은 언어 모델(LM)의 중요한 능력이다: 버그가 있는 프로그램과 단위 테스트가 주어지면, LM은 테스트를 통과하는 수정된 프로그램을 생성해야 한다. 코드 수정 데이터가 제한적이므로, LM을 활용하여 버그-수정 태스크를 생성함으로써 감독(supervision)을 확장하고자 한다. 우리는 __생성기-수정기 셀프-플레이(generator--fixer self-play)__를 제안한다. 이 방식에서 단일 모델은 강화학습으로 학습되어 버그를 생성하고 수정하며, 수정기가 향상됨에 따라 생성기는 더 어려운 버그를 생성하도록 적응하여 자동 커리큘럼을 구성한다. 이 커리큘럼의 일반화 여부를 검증하기 위해, 현실적인 버그 출처를 아우르는 수정 벤치마크인 BugSourceBench를 소개한다: 인간이 작성한 코드의 버그, LM이 생성한 코드의 버그, 그리고 인간이 편집한 LM 생성 코드의 버그가 포함된다. BugSourceBench에서의 실험 결과, 셀프-플레이는 어렵지만 비현실적인 버그 방향으로 드리프트되어 합성 버그에서는 성능이 향상되는 반면 인간이 작성한 버그에서는 성능이 저하됨을 확인했다. 이에 우리는 앵커드 셀프-플레이(ASP, Anchored Self-Play)를 제안한다. ASP는 생성 시 코드-임베딩 유사도 보상을 추가하고 수정기 학습에 참조 버그를 혼합함으로써 소규모 참조 집합으로 셀프-플레이를 앵커링한다. 버그 출처 전반에 걸쳐 ASP는 최고의 수정률을 달성하며, 표준 셀프-플레이 대비 평균 수정률을 상대적으로 $+24\%$ / 절대적으로 $+7.0$ pp 향상시키고, LM 및 인간 작성 버그 모두에서 성능 향상을 보인다.
그래프 기반 검색-증강 생성(Graph-RAG)의 기반이 되는 지식 그래프(KG)는 전문가의 큐레이션이 아닌 LLM 기반 추출에 의해 자동으로 구축되는 경우가 점점 늘어나고 있다. 적절한 평가를 위해서는 추출, 그래프 구축, 추론 등 관련된 모든 단계를 계측하여 오류를 국소화할 수 있어야 하며, 특정 단계에서 발생한 실패가 최종 단계에서 오답으로만 발견되는 일이 없도록 해야 한다. 우리는 자동화된 문서 기반 Graph-RAG를 위한 단계 인식 계측 프레임워크 TRIAGE를 소개한다. TRIAGE는 기반 그래프의 신뢰 가능 여부뿐만 아니라 그래프 질의에 드는 비용까지 함께 묻는다. TRIAGE는 세 단계에 단계별로 독립적으로 해석 가능한 지표를 부착한다: KG 구현 단계(트리플 신뢰도, 출처 커버리지, 스키마 및 정규화 검사), 전문가에 의한 KG 검증 단계(그래프 수준 구조적 품질, 참조가 제공될 때 오프라인 캘리브레이션으로만 계산되는 정확성 및 완전성), KG 활용 단계(검색 커버리지, 충실도, 검색 비용). 배포된 지표는 골드 어노테이션이 필요 없으며, 골드 어노테이션을 요구하는 지표는 오프라인 캘리브레이션 용도로만 사용된다. 활용 시점에 이 지표들은 필요 조건들의 진단 체인을 형성하며, 처음으로 끊어진 연결고리가 실패를 국소화하고, 해당 진단은 이를 해결할 수 있는 단계별 조정 수단—추출, 그래프 및 스키마, 또는 검색—으로 매핑된다. TRIAGE는 개념 증명과 재현 가능한 평가 프로토콜을 갖춘 이론적 프레임워크다.
이 논문은 SemEval-2026 Task 3: 차원적 측면 기반 감성 분석(Dimensional Aspect-Based Sentiment Analysis)에 대한 접근 방식을 제시한다. 우리는 전통적인 범주형 감성(예: 긍정 또는 부정)을 넘어, 감성의 "유인가(valence)"(긍정성)와 "각성도(arousal)"(강도)에 대한 세밀한 실수값 점수를 예측하는 방법을 탐구한다. 우리는 두 가지 서브태스크에 참가한다: 주어진 측면(aspect)에 대해 이러한 점수를 예측하는 서브태스크 1과, 측면, 카테고리, 의견 및 해당 점수를 포함한 전체 감성 세부 정보를 추출하는 서브태스크 3이다. 회귀 태스크에 대한 우리의 접근 방식은 트랜스포머 기반 인코더 모델의 가중 앙상블을 활용한다. 러시아어의 경우, 대규모 언어 모델(LLM)을 사용하여 합성 감성 설명을 생성함으로써 입력을 추가로 강화한다. 추출 태스크에서는 디코더 LLM을 파인튜닝하여 구조화된 예측을 수행하며, 이를 통해 시스템이 감성 요소를 식별하고 수치적 점수를 동시에 추정할 수 있도록 한다.
과학 논문은 서론, 방법론, 결과, 논의 등의 섹션으로 내용을 구성하는 수사적 구조를 따른다. 이러한 섹션을 대규모로 자동 식별하면 과학적 글쓰기 패턴에 대한 세밀한 분석이 가능해진다. 우리는 Semantic Scholar Open Research Corpus(S2ORC)에서 수백만 편의 과학 논문에 대한 섹션 수준 주석 데이터셋을 제시한다. 규칙 기반 분류(classification) 알고리즘을 사용하여 품질 필터링 후 1,560만 편의 논문에서 주요 섹션을 식별하고 레이블링하였다. 이 데이터셋(dataset)은 주로 STEM 분야를 다루며, 의학 및 생물학 분야가 강하게 대표된다. 분류기와 인간 주석자 간의 일치율이 인간 주석자 간 일치율과 동등함을 보여주는 포괄적인 인간 및 대규모 언어 모델(LLM) 기반 검증(validation)을 제공한다. 이 데이터셋은 과학적 담론 및 글쓰기 패턴에 대한 대규모 전산 연구를 가능하게 한다.
공개적으로 이용 가능한 대규모 언어 모델(LLM)의 급격히 증가하는 저장소는 모델 계보 추적, 라이선싱, 평가 등 대규모의 체계적 관리 및 정량화에 상당한 과제를 안겨준다. 그러나 LLM은 아키텍처, 규모, 학습 절차 면에서 폭넓게 차이가 있기 때문에 태스크별 벤치마크만으로는 이 상황에 충분하지 않다. 이 과제를 해결하기 위해, 우리는 Heavy-Tailed Self-Regularization 이론에 기반하여 LLM을 관리하고 정량화하는 스펙트럴 형상(shape) 기반 지표를 도입한다. 본 접근법은 가중치 경험적 스펙트럴 밀도(weight empirical spectral density)의 형상 정보를 각 모델의 컴팩트한 스펙트럴 시그니처로 활용한다. 이 시그니처는 사전학습된 모델의 내재적 속성을 포착하며 사후 학습 과정에서도 견고하게 유지되어 모델 수준의 분석에 적합하다. 또한 이 지표는 데이터 불필요(data-free), 계산 효율적, 스케일 불변(scale-invariant) 특성을 지녀 실제 대규모 분석을 가능하게 한다. 나아가, 우리는 주요 오픈소스 LLM 패밀리로 구성된 크고 다양한 모델 코퍼스를 구축하고, 이를 사용하여 모델 및 다운스트림 태스크 전반에 걸쳐 스펙트럴 및 비스펙트럴 지표를 체계적으로 벤치마크한다. 우리는 스펙트럴 시그니처가 모델 계보 추적, 유사 모델의 비지도 클러스터링, 모델 성능 정량화를 지원함을 보인다. 전반적으로, 제안된 스펙트럴 시그니처는 LLM 전반의 광범위한 성능 추세에 대한 의미 있는 프록시를 제공하여 대규모 모델 컬렉션의 효율적인 구성, 비교, 분석을 가능하게 한다.
본 연구는 이탈리아 조세법원 판결을 개별 법적 쟁점으로 분해하고, 각 쟁점에 대해 IRAC 프레임워크와 법적 삼단논법에 기반한 구조화된 XML 표현을 추출하는 자동화 파이프라인을 제시한다. 이 파이프라인은 이탈리아 조세법원의 1심 및 2심 결정문 약 33만 건으로 구성된 코퍼스를 대상으로 하며, 수십만 건의 문서를 지속 가능한 비용으로 처리해야 하는 요구에 따라 성능과 비용 효율성을 모두 갖춘 범용 모델(DeepSeek V3)을 중심으로 구축되었다. 법적 인용에 대한 대규모 언어 모델(LLM)의 신뢰성 문제를 해결하기 위해, 추출 단계에 자동 환각(hallucination) 탐지 필터를 결합하였다. 이 필터는 모델이 생성한 참조 문헌을 전용 파서(Linkoln)가 판결문 텍스트에서 식별한 참조 문헌과 비교하며, 이를 표준 식별자(URN-NIR, ECLI, CELEX)로 정규화한다. 파이프라인 검증은 조세법 박사 학위 소지자 2인이 주석을 부착한 50건의 판결문을 대상으로 수행되었으며, 쟁점 추출 및 법적 인용 모두에 대해 주석자 간 일치도와 LLM-전문가 간 일치도를 산출하고, 환각 필터에 대한 독립 평가도 함께 실시하였다. 본 연구는 이탈리아 조세법원 결정문에 대해 쟁점 단위의 전문가 검증 구조화 추출 파이프라인과 환각 제어를 결합한 최초의 사례로서, 쟁점 수준 검색(retrieval), 인용 네트워크 분석, 대규모 법적 추론 데이터셋 구축 등 다운스트림 응용을 위한 구체적인 출발점을 제공한다.
본 연구는 프롬프트 언어와 번역 이론 기반 프롬프트 설계가 GPT-5.2가 생성하는 스페인어-중국어 저널리즘 번역의 품질에 미치는 영향을 조사한다. El Pais의 사설 4편으로 구성된 병렬 코퍼스를 48가지 실험 조건(프롬프트 유형 4종, 프롬프트 언어 3종, 기사 4편)에서 번역하였다. 번역 품질은 자동 평가를 위해 BLEU와 BERTScore-F1을 사용하고, 다차원 품질 메트릭(MQM) 프레임워크에 기반한 인간 평가를 병행하였다. 자동 평가 지표는 기준선 프롬프트(BASE)를 최고 성능 조건으로 식별한 반면, 인간 평가에서는 브리프 지향 프롬프트(BRIEF)가 가장 높은 순위를 기록하였다(MQM: 8.66 대 7.84). 이러한 역전 현상은 자동 평가 방식에 내재된 단일 참조 제약에 기인할 가능성이 높다. 하위 오류 유형 분석 결과, 번역 이론 기반 프롬프트는 어색한 문체(Awkward style) 오류를 선택적으로 감소시킨 반면, 비관용적 문체(Unidiomatic style) 오류는 모든 조건에서 지속되었다. 프롬프트 언어는 두 평가 패러다임 모두에서 무시할 수 있는 수준의 영향만 미쳤다. 이러한 결과는 번역 이론 기반 프롬프트가 저널리즘 번역의 전문가 평가에서 측정 가능한 품질 향상을 가져올 수 있음을 시사하지만, 언어 학습자를 위한 교육적 함의는 시사적 수준에 머물며 사용자 기반 연구를 통한 검증이 필요하다.
사고(Thinking)는 복잡한 작업을 처리하는 대규모 언어 모델(LLM)의 핵심 역량으로 부상했다. 그러나 사용자 응답을 수신한 후에야 수동적으로 추론이 촉발되는 반응적 특성은 필연적으로 지연을 야기하여 대화의 유창성을 저하시킨다. 이는 화자가 자연스러운 대화 중 일시 정지 동안 미래 내용을 능동적으로 예측하고 계획함으로써 원활한 상호작용을 보장하는 인간의 대화 방식과 극명하게 대조된다. 이러한 격차를 해소하기 위해, 우리는 모델이 다음 입력을 기다리며 유휴 상태에 머무르는 대신 대화 중 여유 시간 동안 잠재적 응답 요소를 사전 계산할 수 있도록 하는 프레임워크인 능동적 사고(Proactive Thinking)를 제안한다. 이후 투기적 연속 사고(speculative continual thinking)를 통해 미래 상태를 예측함으로써 효율성과 품질 간의 균형을 맞추며 선행 사고가 가능한 학습 없는 기준선(training-free baseline)을 소개한다. 실제 환경에서 이 접근법을 평가하기 위해, 실시간 대화 흐름을 시뮬레이션하는 시간 인식 환경으로 다양한 복잡도의 벤치마크 세 가지를 적용한다. 능동적 사고가 성능 저하 없이 상호작용 효율성을 효과적으로 향상시킴을 보인다. 궁극적으로, 이 연구는 보다 지능적이고 예측적이며 실시간적인 대화형 AI를 향한 근본적인 전환을 주창한다.
소셜 미디어 게시물은 자동화된 분석 도구를 활용하여 정신 건강 상태와 사용자의 웰빙을 분석하는 데 풍부하고 가치 있는 데이터 소스입니다. 본 연구에서는 CLPsych Shared Task 2026에 참가하여 자기 상태(self-state) 및 웰빙 분석과 요약을 위해 장단기 기억(LSTM), BERT 기반 모델, 대규모 언어 모델(LLM)을 포함한 다양한 자연어 처리(NLP) 방법을 어떻게 활용했는지 소개합니다. 우리의 접근법은 요약 태스크에서 최상위권의 일관성(Consistency) 및 모순(Contradiction) 점수를 달성했으며, 나머지 태스크에서도 중간 수준의 결과를 기록했습니다. 이러한 정신 건강 상태 추정 시스템을 테스트하고 개발함으로써 정신 건강 지원 시스템 개선에 기여하였습니다. 코드는 https://github.com/psytechlab/CLPsych2026/ 에서 공개합니다.
현대 대규모 언어 모델(LLM)을 긴 컨텍스트로 확장하는 것은 밀집 어텐션(dense attention)의 이차적 연산 비용과 길이 외삽 성능 저하로 인해 제한된다. 청크 단위 희소 어텐션(chunk-wise sparse attention)은 유망한 대안이지만, 기존의 모든 방법은 부정확한 청크 선택으로 인해 풀 어텐션(full attention)에 미치지 못한다. 우리는 언어 모델링(LM) 손실 하에서 청크 선택을 엔드-투-엔드로 학습하는 청크 단위 희소 어텐션 메커니즘인 계층적 랜드마크 희소(HiLS) 어텐션을 제안한다. HiLS는 어텐션을 계층적으로 분해한다: 각 쿼리는 검색된 각 청크와 독립적으로 어텐션을 수행하여 청크별 정보를 추출하고, 그 결과 출력은 청크 검색 점수에 따라 융합된다. HiLS는 검색 점수를 순전파 어텐션 연산에 통합함으로써 LM 손실로 이를 직접 최적화하여, 엔드-투-엔드 검색 학습과 네이티브 희소 학습을 가능하게 한다. 실험 결과, HiLS-Attention은 인-도메인 컨텍스트 길이에서 풀 어텐션과 동등하거나 일부 경우 더 나은 성능을 달성한다. 동시에 HiLS-Attention은 90% 검색 정확도로 학습 컨텍스트 길이의 $64\times$를 초과하는 외삽을 수행하며, 이는 풀 어텐션을 크게 뛰어넘는 수준이다. 또한 기존의 풀 어텐션 모델은 경량 지속 사전학습을 통해 HiLS-Attention으로 변환될 수 있으며, 인-도메인 성능을 유지하면서 초장문 컨텍스트 외삽 능력을 획득한다. 희소 KV 접근 및 연산과 결합하여, HiLS-Attention은 일반적인 효율-성능 트레이드오프를 극복하고, 일반적인 장문 컨텍스트 작업에서 풀 어텐션 대응 모델보다 더 효율적이면서도 더 효과적인 장문 컨텍스트 LLM을 가능하게 한다.
장기 행동 예측(long-horizon behavior prediction)은 긴 이력 시퀀스를 기반으로 사용자의 다음 행동을 추론하는 것을 목표로 하며, 인공지능 분야에서 중요한 역할을 담당한다. 대규모 언어 모델(LLM)의 부상은 순차적 행동 예측에 유망한 방향을 제시하지만, LLM은 장기 행동 예측에 있어 잠재적 행동 패턴 귀납 및 모델 내재적 인지 편향 문제를 겪는다. 기존의 메모리 관리 방법들은 이력 시퀀스의 부담을 완화하여 이 문제를 해결하려는 컨텍스트 압축 패러다임을 따르지만, 핵심 과제를 해결하지 못한다. 본 논문에서는 긴 이력 시퀀스를 부담이 아닌 활용 가능한 가치 있는 자원으로 재정의하는 패러다임 전환을 제안하며, 이에 따라 PraMem을 제안한다. PraMem은 긴 이력 시퀀스에 대해 사전 실전 훈련(practice)을 수행하여 경험적 메모리(experiential memory)를 구축하고, 이를 정확한 장기 행동 예측을 위한 보조 입력으로 활용한다. 다양한 태스크에 걸친 광범위한 실험을 통해 PraMem이 기존 방법보다 우월한 성능을 달성함을 입증하며, 심층 분석을 통해 경험적 메모리의 메커니즘과 발전 과정에 대한 유의미한 인사이트를 제공한다. 코드: https://github.com/icip-cas/PraMem.
음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.
오디오-언어 모델은 코드 스위칭 음성에 대해 프롬프트될 수 있지만, 디코딩이 코드 스위칭에 최적화되어 있지 않아 언어 경계에서 자주 실패한다. 우리는 그룹 상대 정책 최적화(group relative policy optimization)를 활용하여, 오류율 보상과 잘못된 문자 체계를 패널티하는 스크립트 충실도 보상(script fidelity reward), 그리고 2단계 초안-정제(draft-and-refinement) 절차를 결합한, 코드 스위칭 ASR에 대한 오디오-언어 모델의 데이터 효율적 적응을 위한 실용적인 검증 가능한 보상 강화학습(RLVR) 레시피를 제안한다. 10개 언어 쌍에 걸쳐 재현 가능한 테스트베드로 Qwen2-Audio를 사용하고 TTS 코드 스위칭 음성만으로 학습하였을 때, 데이터의 10%만 사용한 RLVR이 전체 데이터셋으로 학습한 LoRA 지도 미세조정과 동등한 성능을 달성하며, 유형론적으로 거리가 먼 언어 쌍에서 가장 큰 성능 향상이 나타남을 보인다. 오류율 보상은 번역 오류를 제거하고, 스크립트 충실도 보상은 성능 저하 없이 별도로 스크립트 오염을 줄인다. 이러한 성능 향상은 인간이 녹음한 코드 스위칭 코퍼스에 제로샷으로 전이된다.
대규모 언어 모델(LLM)은 일관성이 부족하다: 프롬프트를 변형하거나 관련 없는 정보를 포함시키면 모델 출력이 예기치 않게 변할 수 있다. 생성기-검증기(G-V) 간극은 이 현상의 한 발현으로, LLM이 생성한 응답을 이후 검증을 위해 재질의했을 때 유효하지 않다고 판단하는 경우를 말한다. 본 연구에서는 발화 빈도(utterance frequency)에 대한 원칙적인 보정을 포함하는 새로운 G-V 일관성 공식화를 제안한다. 구체적으로, 생성기는 유효한 문자열이 사전적으로(a priori) 발생 가능성이 낮다는 이유만으로 해당 문자열에 낮은 가능도를 할당하는 경우가 많아, 단순한 G-V 일관성 개념은 실용적이지 않다. 복수의 정답이 존재하는 질문에 답하는 합리적 에이전트의 자연스러운 모델 하에서, 검증기와 빈도 보정된 생성기 점수 간의 일관성이 자연스럽게 도출됨을 보인다. 우리의 방법인 FCPA는 실제 LLM에 대해 빈도 보정 G-V 일관성을 구현하는 학습 목적 함수이다. 실험 결과, FCPA를 이용한 학습은 기존 방법 대비 G-V 일관성과 생성기 성능을 모두 크게 향상시키며, IFEval 및 HumanEval에서 피어슨 상관계수 최대 +27pp의 성능 향상을 달성하면서도 모든 평가 태스크에서 검증기 품질을 유지함을 보여준다.