본 논문은 아랍어 자연어 처리(NLP) 작업에서 12개의 소형 언어 모델(SLM)의 성능을 평가한다. 연구는 8개 도메인과 10개 언어 능력에 걸쳐 분포된 240개의 아랍어 테스트 항목으로 구성된 벤치마크를 도입하며, 이는 이해 중심 작업과 생성 중심 작업을 모두 포함한다. 모든 모델은 표준화된 아랍어 전용 프롬프트 템플릿을 사용한 통제된 제로샷(zero-shot) 설정에서 평가되었다. 모델 응답은 GPT-4.1 Mini, Claude Haiku 4.5, DeepSeek-Chat을 포함하는 다중 모델 LLM-as-a-judge 프레임워크를 통해 평가되었으며, 점수는 심사자 간에 집계되고 작업, 능력, 모델 계열(model family)별로 분석되었다. 결과에 따르면 Gemma 3 (12B)가 전체 최고 점수(4.548/5)를 달성했으며, 그다음은 Aya와 C4AI Command Arabic이었다. 관측된 결과는 모델 크기만으로는 아랍어 SLM 성능을 설명할 수 없음을 시사한다. 아랍어 정렬(alignment)이 더 강하고 인스트럭션 준수(instruction-following) 행동이 더 안정적인 모델이 작업 전반에 걸쳐 더 나은 성능을 보이는 경향이 있었다. 성능이 낮은 모델에서 공통적인 실패 패턴으로는 프롬프트 유출(prompt leakage), 환각(hallucination), 언어 표류(language drift), 불완전한 생성, 약한 작업 준수가 포함된다. 전반적으로 이 벤치마크는 간결한(compact) 아랍어 언어 모델을 평가하기 위한 구조화된 기준점을 제공하며, 효율적이고 신뢰 가능하며 문화적으로 적절한 아랍어 AI 시스템에 대한 향후 연구를 지원한다.
심리언어학 연구는 인간 독자가 일관성 착시(coherence illusion)에 빠진다는 것을 보여준다. 즉, 선행 문맥의 방해자(distractor)가 다음에 이어질 내용과 일치하면 비일관적 담화가 일관적으로 보일 수 있다. 우리는 네덜란드어 언어 모델(단일 언어 6개, 다국어 4개)이 'again', 'too'와 같은 단어로 이전 문맥을 참조하는 텍스트에서 동일한 행동을 보이는지 조사한다. 첫째, 핵심 단어에서의 서프라이절(surprisal)이 인간의 수용 가능성 판단과 아이트래킹(eye-tracking) 데이터를 추적함을 확인한다. 모델은 비일관적 연속에 더 높은 서프라이절을 보이지만, 선행 문맥의 일치하는 방해자는 이 서프라이절을 감소시킨다. 둘째, 핵심 위치에서의 어텐션 엔트로피는 일관성과 비일관성 조건에서 다르게 동작하는 헤드를 식별한다. 이러한 헤드를 제거(ablation)하면 실험 간 전이 효과가 나타나며, 공유된 메커니즘을 시사한다. 셋째, 우리는 연합 기억(associative memory) 문헌의 에너지(energy)를 담화 일관성을 정량화하는 지표로 도입한다. 종합하면, 우리의 결과는 네덜란드어 LLM에서도 일관성 착시가 발생하며, 엔트로피와 에너지가 여러 설정에서 작동하는 메커니즘을 드러냄을 보여준다.
본 논문은 최근 벡터 그라운딩(vector grounding) 설명을 바탕으로 대규모 언어 모델(LLM)의 그라운딩 문제를 재검토한다. 나는 고전적 기호 그라운딩(symbol grounding)에서 벡터 그라운딩으로의 전환을 수용하지만, 현재 논쟁이 두 가지 측면에서 여전히 불완전하다고 주장한다. 첫째, 지시(reference)는 종종 지나치게 얇게 다루어지며, 고립된 표현과 대상 사이의 고정된 연결인 것처럼 취급된다. 대신 나는 지시가 프로필 기반(profile-based), 문맥 민감(context-sensitive), 담화 수준(discourse-level), 정서적으로 형성(affectively shaped), 규범에 의해 통제(norm-governed)된다고 주장한다. 인간의 경우에서도 지시는 동일한 사적 표상(private representations)이 아니라 사용, 수정, 구분, 추론(inference), 연속의 패턴을 통해 공공적으로 안정화된다. 둘째, 벡터 그라운딩은 수치적 실현(numerical realization)에 대한 설명을 필요로 한다. LLM은 인간의 지각, 기억, 의도, 체화(embodiment), 이해를 통해 지시를 획득하지 않는다. 오히려 최적화(optimization)를 통해 인간의 세계 지향적(world-directed) 실천의 언어적 흔적을 매개변수화(parameterize)한다. 유한한 벡터 시스템에서 참조 프로필(referential profiles)은 분산되어야 하고, 중첩(superposed)될 수 있으며, 문맥 민감적 계산을 통해 복원된다. 가중치, 활성화(activations), 어텐션(attention)이 매개하는 은닉 상태, 소프트맥스(softmax)로 학습된 대조, 내적(inner-product) 정렬(alignments)은 상속된 언어적 관계가 안정적이고 인과적으로 활성화되는 수학적 지점이다. 메커니즘적 해석가능성(mechanistic interpretability) 연구 결과—개체 유사(entity-like) 특징, 지식 뉴런(knowledge neurons), 정서 관련 활성화 방향 등—는 이 관점에 대한 간접적 지지를 제공한다. 이는 LLM이 인간의 지시를 갖추고 있음을 보여주지 않는다. 대신 더 제한된 논제를 뒷받침한다: LLM은 파생적(derivative), 언어 매개(language-mediated), 프로필 기반, 수치적으로 구조화된 형태의 지시를 가질 수 있다.
모호한 사용자 의도를 선호에 맞는 구조화·실행 가능 명세로 바꾸는 능력을 평가하는 벤치마크 SpecBench를 제안하고, 형태론적 분석(morphological analysis)으로 설계 차원을 분해한 뒤 시뮬레이션 사용자로 선택을 검토하고 실제 사용자와 협업하는 에이전트 Buddy를 소개한다. 기존 CLI 에이전트는 과신해 조기 구현에 들어가거나 질문 예산을 낭비하는 경향이 있었으나 Buddy는 더 적은 질의로 사용자 선호를 효과적으로 이끌어냈다.
고객 경험(CX) 분야의 대화형 AI 에이전트는 일반적으로 폐쇄 세계 제약(closed-world constraint)에 시달리며, 바이럴 트렌드나 서비스 장애와 같이 빠르게 변하는 외부 변화를 무시한다. 임시방편적인 웹 검색은 이러한 격차를 메우려 하지만, 종종 허용하기 어려운 지연과 컨텍스트 오염(context poisoning)을 야기한다. 우리는 지식 획득과 소비를 분리하는 프레임워크인 PulseCX를 제안한다. 구조 우선(structure-first) 패러다임을 채택한 PulseCX는 비동기 에이전트를 사용해 신호를 강화-감쇠(reinforcement-decay) 역학으로 제어되는 감쇠 인식 시간적 지식 그래프(Decay-Aware Temporal Knowledge Graph, DA-TKG)로 선형화하여 정보 생명주기를 능동적으로 관리한다. 이 자기 진화형 메모리를 계층적 의도 게이팅(hierarchical intent gating)과 결합함으로써 PulseCX는 동기식 검색 병목을 제거하고(<10ms 오버헤드) 동적 환경에서 의도 해결(Intent Resolution, IRR)과 고객 만족도(s-CSAT)에서 상당한 향상을 이끈다.
대규모 언어 모델(LLM)은 임상시험 매칭(CTM) 자동화에 유망한 접근을 제공하지만, 복잡한 적격 기준에 필요한 결정론적 검증에서는 여전히 어려움을 겪는다. 반면, 순수 기호적(symbolic) 방법은 형식적 엄밀성을 제공하지만, 불완전한 환자 기록과 노이즈가 있는 임상 증거에 직면하면 한계를 드러낸다. 이 격차를 메우기 위해, LLM과 논리적 검증을 결합한 CTM용 하이브리드 프레임워크를 조사한다. 특히, 노이즈가 있고 명세가 부족한 임상 텍스트에 대한 추론을 지원하기 위해 LLM의 언어적·세계 지식을 활용하는 가설 추론(abduction) 기반 뉴로심볼릭 CTM 프레임워크(αNeSy-CTM)를 제안한다. 광범위한 평가에서 αNeSy-CTM은 독립형 LLM 베이스라인을 크게 능가하며, 제로샷(zero-shot) 베이스라인 대비 최대 30%의 상대적 개선을 달성함을 보여준다. 또한 분석을 통해 CTM에서 가설 추론의 영향을 확인했으며, αNeSy-CTM은 비가설 추론(non-abductive) 뉴로심볼릭 설정 대비 정확도, 특이도(specificity), 견고성(robustness)이 향상되었다. 또한 αNeSy-CTM과 사고의 연쇄(Chain-of-Thought, CoT) 추론은 매우 상호 보완적임을 보여주며, 하이브리드 라우팅 정책의 잠재력을 시사한다. 궁극적으로 본 논문은 CTM 자동화를 위한 뉴로심볼릭 방법의 영향을 입증하며, 감사 가능하고 LLM 기반인 차세대 임상 응용으로 나아갈 경로를 제시한다.
대부분의 기업은 감성 분석(sentiment analysis)을 사용하여 대규모의 고객 지원 데이터를 분석하는데, 이는 고객이 결과에 만족했는지보다는 고객의 어조가 어떠한지를 측정합니다. 저자들은 선도적인 온라인 펀딩 플랫폼의 70,450건의 지원 대화를 통해 더 풍부한 대안을 테스트했습니다. 어조(tone)와 더불어 GPT-5.4를 사용하여 각 고객의 만족도를 추정하고 구체적인 문제를 보고했는지 식별(flag)한 뒤, 고객이 평가한 대화에 남긴 1~5점 평점과 이 세 가지 분석 결과를 검증했습니다. 만족도 추정치는 감성 분석보다 평점과 훨씬 더 높은 일치도를 보였으며, 상관계수는 0.36 대비 0.47이었고 불만 고객을 식별함에 있어 오탐(false alarm)을 훨씬 줄였습니다. 이 구조화된 분석은 감성 분석이 볼 수 없는 것들을 포착합니다. 어조와 만족도는 44%의 대화에서 불일치하며, 단일한 '중립(Neutral)' 레이블 뒤에는 조용히 만족한 고객부터 조용히 포기한 고객까지 다양한 사례가 숨겨져 있습니다. 또한 가장 큰 집단은 '견딘 마찰(tolerated friction)'로, 만족하지만 여전히 수정 가능한 문제를 보고하는 고객들입니다. 이는 감성 기반 대시보드에서는 절대 드러날 수 없는 지속적인 문제입니다. 더 광범위한 시사점은 LLM 기반 어노테이션(annotation)이 고객 언어의 어조(tonality)보다 훨씬 더 많은 정보를 포착할 수 있다는 점입니다. 이는 상호작용 및 피드백의 원시 텍스트 데이터에서 직접 추출된 문제의 원인과 고객의 상태(만족 여부)에 기반한 새로운 비즈니스 지표에 대한 강력한 잠재력을 제공합니다.
구조적 모호성(structural ambiguity)은 하나의 문장이 통사 구조로 인해 여러 가지 유효한 해석을 가질 때 발생하며, 언어 이해에 있어 근본적인 도전 과제입니다. 비전 장면(visual scenes)은 이러한 모호성을 해결하는 데 유용한 단서가 되며, 비전-언어 모델(VLMs)은 비전 장면으로부터 가능한 의미론적 해석을 도출할 수 있어야 합니다. 본 논문에서는 비전 장면을 활용하여 구조적 모호성을 해결하는 VLM의 능력을 평가하도록 설계된 벤치마크인 언어 및 비전 구조적 모호성(LaViSA)을 소개합니다. LaViSA는 7가지 모호성 범주에 걸쳐 모호한 문장, 모호성이 제거된 문장, 그리고 해당 문장에 대응하는 이미지로 구성됩니다. LaViSA를 사용하여, 다양한 매개변수 규모와 추론 능력을 가진 독점 모델 및 오픈 소스 모델을 포함한 다양한 VLM에 대해 포괄적인 평가를 수행했습니다. 실험 결과, 최근 VLM이 비전 장면을 활용하여 구조적 모호성을 어느 정도 해결할 수는 있지만, 특정 모호성 유형과 시각적으로 미세한 의미론적 차이에서 여전히 어려움을 겪는 것으로 나타났습니다. 이는 비전 장면을 활용한 구조적 모호성 해결에 여전히 한계가 존재함을 시사합니다.
미국 지방 조례(local ordinances)는 기존 기계 판독 말뭉치에서 거의 빠져 있고 벤더 플랫폼에 파편화되어 있어, LOCUS(미국 지방 조례 말뭉치)로 9,239개 시·카운티 법규를 OCR로 수집·정리하고 인구 다수를 아우르는 2,309개 카운티 조화형 접근 층을 제공한다. ModernBERT 기반 분류기·점수 모델로 불투명성(opacity)과 가부장적 통제(paternalism) 등 차원에서 지방 법률을 대규모 분석할 수 있게 하며, LOCUS-v1을 연구자에게 공개한다.
다국어 모델과 추론 모델을 고정 비율로 병합하면 소스 모델 간 충돌로 입력·언어별 최적 균형을 맞추기 어렵다. ST-Merge는 게이트형 크로스 어텐션(gated cross-attention)으로 두 소스 모델의 기여도를 입력에 따라 조절하며, 21개 언어에 걸친 네 가지 다국어 추론 벤치마크에서 여러 강력한 베이스라인을 일관되게 능가한다.
관용구의 비구성성으로 언어 간 의미 전환이 어렵다는 문제를 다루기 위해 Wiktionary 영어 gloss를 의미 피벗으로 삼은 G-IdiomAlign 벤치마크를 제시하고, 객관식 동등성 평가와 gloss 대조 생성 두 프로토콜로 재현 가능한 진단 평가를 제공한다. 다양한 LLM에서 직역 편향이 지배적 실패 모드로 나타나며 저자원 언어에서 특히 두드러지고, gloss는 임베딩 기반 의미 프록시 하에서 생성 성능을 일관되게 높이지만 전반적 수준은 여전히 낮아 개선 여지가 크다.
비유적 언어 데이터셋 Fig-QA에 부정·은유/직유 등 새 어노테이션을 추가하고 다양한 대규모 언어 모델(LLM)을 평가한 결과, 부정과 비유적 표현이 결합될 때 해석이 특히 어려운 과제가 되며 전체 성능과 부정 유형별 성능 모두 사용한 프롬프트(prompt) 스타일에 크게 의존함을 확인했습니다.
텍스트 기반 원격의료의 환자 피드백은 의료 정확성보다 인지된 소통 품질을 반영하므로, 언어 모델(LM) 기반 반사실적(counterfactual) 추천 파이프라인으로 어조·개인화·실행 가능성·완결성 등 해석 가능한 소통 특징을 발견·개선하고 의료 내용은 건드리지 않은 채 긍정 피드백 확률을 높이는 최소 수정을 제안한다. 독립 감사자 모델 평가에서 예측 긍정 피드백 확률이 평균 6.41%p 증가했고 93.31% 추천에서 손실이 없었다.
스마트 홈에서 대화가 길어질수록 나타나는 점진적 생략 명령어는 참조·의도 모호성 때문에 기존 LLM 기반 홈 어시스턴트가 정확히 해석하기 어렵다. 이를 평가하기 위해 PEC-Home 시뮬레이션 데이터셋을 제안했으며, GPT-4o를 포함한 여러 LLM 실험에서 생략 명령만으로는 완전한 명령 대비 실행 정확도가 낮고 대화 기록 검색 도구를 써도 한계가 남는다는 결과를 보였다.
LLM이 함축적 의미를 읽는 화용론적 추론(pragmatic reasoning)에 취약한 문제를, PragReST가 사람 라벨이나 강한 교사 모델의 지식 증류 없이 화용론적 QA와 반사실적 추론 흔적을 자기생성하고 지도 미세조정·강화학습(GRPO)으로 내면화하는 자기지도 프레임워크로 다룬다. PragMega, Ludwig, MetoQA, AltPrag 네 벤치마크에서 Qwen3-8B·14B 인스트럭트 백본 대비 정확도가 각각 절대 5.37%, 5.50% 향상되었고, 관찰 발화와 대안 발화를 대조하는 반사실적 추론이 성능 개선의 핵심으로 확인되었다.
서사학(narratology)의 구분을 틀로 자연어 처리(NLP)에서 대규모 언어 모델(LLM)을 활용한 자동 이야기 생성·이해 연구를 분류·검토하며, 서사 출처의 다양성, 이론적 종합·검증 가능성, 생성 작업이 이해 작업보다 뒤처진 점을 정리한다. 향후에는 단일 서사 품질 벤치마크보다 이론 기반 속성별 메트릭 정립, 대규모 문학·사회·문화 분석, 맥락 기반 생성, 출력을 통한 서사 이론 검증·정교화에 초점을 둘 것을 제안한다.
생성형 AI 에이전트가 인간 사용자와 효과적으로 협력하려면 인간의 의도를 정확하게 예측하는 능력이 필수적입니다. 하지만 이러한 협력 능력은 공통 기반(common ground)을 모델링하지 못한다는 치명적인 결함으로 인해 제한적입니다. 본 연구에서는 명확한 어휘화된 라벨이 없는 객체의 사진을 일치시키기 위해 반복된 라운드에 걸쳐 여러 차례 상호작용하는 지시자-일치자 쌍(인간-인간, 인간-AI, AI-인간, AI-AI)을 포함하는 요인 설계(factorial design)의 지시적 의사소통 실험을 제시합니다. 우리는 대규모 비전-언어 모델(LVLM)이 인간 언어 사용의 기반이 되는 원활한 의사소통을 가능하게 하는 방식으로, 지시 표현을 상호작용적으로 생성하고 해결할 수 없음을 보여줍니다. 또한 정확도, 효율성, 어휘 중첩을 분석하는 도구와 데이터 수집을 위한 온라인 파이프라인, 그리고 356개의 대화(89쌍이 각각 4라운드 수행)로 구성된 말뭉치를 공개합니다.
대규모 언어 모델(LLM)의 은유 탐지·해석 성과가 실제 은유 처리를 얼마나 반영하는지, 의미 속성 정렬·어휘적 불변성·통사적 민감성 세 축의 진단적 프로빙으로 조사합니다. 기하학적 프로빙, 문맥 변화 치환, 통사적 섭동 실험 결과, 생성 해석의 의미적 변이, 문맥 무관 어휘 앵커의 지속, 통사 비정상성에 대한 탐지 민감성이 드러나 행동적 성과가 이질적 기저 신호를 반영할 수 있음을 보여 은유 벤치마크 해석에 주의가 필요함을 시사합니다.
감정을 넘어선 사회심리학적 의미 마커 분류에 통합 그래디언트(IG)를 적용해 단어별 기여도를 설명 가능하게 분석하고, 검증된 RoBERTa 기반 BERTAgent의 에이전시 예측에서 IG 파라미터를 최적화한 뒤 대안 기법과 비교해 성능과 계산 복잡도 측면에서 IG를 채택한다. 소규모 레이블 데이터셋에서는 과적합을 유도하는 학습으로 클래스별 핵심 단어를 추출해 사전 구축에 활용할 수 있음을 보였으며, 집단행동 의도 텍스트 하이라이트 등 사회심리학적 적용 시나리오에서 결과의 유용성을 검증한다.
대규모 언어 모델(LLM)은 표준화된 논리적 추론 벤치마크에서 점차 더 좋은 성능을 보이지만, 영어 이외의 언어에서도 이 능력이 강건하게 유지되는지는 불분명합니다. 우리는 동일한 잠재적 논리 구조가 영어와 다양한 중국어 표면 실현(surface realizations)으로 표현될 때 모델이 논리적 추론 성능을 유지하는지 테스트하는 영어-중국어 정렬 벤치마크인 ChLogic을 소개합니다. 형식적 논리 템플릿으로 구축된 이 벤치마크는 세 가지 데이터셋을 포함합니다: (i) 9개의 템플릿 패밀리에 걸친 60개의 일반 명제(General Propositions)에서 파생된 General aligned set, (ii) 40개의 난제(Difficult Problems)에서 파생된 Difficult aligned set, (iii) 15개의 언어 특정 현상 유형을 다루는 Chinese-only set. 각 정렬된 항목은 하나의 영어 참조 표현과 다섯 개의 중국어 실현을 쌍으로 구성합니다. Qwen3, Ministral, GLM 모델에 대한 실험 결과, 지속적인 영어-중국어 성능 격차가 드러났습니다. 표준 중국어에서 영어로의 역번역(back-translation)은 General aligned set에서 성능을 향상시키는 경우가 많지만, Difficult aligned set에서는 혼재된 결과를 보이며, 여기서 Qwen3-32B와 GLM-5.1은 번역 후 성능이 저하되었습니다. 이러한 결과는 중국어 표면 실현, 번역 아티팩트(artifacts), 그리고 모델 특정 행동이 다국어 논리적 추론에 공동으로 영향을 미침을 시사합니다. 전반적으로, ChLogic은 다국어 추론의 강건성에 대한 유용한 스트레스 테스트를 제공합니다.