서면 언어에서 animate 개념과 inanimate 개념을 구별하는 것은 얕은 텍스트 처리 이상을 요구한다. 동사-인수 상호작용(verb-argument interactions)과 같은 복잡한 선택 제약(selectional constraints)과 문맥 단서를 인식해야 하기 때문이다. 그럼에도 현재의 대규모 언어 모델(LLM)은 이를 수행할 수 있는 것으로 보인다. 우리는 LLM의 이러한 생물성 민감적 동작이 인과적으로 관련된 국소화된 구성 요소와 연결의 집합으로 추적될 수 있는지 조사한다. 이를 위해 최소 대(minimal pairs)로 구성된 통제된 데이터셋을 구축하고, 네 개의 오픈 가중치(open-weight) 모델에 대해 회로 발견(circuit discovery)을 수행한다. 심층 실험과 ablation을 통해, 이들 모델에서 생물성을 처리하는 인과적 메커니즘이 실제로 존재함을 보이며, 이를 통해 생물성 회로(animacy circuit)를 발견한다. 동시에 이 회로는 다른 알려진 회로들에 비해 덜 국소화된 것으로 나타나며, 모델과 생물성 과제 간에 부분적으로만 일반화되어, 생물성 개념의 분산적·문맥 의존적·다소 등급적(graded) 특성을 확인한다.
불만(grievance)은 폭력 위협을 평가할 때 분석가들이 주목하는 경고 징후 중 하나이다. 이는 점점 더 온라인 텍스트에서 대규모로 측정되며, 대개 가중 용어 매칭으로 점수를 매기는 Grievance Dictionary와 같은 단어 수준 어휘집(lexicon)을 통해 이루어진다. 이러한 매칭은 빠르고 투명한 대리 지표이지만, 용어가 단정적으로 서술되었는지, 인용되었는지, 부정되었는지, 또는 비난되었는지는 판별할 수 없다. 이러한 어휘집은 또한 자신이 검색한 바로 그 예시로 풍부해진 풀(pool)에서 평가되는 경우가 많아, 높은 점수는 부분적으로 어휘집 자체의 선택 규칙과의 일치를 반영한다. 5개 언어, 2,000개 항목으로 구성된 평가 풀을 조사한 결과, 그 절반이 어휘집 자체에 의해 거의 완벽하게 분리되어 있음을 발견했다. ``random''으로 라벨링된 모든 항목은 실제로 lexicon-negative이므로, 어휘집의 겉보기 macro-AUROC 0.686은 구조적으로 고정된 0.500 하한으로 붕괴한다. 우리는 사전의 22-구성(construct) 온톨로지는 유지하되, 용어 매칭을 맥락 읽기(context-reading) 모델로 대체하고, 5개 언어에 걸쳐 unconditional-random, lexicon-positive, lexicon-negative 층(strata)을 분리하는 비순환(non-circular) 벤치마크에서 평가한다. 대상 문장만이 아니라 전체 게시물을 읽는 방식은 어휘집이 침묵하는 경우에 가장 큰 도움이 되며, lexicon-negative 텍스트에서 평균 정밀도(average precision)를 0.14에서 0.20으로 높였고, 인용된, 암시적인, 문장 간 불만 표현에서 가장 큰 이득을 보였다. 종합하면, 이러한 결과는 불만이 주변 맥락을 읽음으로써 더 충실하게 측정되며, 어휘집이 선택하지 않은 텍스트에서 검증할 때 더 정직하게 평가됨을 보여준다. 우리는 코드와 벤치마크를 https://github.com/behavioral-ds/multilingual_grievance 에 공개한다.
현재 인공지능(AI) 윤리 구현은 감정, 또는 정서(affect)를 충분히 고려하지 않는다. AI가 인간 윤리와 정렬(alignment)되어야 한다면, 감정이 사람이 취하는 행동, 판단 또는 진술에 역할을 하는 덕목 있는 인간의 윤리적 행위를 반영하는 AI 행동의 가능성을 철저히 조사하는 것이 타당해 보인다. 또한 규범적 윤리의 주요 이론들이 종종 그 차이와 한계 측면에서 논의되지만, 덕 윤리, 결과주의, 칸트적 의무론 윤리는 모두 어느 정도 인간의 감정을 고려한다는 공통점을 공유하는 반면, 인기 있는 기술적 윤리 이론인 도덕 기초 이론(Moral Foundations Theory)은 많은 기초에서 감정을 핵심으로 둔다. 따라서 본 논문에서는 Commonsense Norm Bank 데이터셋의 텍스트로 제시된 시나리오에 대해 -1에서 1까지의 범위로 행동/판단 및 결과의 도덕적 정서가 모두에 대한 6명의 참가자가 수행한 500건의 주석으로 구성된 도덕 정서가 데이터셋을 제안한다. 결과적으로 얻어진 정서가 특징은 다중 분류(비도덕/재량/도덕) 및 이진 비도덕/도덕 범주와 유의미한 관계를 공유하며, 더불어 이진 분류를 위한 규제화된 로지스틱 회귀를 사용할 때 주목할 만한 테스트 세트 매튜스 상관계수(Matthew's correlation coefficient) 0.764를 제공한다. 이는 텍스트의 도덕성 추정을 위한 정서가 특징의 유용성에 대한 초기 증거를 제공하며, 타인에 대한 반응이 초래하는 정서가를 지닌 결과를 보다 인간적이고 도덕적으로 정렬된 AI를 향해 고려할 수 있음을 시사한다. 정서-도덕(affective-moral) 컴퓨팅 연구를 더욱 촉진하기 위해, 본 연구의 주석은 요청 시 연구 목적으로 제공될 예정이다.
의미장 이론(Semantic Field Theory, SFT)은 언어 게임에 대한 강한 반형식주의적 해석에 대한 철학적 비판에서 출발하여, 어휘 의미론, 고차 합성, 안정화된 해석을 위한 제안된 계산 모델 클래스로 발전해 왔다. 본 논문은 그 발전 과정을 재구성하고, 계산언어학과 표현 학습에서 독립적으로 평가할 수 있도록 SFT에 더 명확한 수학적 핵을 부여한다. 핵심 제안은, 다루기 쉬운 수준의 언어 조직화가 의미장으로 표현된 어휘 표현, 해당 장들의 문맥적 변형, 토큰 부분집합에 정의된 상호작용 항, 의미 에너지 역학에 의해 지배되는 안정화를 통해 모델링될 수 있다는 것이다. 본 논문은 다섯 가지 형식적 요소를 기여한다. 첫째, 의미장 모델을 의미 공간, 어휘장 리프팅, 문맥 변형 맵, 상호작용 복합체, 해석 범함수로 구성된 튜플로 정의한다. 둘째, 곱셈적 장 상호작용이 명시적 중심, 정밀도, 호환성 인자를 갖는다는 것을 보이는 가우시안 곱 폐쇄 결과를 증명한다. 셋째, 부분집합 격자에 대한 Möbius 역변환을 사용하여 임의 차수의 기약적 의미 상호작용을 분리함으로써 세 단어 문제를 일반화한다. 넷째, 각 상호작용 차수에서 장 질량의 얼마나 많은 부분이 설명되는지를 측정하는 차수 스펙트럼을 도입한다. 다섯째, 안정화된 해석을 문장과 연관된 에너지 범함수의 최소화로 공식화하고, 존재, 하강, 안정성 조건을 제시한다. 소규모 계산 예제는 세 단어 summer day 삼중(triple)이 가우시안 의미장으로 어떻게 표현되고, Python으로 구현되며, 흐름도로 요약될 수 있는지 보여준다. 그 결과는 자연어 의미에 대한 완성된 이론이 아니며, 언어에 대한 사회적, 화용적, 규범적 설명을 대체하지 않는다.
자연어 인터페이스는 최적화 모델링의 접근성과 사용성을 크게 향상시킬 수 있으며, 대규모 언어 모델(LLM)의 최근 발전은 텍스트 문제 설명을 실행 가능한 솔버 공식화로 자동 변환하는 데 가능성을 보여준다. 그러나 기존 접근법의 핵심 과제는 추론된 공식화가 오류 없이 실행될 수 있더라도 의도된 작업을 올바르게 구현하는지 확인하는 것이다. 우리는 견고한 자연어-최적화 형식화를 위한 솔버 LLM 프레임워크인 VeriSimpl을 제안한다. 우리 접근법은 단순화 기반 검증(simplification-based verification)이라는 아이디어에 기반하며, 여기서 최적화 솔버를 활용해 후보 공식화에 대한 단순화된 진단 쿼리를 생성하고, 이를 통해 LLM이 작업 설명에 대한 공식화의 정확성을 다루기 쉽게 추론할 수 있게 한다. 문제 제약과 의사결정 변수와 관련된 다양한 차원에서 이러한 단순화 전략을 제시하며, 이는 LLM이 고정된 전역 문맥 하에서 국소적으로 추론할 수 있게 한다. 다양한 최적화 벤치마크에 대한 평가는 우리 접근법이 기존 방법 대비 정확도에서 일관된 개선을 제공함을 보여주며, 동시에 새로운 고정밀도 자가 검증 신호를 제공함을 보여준다.
검색-증강 생성(RAG)은 대규모 검색 시스템과 생성 모델을 결합하여 자연어 이해와 생성을 향상시킬 수 있는 잠재력으로 최근 몇 년간 큰 주목을 받아왔다. RAG는 문서, 데이터베이스, 구조화된 데이터와 같은 외부 지식 소스를 활용하여 모델 성능을 개선하고 더 정확하고 문맥적으로 관련성 높은 출력을 생성한다. 본 서베이는 검색 메커니즘, 생성 과정, 그리고 이 둘의 통합을 포함한 RAG의 기본 구성 요소를 검토함으로써 RAG에 대한 포괄적인 개요를 제공하는 것을 목표로 한다. 우리는 동적 외부 지식으로 생성 모델을 증강하는 RAG의 능력과, 검색된 정보를 생성 목표와 정렬(alignment)하는 것과 관련된 과제 등 RAG의 핵심 특성을 논의한다. 또한 기본적인 검색-증강 접근법부터 멀티모달 데이터와 추론 능력을 통합한 더 발전된 모델에 이르기까지 RAG 방법을 분류하는 분류 체계를 제시한다. 또한 RAG 시스템을 평가하는 데 일반적으로 사용되는 평가 벤치마크와 데이터셋을 검토하고, 질의응답, 요약, 정보 검색과 같은 분야에서의 응용을 상세히 살펴본다. 마지막으로 향상된 검색 효율성, 모델 해석 가능성, 도메인 특화 적응과 같이 RAG 시스템을 개선할 수 있는 새로운 연구 방향과 기회를 강조한다. 본 논문은 RAG가 실세계 과제를 해결하는 전망과 자연어 처리(NLP)의 추가 발전을 이끌 수 있는 잠재력을 개관하며 마무리한다.
신경 언어 모델(NLM)이 문법성에 따라 문자열을 구별할 수 있는지 여부는 계산언어학 문헌에서 여전히 논쟁적인 주제이다. 기존 증거는 대부분 확률 기반 측정에 의존해 왔으며, 모델이 문법적인 문자열보다 비문법적인 문자열에 더 높은 확률을 부여하는지를 검증했다. 그러나 확률 비교는 문법성이 본질적으로 가능도와 얽혀 있다는 가정에 근거해 문법 지식의 측정 방법으로 비판받아 왔다. 모델이 부여하는 확률은 어휘 빈도, 타당성, 세계 지식 등 여러 관련 문장 속성의 함수이다. 본 연구에서는 확률 기반 평가를 넘어 문법성이 NLM의 내부 표현에 인코딩되는지 조사한다. mass-mean probing을 사용해 문법적 문장과 비문법적 문장이 표현 공간에서 체계적으로 분리되는지 검증한다. 또한 이러한 표현이 문법성과 상관관계가 있는 문장 속성으로부터 얼마나 독립적인지, 그리고 다양한 문법 현상과 언어에 걸쳰 일반화되는 정도를 추가로 조사한다. 결과는 문법성이 다양한 사전학습 NLM의 문장 표현에 견고하게 인코딩되어 있으며, 대안적인 문장 수준 요인만으로는 완전히 설명할 수 없는 문법성 차원에서의 명확한 표현적 분리를 산출한다는 증거를 제공한다. 게다가 이 인코딩은 광범위한 문법 현상에 걸쳐 일반화되며, 어느 정도는 언어 간에도 일반화되어, 문법성이 현대 NLM에서 일관된 표현 차원을 구성함을 시사한다. 이러한 발견은 언어 모델에서 구문 지식의 본질에 관한 논쟁에 새로운 증거를 제공하며, 문자열 확률에만 의존하지 않는 문법 능력 평가를 위한 보완적 프레임워크를 제시한다.
인간 대화는 정보 교환 이상을 포함하며, 신념, 감정, 주관적 인지 스타일을 표현하기도 한다. 그러나 현재 AI 대화 시스템은 종종 의미적 균일성을 강제하여 다양성과 해석 가능성을 희생한다. 우리는 MAPS(Multi-Agent Perspective Spaces)를 제안한다. 이는 도메인 가중 프로필, 동적 GRU 기반 메모리, 해석 가능한 토큰 수준 어텐션을 통해 인지적으로 서로 다른 에이전트 간 대화를 모델링하는 새로운 프레임워크이다. MAPS는 에이전트가 개별화된 추론을 유지하면서 점진적으로 공유 의미에 수렴하도록 한다. EmpatheticDialogues, TopicalChat, MultiWOZ에 대한 평가에서 MAPS가 주관성을 붕괴시키지 않으면서 의미적 정렬(semantic alignment)을 지원함을 보여준다. 우리 결과는 표현력과 일관성을 균형 있게 하는 인지적으로 그라운딩(grounded)되고 해석 가능한 대화 시스템을 향한 경로를 제시한다.
우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.
사람과 대규모 언어 모델(LLM)이 동일한 텍스트를 처리할 때, LLM의 활성화는 기능적 자기공명 영상(fMRI) 등으로 측정된 뇌 활동과 상관을 보인다. 더 나아가 LLM의 학습이 진행될수록, 그 내부 활성화로부터 뇌 활동을 예측하는 성능은 우반구보다 좌반구에서 더 크게 향상된다는 것이 밝혀졌다. 본 연구는 LLM이 습득한 어떤 종류의 능력이 이러한 좌-우 비대칭의 출현을 뒷받침하는지 이해하는 것을 목표로 한다. 다양한 학습 체크포인트의 OLMo-2 7B 언어 모델과 영어 화자 참가자의 fMRI 데이터를 사용하여, 뇌 활동과 모델 예측 간 상관에서의 좌-우 비대칭 변화를 여러 벤치마크 성능과 함께 비교한다. 우리는 이 비대칭이 LLM의 형식적 언어 능력과 함께 출현함을 관찰한다. 이러한 능력은 두 가지 방식으로 입증된다. 하나는 최소 대조 쌍 내에서 문법적으로 허용 가능한 문장에 허용 불가능한 문장보다 더 높은 확률을 부여하는 모델의 능력이고, 다른 하나는 잘 형성된(well-formed) 텍스트를 생성하는 능력이다. 반면, 좌-우 비대칭은 산술(arithmetic) 또는 Dyck 언어 과제에서의 성능과도, 세계 지식 및 추론을 포함하는 텍스트 기반 과제와도 일치하지 않는다. 우리는 이러한 결과를 다른 LLM 계열(Pythia)과 프랑스어와 중국어의 두 다른 언어로 일반화한다. 우리의 관찰은 뇌 예측력(predictivity)에서의 좌-우 비대칭이 형식적 언어 능력의 진행과 일치함을 나타낸다.
자연어 상호작용은 비전문 사용자가 로봇 플랫폼과 소통하는 직관적인 방법을 제공한다. 그러나 사용자 요청을 실행 가능한 내비게이션 동작으로 변환하는 것은 여전히 어려운 과제이며, 언어 이해, 환경 인식, 자율 내비게이션의 통합을 필요로 한다. 본 연구는 자연어로 사용자 요청을 해석하여 로봇을 목적지로 이동시키고 자율적으로 해당 목적지까지 내비게이션할 수 있게 하는 언어 기반 내비게이션 프레임워크를 제시한다. 이 프레임워크는 자연어 지시를 내비게이션 동작으로 변환하기 위해 협력하는 모듈형 ROS 2 구성 요소로 이루어져 있다. 환경 내 목표를 지칭하는 자연어 요청(예: "go to the mail box")이 주어지면, 시스템은 참조된 객체를 식별하고 RGB-D 데이터를 사용하여 그 위치를 추정한 뒤 내비게이션 목표를 생성하며, 이는 ROS 2 Nav2 내비게이션 스택을 통해 실행된다. ROS 2 기반 구현은 해당 토픽과 서비스의 설정만으로 다양한 로봇 플랫폼에 이식성을 제공한다. 시스템은 TurtleBot3 Waffle과 RealSense 카메라를 탑재한 Unitree Go2 로봇을 사용하여 시뮬레이션과 실제 환경 시나리오 모두에서 평가된다. 실험 결과, 프레임워크가 직접 명령과 문맥적 요청을 모두 성공적으로 해석하고, 의미 있는 자연어 피드백을 생성하며, 원하는 목표로 내비게이션함을 보여준다. 이러한 결과는 의미 인식과 자율 내비게이션을 결합하여 직관적인 인간-로봇 상호작용 패러다임을 제공하는 것의 실현 가능성을 입증한다. 코드는 논문 채택 시 오픈 소스로 공개될 예정이다.
대규모 언어 모델(LLM)은 자연어 해석과 추론에 뛰어나지만, 형식적 정확성에 대한 보장이 없어 엄격한 정책 하에서 운영되는 금융 및 헬스케어와 같은 규제 산업에서의 채택을 제한한다. 이 한계를 해결하기 위해 우리는 Automated Reasoning checks(ARc)를 출시했다. ARc는 (1) 선택적 인간 지도 하에 LLM을 사용해 자연어 정책을 형식화하고 형식화 과정에 대한 세밀한 제어를 가능하게 하며, (2) 추론 시 자동 형식화(inference-time autoformalization)를 사용해 해당 정책에 대해 자연어 진술의 논리적 정확성을 검증하는 공개 서비스이다. ARc는 추론 시 여러 중복 형식화 단계를 수행하고, 형식화 결과의 의미적 동등성을 검사한다. 벤치마크 결과 ARc는 99% 이상의 건전성(soundness)을 달성하며, 논리적 타당성 식별에서 거의 0에 가까운 위양성(false positive) 비율을 보인다. 우리 접근법은 검증 결과를 뒷받침하는 감사 가능한 산출물을 생성하며, 원문을 개선하는 데 활용할 수 있다. ARc는 주요 클라우드 제공업체가 생성형 AI 가드레일에 자동화된 추론(automated reasoning)을 통합한 최초의 상용 서비스이다.
Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking
소매 대화형 에이전트를 평가하려면 의도 정렬(intent alignment), 사실성(factuality), 유용성(helpfulness), 명확성(clarity), 톤(tone), 전반적인 응답 품질을 판단하기 위해 어휘 중복(lexical-overlap) 지표를 넘어서는 방법이 필요합니다. LLM-as-a-judge 방법은 인간 평가에 대한 확장 가능한 대안을 제공하지만, 프로덕션 배포는 거버넌스, 재현성, 비용, 스키마 일관성, 추적 가능성, 신뢰성 측면에서 과제를 야기합니다. 우리는 소매 대화형 시스템의 대규모 평가를 위한 거버넌스가 적용된 설정 기반 파이프라인인 GenAI Evaluation을 제시합니다. 이 파이프라인은 프로덕션 챗봇 로그를 정규화, 샤딩, 비동기 실행, 스키마 제약 LLM 채점을 통해 처리합니다. 해당 프레임워크는 유용성, 진실성, 명확성, 톤 정렬, 번역 특화 차원을 평가합니다. 선택적 재평가는 불완전하거나 형식 오류가 있거나 스키마에 맞지 않는 레코드만 처리하며, 스키마 잠금, 버전 관리된 설정, 검증 로그, 레코드 수준 출처 정보가 감사 가능성(auditability)을 지원합니다. 해당 프레임워크는 하루 약 50,000건의 레코드를 처리하며, 200만 건 이상의 상호작용을 평가했습니다. 검증에는 4명의 훈련된 어노테이터가 라벨링한 12,980건의 층화 무작위 인간 라벨 레코드를 사용했습니다. 분류는 14개 의도(intent), 156개 하위 의도(sub-intent), 18개 주요 도메인, 129개 하위 도메인을 포함했습니다. 파이프라인은 거시 F1 점수 0.93과 번역에 대해 89%의 인간 수용 가능성(human-acceptability) 정확도를 달성했습니다.
체스 엔진은 오랫동안 인간을 초월하는 플레이 실력을 달성해 왔다. 그러나 엔진이 제안하는 수의 이면에 있는 전략은 숙련된 플레이어조차 이해하기 어렵다. 이러한 동기에서 본 논문은 체스 전략을 자연어로 기술하는 체스 전략 언어화(chess strategy verbalization) 태스크를 제안한다. 우리는 (i) 전략을 언어화하는 파이프라인과 (ii) 생성된 전략 설명을 객관적으로 평가하기 위한 평가 프레임워크를 설계한다. 실험 결과, 자연어는 인간 플레이어와 대규모 언어 모델(LLM) 플레이어 모두에게 전략적 정보를 전달하는 데 유망하고 해석 가능한 매체임을 보인다. 또한 (a) 메인 라인 이외의 전략을 평가하는 것의 중요성, (b) 순수 개념 기반 설명의 한계, (c) 평가에 있어 인간 대신 LLM에 의존하는 것의 한계 등 흥미로운 추가적 통찰을 도출한다.
풍성한 협력은 추론에 통합할 맥락적 단서를 포함한 협력적 의사소통에 의존한다. 협력적·에이전트 파이프라인에서 대규모 언어 모델(LLM)의 사용이 증가함에 따라, 특히 협력자와 동일한 정보에 접근하지 못할 수 있는 시나리오에서 LLM이 이러한 화용적 역량을 어느 정도 발휘하는지에 대한 의문이 제기된다. 본 논문에서는 부분 정보 조건하의 다자간 협력 과제에서 LLM의 화용적 추론 역량에 대한 새로운 연구를 수행한다. 우리는 객관적 과제 성공을 그라이스의 협력 원리(Grice's cooperative principle)와 명시적으로 연결하는 협력적 인식론적 비대칭(collaborative epistemic asymmetry) 개념을 형식화하고, 프롬프팅 및 사후 학습 전략을 포함하여 화자와 청자 모두로서 협력적으로 행동하는 다양한 LLM의 능력을 실증적으로 평가한다. 우리의 결과는 LLM이 협력적 환경에서 특정 화용적 역량을 발휘하며 이를 프롬프팅과 사후 학습을 통해 이끌어낼 수 있음을 보여주지만, 불완전한 정보 하의 화용적 의사소통에서는 여전히 어려움에 직면하며, 특정 실패 양상은 인식되지 못한 채 넘어가는 그라이스의 격률(Grice's maxims) 위반과 상관관계가 있음을 보여준다.
본 논문은 2026년 NLPCC 학회에서 개최될 제1회 ChineseBabyLM 챌린지를 소개한다. 이 챌린지는 연구자들이 1억 개의 중국어 토큰으로 언어 모델을 처음부터 학습시키도록 하며, 자연어 이해(NLU), 인지적 정렬(cognitive alignment), 한자 지식(Hanzi knowledge)의 3가지 트랙으로 모델을 평가한다. 토크나이저, 모델 아키텍처, 학습 에폭 수에는 제한이 없다. 챌린지에 대한 자세한 내용은 https://chinese-babylm.github.io/ 에서 확인할 수 있다.
온라인 극화(polarization)의 급속한 확산은 사회적 결속을 위협하며, 다양한 언어적 맥락에서 효과적으로 작동하는 강건한 자동화 탐지 시스템의 필요성을 높이고 있다. 본 논문은 영어와 하우사어(Hausa)에서의 극화된 담론 탐지 및 특성화에 초점을 맞춘 POLAR Shared Task 2026에 대한 시스템 설명을 제시한다. 우리는 하이브리드 모델링 전략을 제안한다: 영어 이진 탐지에는 DeBERTa의 단일 언어 강점을 활용하고, 하우사어 및 모든 세분화된 하위 과제(유형 및 발현 양상)에는 AfroXLMR-Social을 사용한다. 이 도메인 적응 다국어 모델은 소셜 미디어 텍스트에서 극화의 뉘앙스를 포착하는 데 핵심적인 역할을 했다. 계산 제약과 데이터 부족 문제를 추가로 해결하기 위해 저랭크 적응(LoRA)과 nlpaug를 통한 텍스트 데이터 증강을 구현했다. 우리는 세 가지 하위 과제 전반에 걸쳐 경쟁력 있는 결과를 보고하며, 특정 하위 과제 요구사항에 맞춰 조정된 모델 선택이 최적의 성능 균형을 달성함을 입증한다.
정보 국소성(information locality)은 구문적으로 관련된 단어들이 서로 가까이 나타나는 경향으로, 인간의 언어 처리와 언어 모델 학습 모두에 영향을 미친다. 언어 모델이 불가능한 언어(impossible language)를 습득할 수 있는지에 대한 선행 연구가 있었지만, 언어 모델이 그러한 입력으로부터 자연어를 복원할 수 있는지, 그리고 이것이 언어 모델의 귀납적 바이어스에 대해 무엇을 드러내는지는 아직 불분명하다. 우리는 학습 가능성 기반 접근법을 재구성 프레임워크로 보완함으로써 이 문제를 다룬다: 불가능한 언어로 사전학습된 GPT-2 모델을 미세조정하여 세 가지 유형의 교란(perturbation)으로부터 자연스러운 영어를 재구성한다. 우리의 결과에 따르면, 복원된 구조는 원본 텍스트보다 짧은 의존성 길이(dependency length)를 나타내며, 이는 제약 없는 언어 모델 생성에서 관찰되는 국소성 선호를 반영하고 학습 가능성 실험만으로는 드러나지 않는 아키텍처 바이어스의 정량적 특징을 제공한다. 복원 난이도는 국소성 교란의 정도에 따라 증가한다. 구조적 복원(의존성 Triple F1)은 표면적 복원(정확 일치)과 분리되며, 전역 셔플링(global shuffling) 하에서 유창성은 충실한 재구성과 분리된다. 문장 길이는 성능을 추가로 조절하는데, 긴 문장은 지역 구조가 보존될 때 복원을 촉진하지만 전역 셔플링 하에서는 완전한 붕괴를 초래한다. 마지막으로, 복원 난이도는 교란 유형 전반에 걸쳐 학습 가능성 난이도를 추적하며, 이는 정보 국소성이 두 현상 모두를 지배하는 공통 제약임을 시사한다.
문제, 연구 전략 및 발견: 대규모 언어 모델(LLM)의 부상은 도시 계획에 있어 핵심적인 질문을 제기한다. 즉, 어떤 형태의 전문적 계획 지식을 AI가 모방할 수 있으며, 어떤 지식이 여전히 인간의 판단을 필요로 하는가이다. AI 도구가 계획 실무에서 점점 더 많이 활용되고는 있지만, 계획 전문성의 핵심인 문맥 민감성, 가치 인식, 제도적 소양을 갖고 추론할 수 있는지를 시험하는 체계적인 프레임워크는 여전히 부재하다. 본 논문은 Bloom의 수정된 분류법을 채택한 4가지 지식 기둥과 5가지 인지 수준의 4x5 행렬을 통해 LLM 추론을 평가하는 도메인 특화 평가 프레임워크인 Urban Planning Bench(UPBench)를 소개한다. 자동화된 채점과 전문가 검토를 통해 25개 LLM을 평가한 결과, 비단조적 인지 곡선(non-monotonic cognitive curve)을 발견했다. 모델들은 사실적 회상(factual recall) 및 통합적 판단보다 고차원적 분석 작업에서 더 나은 성능을 보였다. 이는 종종 하위 수준으로 간주되는 계획 지식이 제도적, 관할권적, 시간적 맥락에 의해 깊이 형성되어 있어 LLM이 일반화하기 어렵다는 것을 시사한다. 우리는 이러한 한계를 규제적 환각(regulatory hallucination), 개념적 혼동(conceptual conflation), 난제 마비(wickedness paralysis), 실천적 지혜 결여(phronetic deficit)라는 네 가지 인식론적 진단으로 요약한다. 실무를 위한 시사점: 연구 결과는 계획 분야에서 차별적인 업무 위임을 뒷받침한다. LLM은 학제 간 통합, 문헌 조사, 시나리오 생성, 예비 정책 분석을 보조할 수 있다. 그러나 관할권 특화 규정, 규범적 갈등 해결, 문맥 민감적 절차에 대해서는 여전히 신뢰할 수 없다. 기관은 AI 보조 규제 분석에 대해 검증을 요구해야 하며, 계획 교육은 제도적 소양, 규범적 판단, 문맥 민감성을 강조해야 한다.
행위자 수준 입장 감지(actor-level stance detection)는 텍스트에서 언급되거나 함의된 특정 지정학적 행위자에 대해 저자가 표현한 입장을 판별하는 것을 목표로 한다. 트랜스포머 기반 모델은 입장 분류에서 비교적 우수한 성능을 달성했으나, 일반적으로 통합된 표현에 의존하기 때문에 대조적 담화 구조, 프레이밍 단서, 두드러진 어휘 지표 등 이질적인 언어 신호를 충분히 포착하지 못할 수 있다. 이는 다양한 입장 표현 패턴을 명시적으로 모델링하는 적응형 아키텍처의 필요성을 동기부여한다. 본 논문에서는 행위자 수준 입장 감지를 위해 파인튜닝된 BERT 인코더를 기반으로 하는 문맥 강화 전문가 혼합(MoE) 아키텍처인 StanceMoE를 제안한다. 제안 모델은 전역 의미 지향성, 두드러진 어휘 단서, 절(clause) 수준 초점, 구(phrase) 수준 패턴, 프레이밍 지표, 대조 기반 담화 전환 등 상보적인 언어 신호를 포착하도록 설계된 6개의 전문가 모듈을 통합한다. 문맥 인식 게이팅 메커니즘은 전문가 기여도를 동적으로 가중하여 입력 특성에 기반한 적응형 라우팅을 가능하게 한다. 실험은 텍스트 내에 목표 행위자가 암묵적으로 포함된 1,401개의 주석 처리된 영어 텍스트로 구성된 StanceNakba 2026 Subtask A 데이터셋을 대상으로 수행되었다. StanceMoE는 매크로-F1 점수 94.26%를 달성하여 전통적인 베이스라인 및 대안적인 BERT 기반 변형 모델들을 능가하였다.