arXiv:2302.08590

What A Situated Language-Using Agent Must be Able to Do: A Top-Down Analysis

David Schlangen

제출 2023-02-16

원문 초록

Even in our increasingly text-intensive times, the primary site of language use is situated, co-present interaction. It is primary ontogenetically and phylogenetically, and it is arguably also still primary in negotiating everyday social situations. Situated interaction is also the final frontier of Natural Language Processing, where, compared to the area of text processing, very little progress has been made in the past decade, and where a myriad of practical applications is waiting to be unlocked. While the usual approach in the field is to reach, bottom-up, for the ever next "adjacent possible", in this paper I attempt a top-down analysis of what the demands are that unrestricted situated interaction makes on the participating agent, and suggest ways in which this analysis can structure computational models and research on them. Specifically, I discuss representational demands (the building up and application of world model, language model, situation model, discourse model, and agent model) and what I call anchoring processes (incremental processing, incremental learning, conversational grounding, multimodal grounding) that bind the agent to the here, now, and us.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14571v1cs.LG공통 태그 Language Modeling, Incremental Learning

Gate-Zero Growth: 함수 보존 지속 학습을 위한 기하학적 프레임워크

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

우리는 영(zero) 초기화된 게이트를 통해 새로운 잔차 블록을 추가하는, 지속 학습(continual learning)을 위한 함수 보존(function-preserving, FP) 연산자인 \emph{gate-zero growth}를 제안한다. 횡단(transversality) 조건 하에서 gate-zero growth는 함수적 야코비안(functional Jacobian)에서 \emph{rank separation}을 유도한다. 기존 방향은 변하지 않고, 새 가중치 방향은 성장 지점에서 정확히 평평(flat)하며, 새 게이트 방향만이 새로운 함수적 변화의 1차 소스이다. 지속 학습 중 게이트가 열리면 함수 drift는 $O(\|\boldsymbolα\|^2)$이고 야코비안 누출(leakage)은 $O(\|\boldsymbolα\|_\infty)$이 되어 FP locus로부터의 통제된 이탈을 제공한다. WikiText-103에서 BookCorpus로 적응된 $300\mathrm{M}\to857\mathrm{M}$ 트랜스포머에서 gate-zero growth는 정확 보존(Isolation)과 공동 프론티어(Freeze-Nothing) 운영점 모두에서 거의 0에 가까운 구 도메인 망각($Δ_A < 0.1$)에 도달하는 반면, 비-FP 대조군($G_{\text{stack}}$)은 동일한 설정에서 한 자릿수(order-of-magnitude) 더 큰 망각을 겪는다. 동일한 기하학적 분석은 LoRA, ReZero, 영 초기화 어댑터 구성까지 포괄하며, gate-zero growth를 CL에서 안전한 용량(capacity) 활성화를 지배하는 공유 국소 기하학의 표준(canonical) 사례로 확립한다.

arXiv:2607.12204v1cs.LG공통 태그 Language Modeling, Incremental Learning

Forgetful Attention: 인증된 선택과 정확한 언러닝을 갖춘 학습 가능한 서포트 벡터 메모리

Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning

어텐션은 컨텍스트에 대한 온라인 학습기로 볼 수 있지만, 기존 테스트 시점 메모리는 토큰을 제거해도 출력이 변하지 않음을 보증하거나 그 영향을 완전히 삭제할 수 없다. 우리는 고정된 박스 매개변수 C를 갖는 one-class SVM의 서포트 계수를 가중치로 사용하는 마진 메모리인 서포트 벡터 어텐션(SV-Attention)을 제안한다. 액티브 세트(active-set) 분할은 예비 토큰에 정확히 0 가중치를 부여하여 출력 보존 축출(eviction)을 인증하며, 가역적 증분 솔버는 동일한 C 하에서 해당 토큰 없이 재학습했을 때 생성되는 상태를 복원하기 위해 토큰을 삭제한다. fp64 실험에서 감소(decrement)와 재적합(refit)은 최적해가 유일할 때마다 동일한 분할을 복원하며, 결정 함수는 중앙 편차 약 10^-9(학습된 키에서는 10^-13)로 일치한다; 10^-2 최악의 경우는 ill-conditioned 중복에 국한되며 모든 영역에서 계수 감쇠 이하로 유지된다. 정확한 경로는 사용자 정의 역전파에서 유지된 KKT 역행렬을 재사용한다. 학습은 별도의 안정화된 배치 근사를 사용하며 정확한 삭제 인증서를 제공하지 않는다; 3.22M 매개변수 모델에서 초당 9,125 토큰에 도달하며 MPS 소프트맥스 기준 대비 35.8배 느리다. 동일한 예산에서 인증된 선택은 희귀 항목 재현율 0.86 대 0.32에 도달하며, 실제 MIMIC-IV 스트림에서 성능 저하 시간(deterioration hours) 0.80 대 0.05를 유지한다. 또한 실제 문장 임베딩에 대해 수술적 망각(surgical forgetting), 정확한 편집(exact editing), 환자 기록 삭제, 망각 가능한(forgettable) 검색 메모리를 시연한다. enwik8에서 하이브리드는 7개 시드에 걸친 동일 상태 슬라이딩 윈도우 트랜스포머의 2.383 대 2.178 BPC를 달성한다(8.6% 쌍체(paired) 개선, p=0.001); 3시드 TinyStories 결과는 방향적으로 긍정적이나 유의하지 않다(p=0.057).

arXiv:2607.11515v1cs.CL공통 태그 Language Modeling, Language Modelling

종카어 다음 단어 예측 시스템

Dzongkha Next Word Prediction System

종카어(Dzongkha)는 부탄의 국가 언어로서 국내에서 광범위하게 사용되는 언어이다. 공식 문서, 경전, 기타 문학 작품은 문화적 가치를 보존하기 위해 종카어로 작성된다. 그러나 종카어 문서화는 스크립트의 복잡성, 음절당 다수의 키 입력 필요성, 효율적인 입력 도구의 부족으로 인해 어렵고 시간이 많이 소요되는 과정이다. 종카어에 대해 가능한 단어 목록을 예측하고 표시하는 즉각적인 시스템이 이 문제의 해결책이다. 본 프로젝트는 키 입력 횟수를 줄여 종카어 타이핑을 최대한 편리하게 만드는 것을 주요 목표로 한다. 데이터셋은 DCDD에서 수집하였으며 총 100,000개의 문장, 1,331,282개의 단어, 28,344개의 고유 단어로 구성된다. 데이터 전처리는 모든 영숫자 문자 제거, 토큰화, N-gram 시퀀스 생성 및 패딩을 통해 수행되었다. 학습에 선택된 세 가지 모델은 LSTM, Bi-LSTM, GRU이다. 학습 과정에는 모델의 하이퍼파라미터 미세조정이 포함되었다. GRU는 경량이면서 대규모 데이터셋을 처리할 수 있어 74.03%의 정확도로 가장 우수한 성능을 보였으며 과적합 문제도 해결하였다.

arXiv:2607.11703v1cs.CL공통 태그 Language Modeling, Language Modelling

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.