arXiv:2610.13794v1 cs.CL

단순한 평가를 넘어서: 언어 모델의 담화 표지 민감도에 관한 사례 연구

Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models

William Sheffield, Jiahui Chen, Amy Zhang, Alex Warstadt, Junyi Jessy Li, Kanishka Misra

제출 2026-10-09

한국어 초록

담화 표지(discourse particle)는 대화 문맥과 화자의 태도를 반영하여 담화의 흐름을 미묘하게 형성하며, 진리 조건적 의미(truth-conditional meaning)는 그대로 두는 경우가 많습니다. 또한 담화 표지는 서로 다른 의미가 다른 표지와 부분적으로 겹치는 다기능성(polyfunctional)을 띠는 경우가 흔하며, 예를 들어 영어의 "just"와 "only"의 배타적 용법("John only/just drinks water")이 이에 해당합니다. 자연어에서 이러한 단어들의 빈번한 사용에도 불구하고, 그 효과의 미묘한 특성으로 인해 대체로 연구되지 않았습니다. 본 연구에서는 행동 분석 및 기제 분석(mechanistic analysis)을 통해 자연스러운 대화에서 "just"와 "only"에 대한 대규모 언어 모델(LLM)의 민감도를 조사합니다. 첫째, LLM과 인간 모두 문맥 내에서 이러한 표지가 존재하는 것을 비슷하게 선호하며, 둘 다 "only"에 비해 "just"에 더 민감하다는 점을 발견했습니다. 둘째, 이러한 표지가 있거나 없는 상태에서 LLM으로부터 샘플링할 때, LLM은 원본 문맥이 주어졌을 때의 생성 결과를 일관되게 더 높은 확률로 평가하여 표지 민감도를 입증했습니다. 두 실험 모두에서 지시 미세조정(instruction tuning)은 민감도를 증가시킵니다. 마지막으로, LLM 내에서 표지 민감 유닛(unit)을 국소화한 결과 "just"와 "only" 사이의 중첩이 비대칭적임을 확인했습니다. 즉, "only" 유닛은 배타적 "just"에 선택적으로 전이되는 반면, 모든 "just" 유닛은 의미에 관계없이 동일하게 "only"로 잘 전이되어 LLM의 어휘 수준 표지 표현이 부분적으로 의미별로 구조화되어 있음을 시사합니다. 저희는 코드, 의미 라벨이 부착된 대화 자극 자료, 인간 선호도 주석을 https://github.com/JiahuiKChen/Not_Just_an_Evaluation 에 공개합니다.

원문 초록

Discourse particles subtly shape the flow of discourse by reflecting conversational context and interlocutor attitudes, often leaving the truth-conditional meaning untouched. They are also often polyfunctional, with distinct senses which partially overlap with other particles; for example, the exclusive use of English "just" and "only" ("John only/just drinks water"). Despite the frequency of these words in natural language, they have gone largely unstudied due to the subtle nature of their effects. We investigate LLM sensitivity to "just" and "only" in natural conversations using behavioral and mechanistic analyses. First, we find that LLMs and humans similarly prefer the presence of these particles in context, and both are more sensitive to "just" compared to "only". Second, when sampling from LLMs with and without these particles, we find LLMs consistently rate generations as more likely, given their source context, demonstrating their particle sensitivity. In both experiments, instruction tuning increases sensitivity. Finally, we localize particle-sensitive units within LLMs and find the overlap between "just" and "only" is asymmetric: "only" units transfer selectively to exclusive "just", while all "just" units transfer to "only" equally well regardless of sense, suggesting LLM lexical-level particle representations are partially organized by sense. We release our code, sense-labeled dialogue stimuli, and human preference annotations at https://github.com/JiahuiKChen/Not_Just_an_Evaluation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13794v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20451v1cs.CL공통 태그 Natural Language Understanding, lexical semantics

의미장 이론: 역사적 기원, 고차 상호작용, 및 안정화된 의미 추론

Semantic Field Theory: Historical Origin, Higher-Order Interaction, and Stabilized Semantic Inference

의미장 이론(Semantic Field Theory, SFT)은 언어 게임에 대한 강한 반형식주의적 해석에 대한 철학적 비판에서 출발하여, 어휘 의미론, 고차 합성, 안정화된 해석을 위한 제안된 계산 모델 클래스로 발전해 왔다. 본 논문은 그 발전 과정을 재구성하고, 계산언어학과 표현 학습에서 독립적으로 평가할 수 있도록 SFT에 더 명확한 수학적 핵을 부여한다. 핵심 제안은, 다루기 쉬운 수준의 언어 조직화가 의미장으로 표현된 어휘 표현, 해당 장들의 문맥적 변형, 토큰 부분집합에 정의된 상호작용 항, 의미 에너지 역학에 의해 지배되는 안정화를 통해 모델링될 수 있다는 것이다. 본 논문은 다섯 가지 형식적 요소를 기여한다. 첫째, 의미장 모델을 의미 공간, 어휘장 리프팅, 문맥 변형 맵, 상호작용 복합체, 해석 범함수로 구성된 튜플로 정의한다. 둘째, 곱셈적 장 상호작용이 명시적 중심, 정밀도, 호환성 인자를 갖는다는 것을 보이는 가우시안 곱 폐쇄 결과를 증명한다. 셋째, 부분집합 격자에 대한 Möbius 역변환을 사용하여 임의 차수의 기약적 의미 상호작용을 분리함으로써 세 단어 문제를 일반화한다. 넷째, 각 상호작용 차수에서 장 질량의 얼마나 많은 부분이 설명되는지를 측정하는 차수 스펙트럼을 도입한다. 다섯째, 안정화된 해석을 문장과 연관된 에너지 범함수의 최소화로 공식화하고, 존재, 하강, 안정성 조건을 제시한다. 소규모 계산 예제는 세 단어 summer day 삼중(triple)이 가우시안 의미장으로 어떻게 표현되고, Python으로 구현되며, 흐름도로 요약될 수 있는지 보여준다. 그 결과는 자연어 의미에 대한 완성된 이론이 아니며, 언어에 대한 사회적, 화용적, 규범적 설명을 대체하지 않는다.

arXiv:2607.20995v1cs.CL공통 태그 Natural Language Understanding, mechanistic interpretability

대규모 언어 모델에서 생물성은 어디에 존재하는가: 생물성 개념 회로의 추적

Where Animacy Lives in Large Language Models: Tracing the Circuits of the Animacy Concept

서면 언어에서 animate 개념과 inanimate 개념을 구별하는 것은 얕은 텍스트 처리 이상을 요구한다. 동사-인수 상호작용(verb-argument interactions)과 같은 복잡한 선택 제약(selectional constraints)과 문맥 단서를 인식해야 하기 때문이다. 그럼에도 현재의 대규모 언어 모델(LLM)은 이를 수행할 수 있는 것으로 보인다. 우리는 LLM의 이러한 생물성 민감적 동작이 인과적으로 관련된 국소화된 구성 요소와 연결의 집합으로 추적될 수 있는지 조사한다. 이를 위해 최소 대(minimal pairs)로 구성된 통제된 데이터셋을 구축하고, 네 개의 오픈 가중치(open-weight) 모델에 대해 회로 발견(circuit discovery)을 수행한다. 심층 실험과 ablation을 통해, 이들 모델에서 생물성을 처리하는 인과적 메커니즘이 실제로 존재함을 보이며, 이를 통해 생물성 회로(animacy circuit)를 발견한다. 동시에 이 회로는 다른 알려진 회로들에 비해 덜 국소화된 것으로 나타나며, 모델과 생물성 과제 간에 부분적으로만 일반화되어, 생물성 개념의 분산적·문맥 의존적·다소 등급적(graded) 특성을 확인한다.

arXiv:2607.21356v1cs.LG공통 태그 Instruction Following, mechanistic interpretability

창발적 미정렬은 사전 존재하는 페르소나 부분공간을 동원한다

Emergent Misalignment Recruits a Pre-existing Persona Subspace

정렬된 언어 모델을 좁은 범위의 나쁜 조언 스트림으로 미세조정하면, 학습 데이터와 무관한 질문에서 광범위하게 미정렬되게 만들 수 있으며, 이 현상을 창발적 미정렬(emergent misalignment)이라 한다. 우리는 왜 이 좁은 교훈이 전혀 일반화되는지 묻고, 좁은 미세조정이 미세조정 이전부터 모델에 존재하는 페르소나 구조를 동원한다는 것을 발견한다. 동결된 인스트럭션 튜닝 모델(Qwen2.5-14B-Instruct)에서 대조적 teacher forcing으로 도메인별 페르소나 부분공간을 추출하고, 4개의 무관한 도메인이 무작위 부분공간 null 대비 657배 수준의 하나의 저랭크 코어를 공유하며, 그 코어의 82%가 동일한 다양성으로 구축된 스타일 코어 밖에 위치함을 발견한다. 불안전한 코드에 대한 미세조정의 말 그대로 첫 번째 옵티마이저 스텝은, 동일한 코드를 교육용으로 프레이밍한 경우보다 광범위 미정렬 마진을 더 크게 상승시키며, 375 스텝까지의 실현된 마진 변화를 예측한다. 미세조정 전체 과정에서 잔차 스트림(residual stream)에서 해당 부분공간을 투영하여 제거하면 광범위 미정렬을 방지한다(판정된 생성물의 27.7%에서 0.0%로), 반면 동일 랭크의 무작위 부분공간은 아무 변화도 일으키지 않는다; 미세조정하지 않은 모델에 이를 주입하면 용량(dose)에 따라 미정렬이 증가하여 45.4%에 이르며, 이는 비교 대상인 미세조정 모델을 넘어선다. 동일한 투영을 가중치 그래디언트에 적용하는 것은 무반응이며, 세 가지 사후 가중치 편집은 해당 성향을 그대로 남긴다: 가장 날카로운 편집은 행동을 제거하기보다 억제할 뿐이며, 제거된 구조는 편집이 비운 부분공간 내부에서 재형성된다. 고정된 양의 나쁜 데이터를 4개 도메인에 분산하면, 기계적 가중치 중첩(superposition)과 동일 다양성(matched diversity)이 합쳐 설명하는 것보다 더 많은 광범위 미정렬을 유발한다. 모든 측정은 14B 규모의 하나의 모델에서 수행되었으며, 추출은 정렬된 인스트럭션 튜닝 체크포인트에서 이루어져 구조의 기원(provenance)은 열린 문제로 남는다; 미정렬을 방지하는 개입은 좁은 범위에서 학습된 행동도 함께 제거한다.

arXiv:2607.13624v1cs.RO공통 태그 Natural Language Understanding, Instruction Following

언어에서 내비게이션 목표로: RGB-D 인식을 이용한 이동 로봇 의미 내비게이션을 위한 비전-언어 접근법

From Language to Navigation Goals: A Vision-Language Approach for Semantic Navigation of Mobile Robots Using RGB-D Perception

자연어 상호작용은 비전문 사용자가 로봇 플랫폼과 소통하는 직관적인 방법을 제공한다. 그러나 사용자 요청을 실행 가능한 내비게이션 동작으로 변환하는 것은 여전히 어려운 과제이며, 언어 이해, 환경 인식, 자율 내비게이션의 통합을 필요로 한다. 본 연구는 자연어로 사용자 요청을 해석하여 로봇을 목적지로 이동시키고 자율적으로 해당 목적지까지 내비게이션할 수 있게 하는 언어 기반 내비게이션 프레임워크를 제시한다. 이 프레임워크는 자연어 지시를 내비게이션 동작으로 변환하기 위해 협력하는 모듈형 ROS 2 구성 요소로 이루어져 있다. 환경 내 목표를 지칭하는 자연어 요청(예: "go to the mail box")이 주어지면, 시스템은 참조된 객체를 식별하고 RGB-D 데이터를 사용하여 그 위치를 추정한 뒤 내비게이션 목표를 생성하며, 이는 ROS 2 Nav2 내비게이션 스택을 통해 실행된다. ROS 2 기반 구현은 해당 토픽과 서비스의 설정만으로 다양한 로봇 플랫폼에 이식성을 제공한다. 시스템은 TurtleBot3 Waffle과 RealSense 카메라를 탑재한 Unitree Go2 로봇을 사용하여 시뮬레이션과 실제 환경 시나리오 모두에서 평가된다. 실험 결과, 프레임워크가 직접 명령과 문맥적 요청을 모두 성공적으로 해석하고, 의미 있는 자연어 피드백을 생성하며, 원하는 목표로 내비게이션함을 보여준다. 이러한 결과는 의미 인식과 자율 내비게이션을 결합하여 직관적인 인간-로봇 상호작용 패러다임을 제공하는 것의 실현 가능성을 입증한다. 코드는 논문 채택 시 오픈 소스로 공개될 예정이다.

arXiv:2607.08499v1cs.CL공통 태그 Natural Language Understanding, mechanistic interpretability

프로크루스테스 조건화 결합 엔드투엔드 Top-K 희소 오토인코더를 이용한 크로스-시드 설명가능성

Cross-seed explainability using Procrustes-conditioned Joint End-to-end Top-K Sparse Autoencoders

독립적으로 학습된 BERT 모델에서 크로스-시드 보편적 특징을 추출하기 위한 프로크루스테스 조건화 결합 엔드투엔드 Top-K 희소 오토인코더(SAE)를 제시한다. 크로스-시드 특징 보편성은 기계론적 해석가능성(mechanistic interpretability)의 근본적인 과제이다: 딕셔너리 학습(dictionary learning)이 비볼록(non-convex)하기 때문에, 독립적으로 학습된 네트워크는 정렬되지 않은 특징 공간을 학습하므로, 겉보기에 동일한 특징도 무작위 초기화에 따라 달라질 수 있다. 우리는 결합 SAE 학습 전에 시드 간 활성화 공간에 직교 프로크루스테스 회전을 계산하고, Top-K 희소성, 엔드투엔드 다운스트림 최적화, 그리고 기존 SAE 문헌에 기반한 보조적 비활성 특징 복원 손실을 결합하여 이 문제를 해결한다. 세 가지 벤치마크 데이터셋(SST-2, Stanford Politeness, TweetEval Emotion)에 걸쳐 다섯 쌍의 독립적인 시드(총 10개의 BERT 모델)로 평가한 결과, 전체 파이프라인은 세 데이터셋 모두에서 사후 정렬(post-hoc alignment) 기준선보다 더 보편적인 특징(시드 간 Pearson r ≥ 0.70)을 생성한다. 최소한의 정성적 분석을 통해, 높은 보편성을 지닌 특징이 해석 가능한 사회언어학적 패턴을 인코딩함을 확인한다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.