PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26693v1cs.CL

모델이 아닌 서빙 스택을 측정하기: 로컬 도구 사용 평가의 숨은 교란 요인

Measuring the Serving Stack Instead of the Model: Hidden Confounds in Local Tool-Use Evaluation

코딩 에이전트는 하네스가 선택한 동작을 실행하기 전에, 제공된 스키마에 따른 도구의 파싱 가능한 호출, 즉 유효한 도구 호출(tool call)을 출력해야 한다. 우리는 로컬 서빙 스택이 이 프로토콜 단계에 미치는 영향을 연구하고, 측정된 결과가 모델 동작만이 아니라 서빙 층에 따라 달라질 수 있음을 보인다. Ollama에서는 기본 tools= 요청이 모델별로 정적 템플릿 플래그에 의해 게이트된다. 일부 모델은 수락되어 호출을 텍스트로 반환하고, 일부는 네이티브 tool_calls를 반환하며, Phi-3와 Gemma-3는 추론 전에 거부된다. 우리 하네스에서는 거부와 재시도 소진이 구조화된 실패 메타데이터로 보존되지 않아, 하류 분석에서 이를 모델의 비호출로 잘못 분류하고 순진하게 0% fidelity를 보고할 수 있다. 네이티브 채널을 유지하면서 텍스트 도구 목록을 추가하면 수락된 모델에 대해 측정된 fidelity의 상당 부분을 회복하지만, 네이티브 tool-call을 지원하는 Llama-3.2에 대해서는 균일한 텍스트 프로토콜이 fidelity를 낮춘다. Ollama, llama.cpp, vLLM, SGLang에 대한 교차 스택 프로브는 동일한 요청에 대해 서로 다른 처리를 보여준다. 제약 디코딩(constrained decoding)은 파싱 실패를 제거하지만 비종료(non-termination)를 유발할 수 있으며, 턴 풀링(turn-pooled) 추정과 인스턴스별(per-instance) 추정은 최대 약 55포인트까지 차이 난다. 마지막으로 서빙 동작을 평가 프로토콜의 일부로 다루기 위한 체크리스트를 제시한다.

arXiv:2609.26687v1cs.CL

해석 가능한 문체 특징을 활용한 GPT 지원 글쓰기 탐지

Detecting GPT-Assisted Writing Using Interpretable Stylometric Features

GPT의 도움을 받아 작성한 학생 글과 독자적으로 작성한 학생 글을 구분하는 일은 학계에서 중요한 과제가 되었다. 본 논문은 제출된 텍스트에서만 추출한 해석 가능한 문체 특징(stylometric features)의 판별 능력을 평가한다. 독자적으로 글을 쓰고 ChatGPT의 도움을 받아서도 글을 쓴 90명의 참여자 데이터를 사용하여, 검증 과정에서 동일 참여자의 데이터를 함께 묶어 유지한 채 여덟 가지 머신러닝 분류기를 평가한다. 홀드아웃 테스트 세트에서 랜덤 포레스트(Random Forest)는 ROC-AUC 0.87, F1 점수 0.84를 달성했으며, 위양성률(False Positive)과 위음성률(False Negative)은 각각 22.2%와 11.1%였다. SHAP 분석 결과, 어휘적 특성과 문법적 특성이 예측 결과를 좌우하는 것으로 나타났다. 이러한 결과는 투명한 텍스트 내재적 특징이 GPT 지원 글쓰기를 탐지하는 데 측정 가능한 신호를 제공함을 시사한다.

arXiv:2609.26637v1cs.CL

유능하면서도 간결한: 최전선 모델에서 숨겨진 사고의 연쇄 추출 및 특성화

Capable yet Parsimonious: Extracting and Characterizing Hidden Chain-of-Thought in Frontier Models

최전선 언어 모델의 급격한 능력 향상은 널리 개선된 추론 능력 덕분으로 여겨지지만, 폐쇄형 시스템에서는 원시 사고의 연쇄(CoT) 추적이 숨겨져 있어 이를 검증할 수 없다. 표준 API 기능을 통해 간단한 사용자 정의 도구를 등록함으로써, 우리는 최전선 모델이 중간 추론을 외부화하도록 유도한다. 이러한 추적이 진정한 추론이 아니라 사후 합리화를 반영할 수 있기 때문에, 먼저 오픈소스 모델에서 네이티브 CoT와 대조 평가하고 GPT-6 Astra를 포함한 폐쇄형 최전선 모델로 확장한다. 추출된 추론은 네이티브 추론 성능과 일치하며, 경쟁 수학·과학·코드 생성 전반에서 추론 없음 기준선을 크게 능가함을 확인한다. 이어 최전선 모델이 중간 추론을 어떻게 구조화하는지 특성화한다. 토큰 효율, 추론 단계 유형, 유도된 추론 트리에 걸쳐, 모델이 추론을 외부화·압축·조직하는 방식에서 체계적 차이를 확인한다. Astra는 토큰 효율적인 지향적 추론을 보이며, 더 일찍 올바른 궤적을 선택하는 한편 기초 단계는 내부에서 처리하고 핵심 추론만 외부화한다. 이러한 결과는 벤치마크 점수를 넘어 최전선 모델 추론에 대한 행동적 관점을 제공한다.

arXiv:2609.26610v1cs.CL

자연어 추론을 위한 의미적 추상화: 대규모 언어 모델의 의미 지식 및 추론 격차 발견과 보완을 위한 방법론적 프레임워크

Semantic Abstraction for Natural Language Inference: a Methodological Framework for Discovering and Compensating Semantic Knowledge and Reasoning Gaps in Large Language Models

많은 NLP 과제에서 뛰어난 성능을 보임에도 불구하고, LLM은 의미적 추상화와 관련해 심각한 어려움에 직면한다. 본 연구에서는 LLM이 자연어 추론(NLI)에서 추상적 의미 지식을 어떻게 활용하는지 이해하는 데 관심을 둔다. NLI는 암시적 의미, 맥락적 개념 관계, 단어 및 구 간의 의미적 연결을 해석하기 위해 정교한 언어 능력을 요구한다. 이를 위해 더 높은 수준의 추상화에서 새로운 의미 지식을 구성하는 방법론적 프레임워크를 제안하며, 이를 NLI를 위한 의미적 호환성(semantic compatibility)과 비호환성(semantic incompatibility) 개념 하에 정의한다. 이 프레임워크에서 전제(premise)와 가설(hypothesis) 간의 어휘-의미 관계의 의미를 재구성하여, LLM에서 서로 다른 추론 경로를 유도하는 보다 유연한 의미 네트워크를 달성한다. 이러한 새로운 경로들은 단일 응답에 대한 합의를 가능하게 하는 일관된 응답 패턴을 보인다. 결과는 제안이 NLI에서 LLM의 의미 지식 격차를 발견하고 보완할 수 있음을 보여주며, 정확도에서 유의미한 향상을 달성하고, 일부 모델에서는 10%를 넘는 개선을 이루었으며, 특히 non-entailment 클래스에서 두드러진다. 추론 격차를 메우기 위해서는 LLM이 단순히 더 많은 데이터가 아니라 구조화된 지식을 필요로 한다는 점이 핵심이다. 하이브리드 접근법은 간과된 단어 관계에 어텐션을 두어 모델이 누락된 정보를 합성할 수 있게 한다. 미래는 모델 크기를 키우는 것이 아니라 인간 사고의 유연성을 모방하는 의미적 스캐폴딩(semantic scaffolding)을 만드는 데 있다고 본다. 바라건대, 제안이 더 견고한 에이전트와 해석 가능한 추론의 개발을 가능하게 하고, AI를 신뢰할 수 있는 언어 이해로 이끌 것이다.

arXiv:2609.26579v1cs.CL

아첨이 아닌 수용성: 언어 모델에서 참여와 순응 구분하기

Receptiveness, Not Sycophancy: Distinguishing Engagement from Deference in Language Models

언어 모델의 핵심적인 우려 중 하나는 아첨(sycophancy), 즉 독립적이고 실질적인 판단을 희생하면서까지 사용자의 견해에 순응하는 경향이다. 이와 병행하여, 사회적 아첨(social sycophancy)에 관한 연구는 부적절한 순응을 나타낼 수 있는 인정과 긍정적 태도 같은 행동에 초점을 맞추어 왔다. 그러나 사회적 아첨의 지표는 의견 불일치 상황에서의 상호작용을 개선하는 것으로 알려진 사회심리학의 구성 개념인 대화적 수용성(conversational receptiveness)의 특징이기도 하다. 우리는 이러한 중첩이 사회적 아첨 평가에 구성 타당도(construct validity) 문제를 야기한다고 주장한다. 널리 쓰이는 도덕 조언 데이터셋을 사용한 분석에서, 사회적으로 더 아첨적이라고 분류된 응답이 더 수용적이기도 하다는 것을 발견했다. 더 나아가, 사람이 작성한 응답의 실질적인 결론은 유지한 채 수용성을 높이면 해당 응답이 사회적으로 더 아첨적이라고 분류된다. 이렇게 긴밀하게 결합되어 있다는 점은 사회적 아첨 평가가 바람직한 행동에 의도치 않게 불이익을 줄 가능성을 제기한다. 실질적으로 동등한 응답을 비교한 사전등록(preregistered) 실험에서, 참가자들은 더 수용적인 응답을 선호했고, 사용자가 그 응답에 더 귀 기울일 가능성이 높다고 예상했으며, 그 응답의 작성자에게 조언을 구할 의향도 더 컸다. 원래 질문자가 잘못했다고 생각하는 참가자들 사이에서도 동일한 전반적 양상이 나타났다. 마지막으로, 실질적 순응을 높이지 않으면서 수용성을 크게 높이는 간단한 접근법을 제시하여, 대화적 수용성과 실질적 독립성이 함께 달성될 수 있음을 보인다.

arXiv:2609.26539v1cs.CL

영아의 구문 학습 연구를 위한 대규모 언어 모델(LLM) 활용에 대한 회고적 분석

A retrospective analysis on the use of LLMs to study infant syntax learning

대규모 언어 모델(LLM)은 아동이 초기 발달 단계에서 구문(syntax)을 어떻게 습득하는지 조사하는 데 점점 더 많이 사용되고 있습니다. 이는 발달상 현실적인 말뭉치(developmentally realistic corpora)로 학습(training)되면서 인간 수준의 구문적 성능을 달성하는 모델을 개발하려는 커뮤니티 전반의 노력인 BabyLM 챌린지의 핵심 과학적 목표이기도 합니다. 본 논문에서는 이러한 연구 프로그램의 여러 연구에 대한 인식론적 평가를 제공함으로써, 영아의 구문 학습 연구에서 LLM을 활용하는 방식에 대해 고찰합니다. 데이터셋(dataset)이 어떻게 구축되는지, 어떤 모델이 구현되는지, 그리고 이들이 어떻게 학습되고 구문론적으로 평가(evaluation)되는지를 논의합니다. 그 결과 BabyLM 및 관련 연구의 방법론에서 중대한 가정이 존재함을 확인하였으며, 이는 이들 연구의 이론적 적용 범위를 제한합니다. 아울러 발달상 현실적인 말뭉치를 사용하는 것이 널리 사용되는 벤치마크(benchmark)에서 모델 성능에 미치는 영향이 제한적임을 관찰하였는데, 이는 LLM과 영아 구문 학습자 간에 중요한 계산적 차이가 존재함을 시사합니다.

arXiv:2609.26527v1cs.CL

자연어 생성에서 충실도와 커버리지를 평가하기 위한 기호학 기반 프레임워크

A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation

두 텍스트가 동일한 표현을 기술하더라도, 어휘 중복이나 텍스트 전체 유사도에 기반한 표준 지표로는 해당 표현이 어떻게 프레이밍되는지에 관한 의미 있는 차이를 감지하지 못할 수 있다. 본 논문은 텍스트 간의 기호학적 정렬(semiotic alignment)을 평가하는 프레임워크를 제안한다. 여기서 기호학적 프로필(semiotic profile)은 텍스트의 맥락적 의미와 해당 텍스트에서 두드러지게 나타나는 담화적 참조를 모두 포괄한다. 제안하는 접근법은 기호학적 충실도(Semiotic Fidelity)와 기호학적 커버리지(Semiotic Coverage)라는 두 가지 점수를 산출하며, 각각 한 텍스트의 프로필 중 다른 텍스트가 뒷받침하는 비율과, 다른 텍스트의 프로필 중 해당 텍스트가 복원하는 비율을 추정한다. 실험 결과, 커버리지는 일반적으로 충실도보다 낮았으며, LLM과 사람이 큐레이션한 데이터 간의 정렬은 낮은 샘플링 온도에서 가장 높고 온도가 높아질수록 이 정렬이 감소하는 것으로 나타났다.

arXiv:2609.26489v1cs.CL

LLM 평가에서 일급 기준으로서의 캘리브레이션

Calibration as a First-Class Criterion in LLM Evaluation

언어 모델의 캘리브레이션(calibration, 표현되거나 내재된 확신도와 실증적 정확도 간의 일치)은 자연어 처리(NLP) 분야 내에서 잘 연구되어 온 하위 분야입니다. 이를 측정하는 방법은 이미 존재합니다. 문제는 도입(adoption)에 있습니다. 이 하위 분야를 벗어난 NLP 연구에서는 모델의 확신도 점수가 유의미한지 확인하지 않은 채 정기적으로 새로운 모델, 데이터셋, 벤치마크를 도입하고 있습니다. 우리는 이러한 도입 격차가 신뢰할 수 있는 대규모 언어 모델(LLM) 평가의 주된 장애물이라고 주장합니다. 잘못된 캘리브레이션(miscalibration)은 두 가지 뚜렷한 영역에서 문제를 일으킵니다. 첫째는 과도하게 확신하는 실수가 실제 피해를 초래하는 배포 단계이며, 둘째는 LLM-as-a-judge, 합성 데이터 생성, 능동 학습(active learning)과 같은 방법들이 이를 검증하지 않은 채 캘리브레이션된 확신도에 의존하는 연구 파이프라인 내부입니다. 표준 캘리브레이션 지표는 예제당 확신도 점수와 정확도 판단이라는 두 가지 입력만을 필요로 합니다. 오늘날 널리 사용되는 대부분의 벤치마크는 이미 이 둘을 모두 제공하므로, 캘리브레이션을 즉시 보고할 수 있습니다. 그러나 개방형 생성(open-ended generation)의 경우, 이 두 입력을 정의하는 것은 여전히 미해결 과제입니다. 우리는 각 NLP 하위 분야가 주요 성능 지표와 캘리브레이션 점수를 결합해야 한다고 주장하며, 캘리브레이션을 지엽적인 주제가 아닌 모든 모델의 필수적인 속성으로 다룰 것을 촉구합니다.

arXiv:2609.26481v1cs.MA

행동만으로는 충분하지 않다: LLM 사회에서 사회 규범 출현에 대한 메커니즘 기반 평가

Behavior is Not Enough: A Mechanism-Based Evaluation of Social Norm Emergence in LLM Societies

사회 규범은 행동만으로는 식별할 수 없다. 동일한 협력적 균형이 공유된 기대, 전략적 유인, 또는 단순한 모방을 반영할 수 있기 때문이다. 그러나 멀티 에이전트 대규모 언어 모델(LLM) 시스템에서 기존 연구는 대체로 행동적 수렴을 규범 출현의 증거로 취급한다. 본 연구에서는 행동적 수렴에 더하여 에이전트가 보고하는 경험적 기대(empirical expectations)와 규범적 기대(normative expectations)를 측정하는 평가 프레임워크를 제안한다. 통제된 어블레이션(ablation)을 통해 기대 도출(expectation elicitation)의 효과를 검증하고, 규범 형성 이론의 핵심인 두 가지 집단적 메커니즘, 즉 상호작용을 통한 사회적 학습과 네트워크 기반 집단 형성을 통한 사회적 선택을 분리하여 분석한다. 또한 네 가지 LLM 계열에 걸쳐 적대적 교란 상황에서 이러한 동역학의 안정성을 추가로 검증한다. 그 결과, 기대를 도출하면 협력적 기여가 증가하고, 사회적 학습은 행동을 안정화하며, 사회적 선택은 협력자를 안정적으로 식별하지만 행동적 강화 효과는 제한적임을 확인하였다. 교란 이후에는 규범적 기대와 행동적 조율이 서로 다르게 회복된다. 종합하면, 이러한 결과는 유사한 협력적 결과가 서로 다른 근본적 사회 과정에서 비롯될 수 있음을 보여준다. 본 프레임워크는 기대를 관측 가능하게 만들어 각 메커니즘의 기여를 개별적으로 규명할 수 있게 하며, 멀티 에이전트 시스템 설계자에게 협력을 지속시키는 사회적 과정을 선택하기 위한 원칙적 근거를 제공한다.

arXiv:2609.26468v1cs.CL

건초더미에서 여러 개의 바늘을 찾았는지 추정하는 방법: 다중 레이블 텍스트 분류에서의 캘리브레이션 측정

How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification

자동 예측의 신뢰 여부를 결정하는 핵심 요소는 신뢰도 점수(confidence score)이며, 이는 예측이 맞을 실제 확률과 일치하도록 보정(calibration)되어야 합니다. 대부분의 신뢰도 캘리브레이션 지표는 이진 또는 다중 클래스(multi-class) 태스크를 대상으로 하는 반면, 다중 레이블(multi-label) 캘리브레이션은 여전히 미개척 분야로 남아 있습니다. 임상 기록에 의료 코드를 부여하거나 뉴스 주제를 결정하는 등의 다중 레이블 분류(classification) 태스크는 일반적으로 해당하지 않는 레이블인 방대한 양의 음성(negative) 데이터가 지배적입니다. 우리는 레이블별 기대 캘리브레이션 오차(expected calibration error)를 계산하기 위한 기존의 구간화(binning) 방식들이 오차를 과소평가하거나 단순히 레이블 빈도를 반영하거나 인스턴스가 극히 적은 구간이 다수 발생하는 문제를 겪는다는 것을 보입니다. 신뢰할 수 있는 레이블별 캘리브레이션 오차를 얻기 위해, 우리는 양성 및 음성 레이블 할당에 동일한 가중치(weight)를 부여하는 새로운 구간화 방식을 제안합니다. 실증 연구를 통해 제안된 새로운 방식이 기존 방식과 대조적으로 계층적(hierarchical) 및 극단적 다중 레이블 분류(extreme multi-label classification)에서 유의미한 캘리브레이션 오차 추정치로 이어진다는 점을 입증합니다. 또한 대규모 언어 모델(LLM)의 다중 레이블 예측 신뢰도 점수를 보정하는 것이 여전히 미해결 과제임을 밝힙니다. 우리의 상세한 분석은 다중 레이블 분류에서 캘리브레이션을 측정하기 위한 탄탄한 평가(evaluation) 지표를 제공함으로써 후속 연구를 위한 기반을 마련합니다.

arXiv:2609.26399v1cs.CL

해석 가능한 장면 안전성 이해를 위한 계층적 인지 과정과 과정 감독의 결합

Combining Hierarchical Cognitive Process with Process Supervision for Interpretable Scene Safety Understanding

장면 안전성 이해(scene safety understanding)는 다양한 핵심 분야의 상황 인식에서 생사를 가르는 역할을 한다. 장면과 안전 수준 사이의 직접적인 매핑을 학습하는 기존 방법은 해석 가능성이 부족한 경우가 많아, 핵심 응용 분야에서의 신뢰성이 제한된다. 이러한 문제를 극복하는 효과적인 접근법은 인간의 인지 과정을 해석하고 기계 모델에 이와 유사한 인지 능력을 갖추게 하는 데 있다. 본 연구는 장면 안전성 인지 과정 모델링과 과정 감독(process supervision)을 통합하는 효과적인 방법을 탐구한다. 구체적으로, 먼저 계층적 인지 안전 구조를 구축하고, 이를 바탕으로 과정 레이블이 포함된 다단계 추론에 기반한 새로운 고품질 장면 안전성 이해 데이터셋을 개발한다. 이 데이터셋은 벤치마크이자 대규모 언어 모델(LLM)의 안전성 추론 능력을 향상시키는 자원으로 활용되며, 동시에 정보 흐름(information flow)과 살리언시(saliency) 기반 기법을 통해 중간 추론 단계에 대한 세분화된 분석도 가능하게 한다. 이러한 토대 위에서, 인간 인지의 계층적 특성을 반영하는 모듈식이고 유연한 과정 감독 프레임워크를 제안한다. 이 프레임워크는 LLM을 핵심 아키텍처로 활용하고 저랭크 적응(Low-Rank Adaptation, LoRA)과 전문가 혼합(Mixture-of-Experts, MoE) 전략을 도입하여, 전체 추론 사슬의 특정 하위 과정을 각각 담당하는 전문가 모듈 간의 특화와 협업을 가능하게 한다. 체계적인 실험 평가와 분석을 통해, 본 프레임워크가 기존 접근법에 비해 우수한 해석 가능성과 성능 특성을 보임을 확인하였다.

arXiv:2609.26208v1cs.CL

정적 차트를 넘어서: 언어 모델과 비전-언어 모델은 인터랙티브 데이터 시각화 인터페이스를 생성할 수 있는가?

Beyond Static Charts: Can Language and Vision Language Models Generate Interactive Data Visualization Interfaces?

데이터 시각화는 분석적 추론의 핵심이지만, 실제 분석에서는 정적 차트보다 언어 기반의 인터랙티브 인터페이스가 점점 더 요구되고 있다. 최근 대규모 언어 모델 및 비전-언어 모델(LLM/VLM)이 자연어로부터 정적 차트를 생성하는 데 가능성을 보였지만, 벤치마크의 부재로 인해 인터랙티브 데이터 시각화 인터페이스를 생성하는 능력은 거의 탐구되지 않았다. 본 논문은 LLM/VLM이 자연어 질의로부터 인터랙티브 시각화 인터페이스를 얼마나 잘 생성하는지 평가하기 위한 벤치마크인 VIS-GEN을 소개한다. VIS-GEN은 데이터 필터링, 시간 분석, 시각화 편집 등 다양한 분석 의도를 아우르는 3,042개의 샘플로 구성되며, 각 샘플은 현실적이고 목표 지향적인 데이터 탐험 시나리오를 반영하도록 설계된 데이터셋 메타데이터 및 자연어 질의와 짝을 이룬다. 우리는 최신 오픈소스 및 클로즈드소스 LLM/VLM 14종을 벤치마크하였으며, 그 결과 모델 간 성능 격차가 크고, 암묵적 의도, 여러 가지 상호작용 대안, 복잡한 편집 연산이 포함된 질의에서 실패가 빈번하게 나타났다. 이는 인터랙티브 인터페이스 생성이 정적 차트 합성을 넘어서는 핵심적인 미해결 과제임을 보여준다. 이를 해결하기 위해 우리는 과제를 시각화 설계 표현, 다수의 인터페이스 후보 생성, 제약 조건을 고려한 비평(critique), 자기 개선(self-refinement)으로 분해하는 구조화된 다단계 인터페이스 생성 프레임워크를 제안한다. 이 접근법은 최고 성능 모델의 통과율(pass rate)을 15.9%p 향상시켜, 더 신뢰할 수 있는 언어 기반 인터랙티브 시각화 시스템으로 나아가는 실용적인 경로를 보여준다. VIS-GEN은 https://github.com/vis-nlp/VIS-GEN 에서 공개한다.

arXiv:2609.26185v1cs.CR

LLM 탈옥 공격 방어를 위한 동적 딥 프롬프트 최적화

Dynamic Deep Prompt Optimization for Defending Against Jailbreak Attacks on LLMs

대규모 언어 모델(LLM)은 다양한 응용에서 인상적인 성능을 보이지만, 유해하거나 의도하지 않은 콘텐츠를 유도하는 탈옥(jailbreak) 공격에 취약하다. 안전성 정렬(alignment)을 위해 모델 미세조정을 선택할 수 있지만, 비용이 크고 치명적 망각(catastrophic forgetting)에 취약하다. 프롬프트 최적화가 유망한 대안으로 부상했지만, 기존 프롬프트 기반 방어는 일반적으로 고정 접두사나 접미사 같은 정적 수정에 의존하여 다양하고 진화하는 공격에 적응할 수 없다. 우리는 deep prompt optimization에 기반한 최초의 탈옥 방어인 Dynamic Deep Prompt Optimization(DDPO)를 제안한다. DDPO는 대상 LLM의 중간 층을 특징 추출기로 사용하여 경량 다층 퍼셉트론을 통해 방어용 임베딩을 동적으로 생성한다. 이렇게 맞춤형으로 생성된 임베딩은 이후 중간 층에 주입되어, LLM의 가중치를 수정하지 않으면서 입력 의존적 방어를 가능하게 한다. 이러한 설계는 최소한의 계산 부담으로 높은 적응성을 보장한다. 다양한 모델과 공격에 대한 실험에서 DDPO는 정적 프롬프트 최적화 방법보다 현저히 우수하며, 특히 정렬이 약한 모델과 의미적으로 모호한 무해한 프롬프트를 다룰 때 실제로 유해한 요청과 이를 성공적으로 구분한다.

arXiv:2609.26182v1cs.CL

모달리티 게이트 딥 어댑터: 기존 출력을 정확히 보존하면서 고정된 임베딩 모델에 모달리티 추가하기

Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation

멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.

arXiv:2609.26177v1cs.CL

크기 프로파일 가지치기: 트랜스포머 압축을 위한 캘리브레이션 없는 구조적 어텐션 헤드 제거

Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression

어텐션(attention) 헤드의 구조적 가지치기(structured pruning)는 트랜스포머(Transformer) 언어 모델을 압축하는 하드웨어 친화적인 방법을 제공합니다. 그러나 헤드 수준의 중요도를 측정하는 기존 방법들은 캘리브레이션(calibration) 데이터, 그래디언트(gradient) 계산 또는 헤시안(Hessian) 추정을 필요로 합니다. 이러한 요구사항은 추가적인 오버헤드를 발생시키고 데이터 의존성을 유발합니다. 본 연구에서는 가중치 행 노름(weight row norm)에 대한 통계적 이상치 탐지를 통해 불필요한 헤드를 식별하는 학습(training) 불필요 헤드 중요도 기준인 크기 프로파일(Magnitude Profile, MP) 스코어링을 제시합니다. 투영 가중치가 전체 분포의 주요 군집(population bulk) 내에 속하는 헤드는 가지치기되고, 불균형적으로 큰 표현 용량을 갖는 이상치 노름을 보이는 헤드는 보존됩니다. 나아가 본 연구는 공유된 키-값(key-value) 그룹 점수를 연관된 쿼리 헤드들에 분배함으로써 그룹 쿼리 어텐션(Grouped Query Attention, GQA)을 처리하는 변형인 MP-G를 제안합니다. 12.5%~50% 헤드 희소성(sparsity)에서 WikiText-2 당혹도(perplexity)로 평가된 5개 모델 전반에서, MP-G는 OPT-6.7B의 모든 희소성 수준(12.5%에서 18.46, 25%에서 27.87, 50%에서 152.0)에서 최고 당혹도를 달성합니다. 또한 MP-G는 RoBERTa-large의 12.5% 및 25% 희소성에서 각각 7.27과 10.28의 당혹도 수치를 기록하며 최고 결과를 보여, Wanda-Head, SparseGPT-Head, Gradient-Head를 포함한 캘리브레이션 의존적 기준 모델들을 능가합니다. 이 방식은 순전파(forward pass), 캘리브레이션 샘플 또는 그래디언트 계산을 전혀 요구하지 않습니다. 50% 희소성에서 헤드 가지치기는 어텐션 FLOP을 50% 절감하면서 최대 16%의 매개변수(parameter) 감소를 달성합니다. 우리의 결과는 가중치 전용 통계적 스코어링이 구조적 헤드 가지치기에서 데이터 의존적 방법들과 대등하거나 그 이상의 성능을 보일 수 있음을 보여주며, 트랜스포머 압축을 위한 실용적이고 비용이 전혀 들지 않는(zero-cost) 기준을 제공합니다.

arXiv:2609.26113v1cs.CL

미분 가능한 퍼지 추론 층: 대규모 언어 모델을 위한 단조·구성적 서열 추론 헤드

Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models

최신 언어 모델에게 "most of most students passed"를 해석하라고 하면 대개 "most"라고 답하지만, "most"를 두 번 구성하면 비율은 "some"에 더 가깝다. 우리는 이 실패를 데이터 부족이 아니라 아키텍처 선택에서 비롯된 것으로 본다. 표준 분류기 헤드는 서열 범주를 서로 독립적인 레이블로 취급하며, 자연스러운 순서를 지키거나 대수적으로 구성할 메커니즘이 없다. 우리는 미분 가능한 퍼지 추론 층(Differentiable Fuzzy Inference Layer, DFIL)을 제안한다. 이는 표준 분류기와, 순서가 있는 소속 함수(membership function) 뱅크에 기반한 스칼라 병목 분기를 짝지은 이중 경로 예측 헤드이다. DFIL은 레이블만 쓰는 헤드가 갖출 수 없는 두 가지 구조적 원시를 제공한다. 하나는 기저 양에 대한 단조성(monotonicity)이고, 다른 하나는 구성적 학습 데이터 없이 t-norm 연산으로 이루는 구성적 추론이다. 스칼라 분기는 또한 잔차 오류를 분석하기 위한 해석 가능한 인터페이스를 제공한다. 우리는 다양한 LLM 계열에 걸친 서열 자연어 과제에서 DFIL을 구현한다.

arXiv:2609.26100v1cs.CL

TSS: 도메인 특화 대규모 언어 모델의 추측 디코딩을 위한 타깃 측 희소화

TSS: Target-Side Sparsification for Speculative Decoding in Domain-Specific Large Language Models

추측 디코딩(speculative decoding)은 경량 드래프트 모델과 타깃 검증기(target verifier)의 협업을 통해 대규모 언어 모델 추론을 가속한다. 기존 방법은 주로 드래프트 측을 개선하며, 타깃 모델은 일반적으로 밀집(dense) 상태 그대로 변경 없이 유지된다. 본 논문은 도메인 특화 추론에서 전체 깊이의 타깃 검증이 항상 최적의 선택은 아님을 보인다. 직관과 반대로, 선택된 타깃 층을 건너뛰면 검증 비용을 줄이는 동시에 드래프트 수용률을 높일 수 있으며, 하위 작업 성능도 유지하거나 오히려 향상시킬 수 있다. 이러한 관찰에 기반하여 추측 디코딩을 위한 타깃 측 희소화 프레임워크인 TSS를 제안한다. TSS는 수용률(acceptance)과 지표(metric)를 모두 고려하는 너비 탐색(breadth search)을 사용해, 두 목표 사이에 고정된 우선순위를 부과하지 않고 다중 층 건너뛰기 구성을 탐색한다. 선택된 구성은 도메인-구성 매핑에 저장되고 경량 스킵 컨트롤러(skip controller)에 의해 적용되므로, 재학습이나 영구적인 매개변수 가지치기 없이 하나의 완전한 타깃 모델이 여러 희소 검증 경로를 지원할 수 있다. 여러 도메인, 모델 규모, 추측 디코딩 방법에 걸친 Spec-Bench 실험에서 드래프트 수용률과 하위 작업 성능이 일관되게 향상됨을 확인했다. 번역(Translation) 설정에서 TSS는 평균 수용 길이(average accept length)를 2.70에서 4.53으로(+67.8%) 늘리고, BLEU를 0.131에서 0.237로(+80.9%) 향상시켰으며, 종단 간(end-to-end) 처리량을 75.6에서 127.3 tokens/s로 높여 1.68배의 속도 향상을 달성했다.

arXiv:2609.25927v1cs.CL

정보 기반 마스킹: 확산 대규모 언어 모델의 강화학습을 위한 구조 인지 섭동

Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models

확산 대규모 언어 모델(dLLM)은 자기회귀 모델의 효율적인 대안으로 부상했으나, 이를 강화학습(RL)을 통해 정렬(alignment)하려면 롤아웃당 적은 몬테카를로 예산 하에서 마스킹된 재구성 하위 문제로부터 추정된 가능도 대리치(likelihood surrogates)가 필요합니다. 기존 기법들은 균등 무작위 마스킹을 통해 이러한 하위 문제를 구성하므로, 어떤 하위 문제를 우선시해야 하는지에 대한 의문이 남아 있습니다. 본 연구는 dLLM 롤아웃에서 체계적인 상류/하류(upstream/downstream) 구조를 규명합니다. 특정 토큰들은 공개되었을 때 아직 디코딩되지 않은 인접 위치에서 큰 신뢰도 변화를 유발하며, 이를 상류 토큰이라 부릅니다. 반면 다른 토큰들은 국소적으로 작은 변화만을 유발하므로 하류 토큰에 해당합니다. 연구진은 하류 토큰을 마스킹하는 것이 상류 토큰을 마스킹하는 것보다 실질적으로 훨씬 더 잘 정의된(better-posed) 하위 문제를 생성한다는 점을 발견했으며, 이 현상을 '하위 문제 난이도 비대칭성'이라 명명했습니다. 이러한 관찰을 바탕으로, 추가적인 추론 비용 없이 디노이징 궤적에서 토큰별 우선순위 점수를 도출하고 마스크 샘플링이 하류 토큰 쪽으로 편향되도록 하는 정보 기반 마스킹(Informed Masking, IM)을 제안합니다. IM은 플러그 앤 플레이(plug-and-play) 방식으로 적용할 수 있으며, LLaDA-8B-Instruct 기반 세 가지 최신 dLLM 강화학습 기법에 결합했을 때 향상된 학습 안정성과 함께 수학 및 계획 수립 벤치마크에서 각각 최대 2.01%, 8.68%, 5.77%의 상대적 평균 성능 향상을 달성합니다.

arXiv:2609.25833v1cs.CL

ARAFA: LLM으로 생성한 아랍어 팩트체킹 데이터셋

ARAFA: An LLM-Generated Arabic Fact-Checking Dataset

자동 팩트체킹(fact-checking)은 데이터셋과 자원의 부족으로 인해 아랍어 자연어 처리(NLP)에서 중요한 과제로 남아 있다. 본 논문에서는 대규모 언어 모델(LLM)을 활용한 자동화된 프레임워크로 구축한, 현대 표준 아랍어(Modern Standard Arabic) 팩트체킹을 위한 새로운 대규모 데이터셋 Arafa를 소개한다. 이 데이터셋은 세 단계 파이프라인으로 구축되었다. (1) 뒷받침하는 텍스트 근거와 함께 아랍어 위키백과 페이지에서 주장(claim)을 생성하고, (2) 주장 변형(claim mutation)을 통해 반박 근거를 갖춘 까다로운 반사실적(counterfactual) 주장을 생성하며, (3) 자동 검증 단계에서 생성된 주장이 함께 제공된 근거에 의해 지지되거나 반박되는지, 혹은 근거가 주장의 타당성을 판단하기에 충분한 정보를 제공하지 않는지를 확인한다. 그 결과 만들어진 데이터셋은 '지지됨(supported)', '반박됨(refuted)', '정보 부족(not enough information)'으로 레이블링된 181,976개의 주장-근거 쌍으로 구성된다. 데이터셋의 테스트 샘플에 대해 수행한 사람 평가에서는 Cohen's Kappa를 사용했을 때 지지되는 주장에 대해 kappa = 0.89, 반박되는 주장에 대해 kappa = 0.94로 높은 평가자 간 일치도를 보였다. 사람이 평가한 샘플을 기준으로 한 자동 검증은 지지되는 주장에서 86%, 반박되는 주장에서 88%의 정확도를 달성했다. 자동 아랍어 팩트체킹을 위한 자원으로서 Arafa의 가치를 보여주기 위해, 오픈소스 트랜스포머 기반 모델 네 개를 Arafa로 파인튜닝했으며, 가장 성능이 좋은 모델은 테스트 데이터에서 Macro F1-score 77%를 달성했다. Arafa는 아랍어 팩트체킹을 위한 최초의 대규모 데이터셋일 뿐만 아니라, 본 프레임워크는 다른 저자원 언어를 위한 유사한 자원을 개발하는 확장 가능한 접근법을 제시한다.

arXiv:2609.25797v1cs.CL

인간 및 AI 생성 언어의 양자 구조에 관한 코멘트 arXiv:2512.07881 및 arXiv:2601.06104에 대한 답변

Reply to comments arXiv:2512.07881 and arXiv:2601.06104 on quantum structure in human and AI-generated language

본 논문에서는 인간 언어에서의 양자역학적 통계(arXiv:2407.14924) 및 AI 생성 언어의 양자 구조(arXiv:2511.21731)에 관한 본 연구진의 연구에 대해 M. Sienicki와 K. Sienicki가 작성한 코멘트(arXiv:2512.07881)와 K. Sienicki가 작성한 코멘트(arXiv:2601.06104)에 답변한다. 저자들의 면밀한 검토에 감사하며, 본 연구진이 주요 비판점으로 생각하는 다음 내용들을 다룬다: 대규모 언어 모델(LLM)을 활용한 실험에 사용된 프로토콜의 탐색적 특성; 얽힘(entanglement) 식별에 있어 주변 법칙 위반과 기본 맥락성(Contextuality-by-Default) 기준의 역할; 단독으로 고려된 보스-아인슈타인(Bose-Einstein) 피팅의 제한적인 진단 가치; 가장 빈번한 단어에 가장 낮은 에너지 준위를 할당하는 의미; 그리고 LLM이 사용하는 벡터 공간과 양자 상태 공간 간의 관계. 또한 보고된 CHSH 값에는 영향을 주지 않는 arXiv:2511.21731의 표 3에 있는 오타를 정정한다.