PyTorchKR Papers

최신 논문

총 1,841편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1804.08501

Dropping Networks for Transfer Learning

Many tasks in natural language understanding require learning relationships between two sequences for various tasks such as natural language inference, paraphrasing and entailment. These aforementioned tasks are similar in nature, yet they are often modeled individually. Knowledge transfer can be effective for closely related tasks. However, transferring all knowledge, some of which irrelevant for a target task, can lead to sub-optimal results due to \textit{negative} transfer. Hence, this paper focuses on the transferability of both instances and parameters across natural language understanding tasks by proposing an ensemble-based transfer learning method. \newline The primary contribution of this paper is the combination of both \textit{Dropout} and \textit{Bagging} for improved transferability in neural networks, referred to as \textit{Dropping} herein. We present a straightforward yet novel approach for incorporating source \textit{Dropping} Networks to a target task for few-shot learning that mitigates \textit{negative} transfer. This is achieved by using a decaying parameter chosen according to the slope changes of a smoothed spline error curve at sub-intervals during training. We compare the proposed approach against hard parameter sharing and soft parameter sharing transfer methods in the few-shot learning case. We also compare against models that are fully trained on the target task in the standard supervised learning setup. The aforementioned adjustment leads to improved transfer learning performance and comparable results to the current state of the art only using a fraction of the data from the target task.

arXiv:1805.04905공식 코드 · Papers with Code

Comprehensive Supersense Disambiguation of English Prepositions and Possessives

Semantic relations are often signaled with prepositional or possessive marking--but extreme polysemy bedevils their analysis and automatic interpretation. We introduce a new annotation scheme, corpus, and task for the disambiguation of prepositions and possessives in English. Unlike previous approaches, our annotations are comprehensive with respect to types and tokens of these markers; use broadly applicable supersense classes rather than fine-grained dictionary definitions; unite prepositions and possessives under the same class inventory; and distinguish between a marker's lexical contribution and the role it marks in the context of a predicate or scene. Strong interannotator agreement rates, as well as encouraging disambiguation results with established supervised methods, speak to the viability of the scheme and task.

arXiv:1805.06280공식 코드 · Papers with Code

A Context-based Approach for Dialogue Act Recognition using Simple Recurrent Neural Networks

Dialogue act recognition is an important part of natural language understanding. We investigate the way dialogue act corpora are annotated and the learning approaches used so far. We find that the dialogue act is context-sensitive within the conversation for most of the classes. Nevertheless, previous models of dialogue act classification work on the utterance-level and only very few consider context. We propose a novel context-based learning method to classify dialogue acts using a character-level language model utterance representation, and we notice significant improvement. We evaluate this method on the Switchboard Dialogue Act corpus, and our results show that the consideration of the preceding utterances as a context of the current utterance improves dialogue act detection.

arXiv:1805.07966

Aff2Vec: Affect--Enriched Distributional Word Representations

Human communication includes information, opinions, and reactions. Reactions are often captured by the affective-messages in written as well as verbal communications. While there has been work in affect modeling and to some extent affective content generation, the area of affective word distributions in not well studied. Synsets and lexica capture semantic relationships across words. These models however lack in encoding affective or emotional word interpretations. Our proposed model, Aff2Vec provides a method for enriched word embeddings that are representative of affective interpretations of words. Aff2Vec outperforms the state--of--the--art in intrinsic word-similarity tasks. Further, the use of Aff2Vec representations outperforms baseline embeddings in downstream natural language understanding tasks including sentiment analysis, personality detection, and frustration prediction.

arXiv:1805.09119

Selecting Machine-Translated Data for Quick Bootstrapping of a Natural Language Understanding System

This paper investigates the use of Machine Translation (MT) to bootstrap a Natural Language Understanding (NLU) system for a new language for the use case of a large-scale voice-controlled device. The goal is to decrease the cost and time needed to get an annotated corpus for the new language, while still having a large enough coverage of user requests. Different methods of filtering MT data in order to keep utterances that improve NLU performance and language-specific post-processing methods are investigated. These methods are tested in a large-scale NLU task with translating around 10 millions training utterances from English to German. The results show a large improvement for using MT data over a grammar-based and over an in-house data collection baseline, while reducing the manual effort greatly. Both filtering and post-processing approaches improve results further.

arXiv:1803.09840공식 코드 · Papers with Code

Empirical Analysis of Foundational Distinctions in Linked Open Data

The Web and its Semantic extension (i.e. Linked Open Data) contain open global-scale knowledge and make it available to potentially intelligent machines that want to benefit from it. Nevertheless, most of Linked Open Data lack ontological distinctions and have sparse axiomatisation. For example, distinctions such as whether an entity is inherently a class or an individual, or whether it is a physical object or not, are hardly expressed in the data, although they have been largely studied and formalised by foundational ontologies (e.g. DOLCE, SUMO). These distinctions belong to common sense too, which is relevant for many artificial intelligence tasks such as natural language understanding, scene recognition, and the like. There is a gap between foundational ontologies, that often formalise or are inspired by pre-existing philosophical theories and are developed with a top-down approach, and Linked Open Data that mostly derive from existing databases or crowd-based effort (e.g. DBpedia, Wikidata). We investigate whether machines can learn foundational distinctions over Linked Open Data entities, and if they match common sense. We want to answer questions such as "does the DBpedia entity for dog refer to a class or to an instance?". We report on a set of experiments based on machine learning and crowdsourcing that show promising results.

arXiv:1805.10190공식 코드 · Papers with Code

Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces

This paper presents the machine learning architecture of the Snips Voice Platform, a software solution to perform Spoken Language Understanding on microprocessors typical of IoT devices. The embedded inference is fast and accurate while enforcing privacy by design, as no personal user data is ever collected. Focusing on Automatic Speech Recognition and Natural Language Understanding, we detail our approach to training high-performance Machine Learning models that are small enough to run in real-time on small devices. Additionally, we describe a data generation procedure that provides sufficient, high-quality training data without compromising user privacy.

arXiv:1803.07640공식 코드 · Papers with Code

AllenNLP: A Deep Semantic Natural Language Processing Platform

This paper describes AllenNLP, a platform for research on deep learning methods in natural language understanding. AllenNLP is designed to support researchers who want to build novel language understanding models quickly and easily. It is built on top of PyTorch, allowing for dynamic computation graphs, and provides (1) a flexible data API that handles intelligent batching and padding, (2) high-level abstractions for common operations in working with text, and (3) a modular and extensible experiment framework that makes doing good science easy. It also includes reference implementations of high quality approaches for both core semantic problems (e.g. semantic role labeling (Palmer et al., 2005)) and language understanding applications (e.g. machine comprehension (Rajpurkar et al., 2016)). AllenNLP is an ongoing open-source effort maintained by engineers and researchers at the Allen Institute for Artificial Intelligence.

arXiv:1806.00852

On the Importance of Attention in Meta-Learning for Few-Shot Text Classification

Current deep learning based text classification methods are limited by their ability to achieve fast learning and generalization when the data is scarce. We address this problem by integrating a meta-learning procedure that uses the knowledge learned across many tasks as an inductive bias towards better natural language understanding. Based on the Model-Agnostic Meta-Learning framework (MAML), we introduce the Attentive Task-Agnostic Meta-Learning (ATAML) algorithm for text classification. The essential difference between MAML and ATAML is in the separation of task-agnostic representation learning and task-specific attentive adaptation. The proposed ATAML is designed to encourage task-agnostic representation learning by way of task-agnostic parameterization and facilitate task-specific adaptation via attention mechanisms. We provide evidence to show that the attention mechanism in ATAML has a synergistic effect on learning performance. In comparisons with models trained from random initialization, pretrained models and meta trained MAML, our proposed ATAML method generalizes better on single-label and multi-label classification tasks in miniRCV1 and miniReuters-21578 datasets.

arXiv:1806.00780

Building Advanced Dialogue Managers for Goal-Oriented Dialogue Systems

Goal-Oriented (GO) Dialogue Systems, colloquially known as goal oriented chatbots, help users achieve a predefined goal (e.g. book a movie ticket) within a closed domain. A first step is to understand the user's goal by using natural language understanding techniques. Once the goal is known, the bot must manage a dialogue to achieve that goal, which is conducted with respect to a learnt policy. The success of the dialogue system depends on the quality of the policy, which is in turn reliant on the availability of high-quality training data for the policy learning method, for instance Deep Reinforcement Learning. Due to the domain specificity, the amount of available data is typically too low to allow the training of good dialogue policies. In this master thesis we introduce a transfer learning method to mitigate the effects of the low in-domain data availability. Our transfer learning based approach improves the bot's success rate by $20\%$ in relative terms for distant domains and we more than double it for close domains, compared to the model without transfer learning. Moreover, the transfer learning chatbots learn the policy up to 5 to 10 times faster. Finally, as the transfer learning approach is complementary to additional processing such as warm-starting, we show that their joint application gives the best outcomes.

arXiv:1806.02847

A Simple Method for Commonsense Reasoning

Commonsense reasoning is a long-standing challenge for deep learning. For example, it is difficult to use neural networks to tackle the Winograd Schema dataset (Levesque et al., 2011). In this paper, we present a simple method for commonsense reasoning with neural networks, using unsupervised learning. Key to our method is the use of language models, trained on a massive amount of unlabled data, to score multiple choice questions posed by commonsense reasoning tests. On both Pronoun Disambiguation and Winograd Schema challenges, our models outperform previous state-of-the-art methods by a large margin, without using expensive annotated knowledge bases or hand-engineered features. We train an array of large RNN language models that operate at word or character level on LM-1-Billion, CommonCrawl, SQuAD, Gutenberg Books, and a customized corpus for this task and show that diversity of training data plays an important role in test performance. Further analysis also shows that our system successfully discovers important features of the context that decide the correct answer, indicating a good grasp of commonsense knowledge.

arXiv:1806.03822공식 코드 · Papers with Code

Know What You Don't Know: Unanswerable Questions for SQuAD

Extractive reading comprehension systems can often locate the correct answer to a question in a context document, but they also tend to make unreliable guesses on questions for which the correct answer is not stated in the context. Existing datasets either focus exclusively on answerable questions, or use automatically generated unanswerable questions that are easy to identify. To address these weaknesses, we present SQuAD 2.0, the latest version of the Stanford Question Answering Dataset (SQuAD). SQuAD 2.0 combines existing SQuAD data with over 50,000 unanswerable questions written adversarially by crowdworkers to look similar to answerable ones. To do well on SQuAD 2.0, systems must not only answer questions when possible, but also determine when no answer is supported by the paragraph and abstain from answering. SQuAD 2.0 is a challenging natural language understanding task for existing models: a strong neural system that gets 86% F1 on SQuAD 1.1 achieves only 66% F1 on SQuAD 2.0.

arXiv:1806.00692

Stress Test Evaluation for Natural Language Inference

Natural language inference (NLI) is the task of determining if a natural language hypothesis can be inferred from a given premise in a justifiable manner. NLI was proposed as a benchmark task for natural language understanding. Existing models perform well at standard datasets for NLI, achieving impressive results across different genres of text. However, the extent to which these models understand the semantic content of sentences is unclear. In this work, we propose an evaluation methodology consisting of automatically constructed "stress tests" that allow us to examine whether systems have the ability to make real inferential decisions. Our evaluation of six sentence-encoder models on these stress tests reveals strengths and weaknesses of these models with respect to challenging linguistic phenomena, and suggests important directions for future work in this area.

arXiv:2610.15732v1cs.CL

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

arXiv:2610.13797v1cs.CL

REFLECT: 감성, 감정, 공손함, 격식성에 대한 역할 인식 탐지

REFLECT: Role-Aware Detection of Sentiment, Emotion, Politeness, and Formality

대화에서 의사소통적 의미를 탐지하기 위해서는 어휘적 내용뿐 아니라 감성, 감정, 공손함, 격식성(SEPF)이 표현되는 참여자 역할 구조도 모델링해야 한다. 기존 접근법들은 문맥적 언어 표현에 의존하면서 의미역(semantic role)은 암묵적으로 남겨둔다. 본 연구에서는 네 가지 SEPF 차원을 이론에 기반한 의미역 레이블링(Semantic Role Labeling, SRL) 구성에 매핑하고, 이 구성을 트랜스포머의 셀프 어텐션(self-attention) 메커니즘에 직접 통합하는 역할 인식(role-aware) 트랜스포머 아키텍처를 제안한다. 역할 인식 어텐션은 방향성이 없는 내적 상태(감성 및 감정)를 모델링하며, 방향성을 갖는 역할 인식 어텐션은 외적 신호(공손함 및 격식성)에 대한 발화자-수신자(initiator-to-recipient) 관계를 포착한다. 이렇게 얻어진 역할 인식 표현은 의미역을 보조 특징(feature) 벡터로 덧붙이는 방식이 아니라, 각 입력이 기여하는 역할 정보의 양을 적응적으로 가중하는 학습된 게이트(gate)를 통해 문맥 임베딩(contextual embedding)과 융합된다. 네 개의 벤치마크(benchmark) 데이터셋에 걸쳐, 이 프레임워크는 강력한 BERT 기반 베이스라인에 비해 감정, 공손함, 격식성에서 통계적으로 신뢰할 수 있는 성능 향상을 보였으며, 그 향상은 저빈도의 복잡한 감정이나 매우 공손한 표현과 같이 이론적으로 예측된 경우에 집중되었다. 반면 감성에서의 향상은 미미하고 통계적으로 유의하지 않았는데, 이는 감성이 참여자 역할 구조보다는 어휘 선택을 통해 더 많이 전달됨을 시사한다. 실제 데이터에 대한 추가 평가는 이 프레임워크가 예측 성능과 모델 추적 가능성(traceability)을 모두 향상시킨다는 것을 보여준다. 이러한 결과는 트랜스포머 셀프 어텐션에 대한 언어학적으로 근거 있는 수정이 의사소통적 의미 탐지를 향상시키고, 벤치마크 데이터셋을 넘어 실제 정신 건강(mental-health) 데이터로도 일반화되며, 예측 성능을 넘어 해석 가능성(interpretability)까지 확장하는 추적 가능하고 역할에 근거한 설명을 제공함을 보여준다.

arXiv:2610.13794v1cs.CL

단순한 평가를 넘어서: 언어 모델의 담화 표지 민감도에 관한 사례 연구

Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models

담화 표지(discourse particle)는 대화 문맥과 화자의 태도를 반영하여 담화의 흐름을 미묘하게 형성하며, 진리 조건적 의미(truth-conditional meaning)는 그대로 두는 경우가 많습니다. 또한 담화 표지는 서로 다른 의미가 다른 표지와 부분적으로 겹치는 다기능성(polyfunctional)을 띠는 경우가 흔하며, 예를 들어 영어의 "just"와 "only"의 배타적 용법("John only/just drinks water")이 이에 해당합니다. 자연어에서 이러한 단어들의 빈번한 사용에도 불구하고, 그 효과의 미묘한 특성으로 인해 대체로 연구되지 않았습니다. 본 연구에서는 행동 분석 및 기제 분석(mechanistic analysis)을 통해 자연스러운 대화에서 "just"와 "only"에 대한 대규모 언어 모델(LLM)의 민감도를 조사합니다. 첫째, LLM과 인간 모두 문맥 내에서 이러한 표지가 존재하는 것을 비슷하게 선호하며, 둘 다 "only"에 비해 "just"에 더 민감하다는 점을 발견했습니다. 둘째, 이러한 표지가 있거나 없는 상태에서 LLM으로부터 샘플링할 때, LLM은 원본 문맥이 주어졌을 때의 생성 결과를 일관되게 더 높은 확률로 평가하여 표지 민감도를 입증했습니다. 두 실험 모두에서 지시 미세조정(instruction tuning)은 민감도를 증가시킵니다. 마지막으로, LLM 내에서 표지 민감 유닛(unit)을 국소화한 결과 "just"와 "only" 사이의 중첩이 비대칭적임을 확인했습니다. 즉, "only" 유닛은 배타적 "just"에 선택적으로 전이되는 반면, 모든 "just" 유닛은 의미에 관계없이 동일하게 "only"로 잘 전이되어 LLM의 어휘 수준 표지 표현이 부분적으로 의미별로 구조화되어 있음을 시사합니다. 저희는 코드, 의미 라벨이 부착된 대화 자극 자료, 인간 선호도 주석을 https://github.com/JiahuiKChen/Not_Just_an_Evaluation 에 공개합니다.

arXiv:2610.10758v1cs.CL

명확화 후 집중: 대규모 대화 분석을 위한 진술 정규화

Clarify, Then Focus: Statement Normalization for Conversation Analytics at Scale

기업의 대화 분석에서는 수백만 건의 대화 상호작용을 대상으로 다양한 질문을 던집니다. 각 질문마다 발화자의 의도를 재구성하고 중요한 정보를 식별해야 하므로, 동일한 대화 기록에 대해 비용이 큰 해석 작업이 반복될 수 있습니다. 본 연구에서는 '텍스트를 먼저 명확히 한 후, 독자가 집중하도록 만든다'는 간단한 원칙을 제안합니다. 진술 정규화(statement normalization)는 대화를 출처 참조 및 의미론적 태그가 포함된 화자별 짧은 진술로 변환합니다. 이러한 진술은 의미를 더욱 명확하게 만들며, 태그는 특정 질문에 필요한 근거 선택을 지원합니다. 다운스트림 모델은 의사결정에 도움이 되는 바에 따라 전체 표현을 사용하거나 관련 하위 집합을 선택적으로 활용할 수 있습니다. 고객 서비스 통화 데이터 기반의 제안 억제(offer-suppression) 작업에서, 정규화는 선택 과정 없이도 지도학습 분류기의 성능을 개선했으며 상대적으로 약한 프롬프트 기반 독자 모델은 정규화와 근거 선택 모두에서 이점을 얻었습니다. 소형 모델로도 정규화 규칙을 학습할 수 있으며, 경량 인코더가 태깅과 다운스트림 의사결정을 처리합니다. 여러 질문에 걸쳐 이러한 사전 가공 결과를 공유함으로써 소형 모델만으로 구성된 추론 파이프라인을 구축할 수 있어, 수백만 건의 대화에 대한 분석 비용을 크게 절감할 수 있습니다.

arXiv:2607.21574v2cs.CL

서프라이즈 이론은 동어반복이다 (합리적 그라운딩이 없다면)

Surprisal Theory is Tautological (without Rational Grounding)

서프라이즈 이론(Surprisal theory)은 맥락 속 언어 단위에 대한 인간의 처리 난이도가 어떤 언어 모델(language model) 하에서 해당 단위가 갖는 서프라이즈(surprisal)의 아핀 함수(affine function)라고 주장한다. 본 논문은 추가적인 제약이 없다면 이러한 주장이 동어반복(tautology)에 불과하다고 논증한다. 완만한 기술적 조건 하에서, 맥락 속 단위에 대한 임의의 음이 아닌(non-negative) 난이도 척도에 대해 서프라이즈가 그 난이도의 아핀 함수가 되는 언어 모델이 항상 존재하기 때문이다. 따라서 어떠한 난이도 패턴도 특정 언어 모델과 일치할 수 있으므로, 언어 모델에 대한 추가적인 제약이 없다면 서프라이즈 이론은 반증 가능한 예측을 전혀 내놓지 못한다. 이러한 동어반복은 지난 20년간의 심리언어학 연구에 내재되어 있던 가정, 즉 관련 언어 모델이 학습(training) 말뭉치를 생성한 분포이며 말뭉치 적합도를 개선하면 인간 행동에 대한 예측도 개선된다는 가정에 의해 오랫동안 가려져 있었다. 그러나 최근의 실증 연구들은 더 나은 말뭉치 모델이 오히려 처리 난이도를 더 못 맞히는 예측 변수가 될 수 있음을 입증하며 이 가정을 흔들었다. 결론적으로 이러한 동어반복을 타파하기 위해서는 합리주의적 개입(rationalist intervention)이 필요하다. 즉, 관련 언어 모델은 이해자(comprehender)에 대한 비경험적으로 동기 부여된 모델(예컨대 기억 제약이나 처리 목표에 기반할 수 있으며, 따라서 서프라이즈 이론이 설명하고자 하는 행동 데이터에 의존하지 않는 모델)로부터 도출되어야 한다.

arXiv:2607.21445v2cs.CL

트리비아가 결코 사소하지 않을 때: 다국어 LLM의 일상 지식 실패

When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs

퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.

arXiv:2604.07652v2cs.AI

LLM 생성 선언적 명세를 통한 자연어와 인터랙티브 가상 분석(What-If) 인터페이스의 연결

Bridging Natural Language and Interactive What-If Interfaces via LLM-Generated Declarative Specifications

가상 분석(What-If Analysis, WIA)은 사용자가 인터랙티브 인터페이스를 통해 파라미터를 조정하고, 제약 조건을 적용하며, 데이터 범위를 설정함으로써 가상 시나리오를 탐색할 수 있도록 돕습니다. 그러나 기존 도구들은 한계가 있습니다. 스프레드시트 및 BI 도구는 많은 수작업 설정을 필요로 하는 반면, 대규모 언어 모델(LLM)이 생성한 인터페이스는 분석 의도를 잘못 해석하는 경우가 빈번합니다. 명시적인 중간 표현(intermediate representation)이 필요한지, 아니면 LLM이 WIA 인터페이스를 직접 생성할 수 있는지는 여전히 불분명합니다. 본 연구에서는 사람이 직접 작성한 정답 의도를 포함하여 11개 유형 및 5개 데이터셋에 걸친 405개의 WIA 질문으로 구성된 벤치마크를 구축했습니다. 평가 결과, 세 가지 LLM에 걸친 직접적인 원샷(one-shot) 생성은 17~45%의 경우에서 작동 가능한 인터페이스를 생성하지 못했으며, 인터페이스가 렌더링되더라도 질문의 목표(최대 77.5%) 및 제약 조건(최대 58.2%)을 잘못 표현하는 경우가 흔했습니다. 이에 따라 본 논문에서는 자연어(NL) 질문을 Praxa 명세 언어(Praxa Specification Language, PSL) 명세로 변환한 다음 인터페이스로 컴파일하는 2단계 워크플로우를 제시합니다. 오류가 명명된 속성으로 국소화되기 때문에, 직접 생성된 코드의 오류와 달리 분류체계 기반 수정(taxonomy-guided repair)을 통해 정확도를 52.42%에서 80.42%로 향상시킵니다.