arXiv:1608.02082

COREALMLIB: An ALM Library Translated from the Component Library

Daniela Inclezan

제출 2016-08-06

원문 초록

This paper presents COREALMLIB, an ALM library of commonsense knowledge about dynamic domains. The library was obtained by translating part of the COMPONENT LIBRARY (CLIB) into the modular action language ALM. CLIB consists of general reusable and composable commonsense concepts, selected based on a thorough study of ontological and lexical resources. Our translation targets CLIB states (i.e., fluents) and actions. The resulting ALM library contains the descriptions of 123 action classes grouped into 43 reusable modules that are organized into a hierarchy. It is made available online and of interest to researchers in the action language, answer-set programming, and natural language understanding communities. We believe that our translation has two main advantages over its CLIB counterpart: (i) it specifies axioms about actions in a more elaboration tolerant and readable way, and (ii) it can be seamlessly integrated with ASP reasoning algorithms (e.g., for planning and postdiction). In contrast, axioms are described in CLIB using STRIPS-like operators, and CLIB's inference engine cannot handle planning nor postdiction. Under consideration for publication in TPLP.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.00848v4cs.CL공통 태그 Translation, Natural Language Understanding

MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크

MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors

본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.

arXiv:2608.08090v2cs.CL공통 태그 Translation, Natural Language Understanding

통합 속의 지혜: 속담 내 비유적 언어 식별에서 다국어 학습의 역할

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.

arXiv:2604.25031v3cs.CL공통 태그 Translation, Natural Language Understanding

라운드트립 검증과 수정을 통한 충실한 자동 형식화

Faithful Autoformalization via Roundtrip Verification and Repair

LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.

arXiv:2607.12085v1cs.AI공통 태그 Translation, Natural Language Understanding

대화형 에이전트의 다차원 평가 운영화: 선택적 재평가 및 모델 벤치마킹을 갖춘 확장 가능한 거버넌스 파이프라인

Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking

소매 대화형 에이전트를 평가하려면 의도 정렬(intent alignment), 사실성(factuality), 유용성(helpfulness), 명확성(clarity), 톤(tone), 전반적인 응답 품질을 판단하기 위해 어휘 중복(lexical-overlap) 지표를 넘어서는 방법이 필요합니다. LLM-as-a-judge 방법은 인간 평가에 대한 확장 가능한 대안을 제공하지만, 프로덕션 배포는 거버넌스, 재현성, 비용, 스키마 일관성, 추적 가능성, 신뢰성 측면에서 과제를 야기합니다. 우리는 소매 대화형 시스템의 대규모 평가를 위한 거버넌스가 적용된 설정 기반 파이프라인인 GenAI Evaluation을 제시합니다. 이 파이프라인은 프로덕션 챗봇 로그를 정규화, 샤딩, 비동기 실행, 스키마 제약 LLM 채점을 통해 처리합니다. 해당 프레임워크는 유용성, 진실성, 명확성, 톤 정렬, 번역 특화 차원을 평가합니다. 선택적 재평가는 불완전하거나 형식 오류가 있거나 스키마에 맞지 않는 레코드만 처리하며, 스키마 잠금, 버전 관리된 설정, 검증 로그, 레코드 수준 출처 정보가 감사 가능성(auditability)을 지원합니다. 해당 프레임워크는 하루 약 50,000건의 레코드를 처리하며, 200만 건 이상의 상호작용을 평가했습니다. 검증에는 4명의 훈련된 어노테이터가 라벨링한 12,980건의 층화 무작위 인간 라벨 레코드를 사용했습니다. 분류는 14개 의도(intent), 156개 하위 의도(sub-intent), 18개 주요 도메인, 129개 하위 도메인을 포함했습니다. 파이프라인은 거시 F1 점수 0.93과 번역에 대해 89%의 인간 수용 가능성(human-acceptability) 정확도를 달성했습니다.

arXiv:2606.18989v1cs.CL공통 태그 Translation, Natural Language Understanding

G-IdiomAlign: 교차 언어 관용구 정렬을 위한 용어 설명(gloss) 피벗 벤치마크

G-IdiomAlign: A Gloss-Pivoted Benchmark for Cross-Lingual Idiom Alignment

관용구는 비구성성(non-compositionality)과 약한 표면 형식 그라운딩(grounding)으로 인해 언어 간 전환이 어려우며, 이로 인해 직역 매핑은 신뢰할 수 없게 됩니다. 본 논문에서는 각 관용구가 Wiktionary의 영어 용어 설명(gloss)을 기준으로 고정된 용어 설명(gloss) 피벗 벤치마크인 G-IdiomAlign을 제시합니다. 또한 재현 가능한 평가를 위해 고신뢰도 참조 정렬 세트를 추가로 구축했습니다. G-IdiomAlign은 두 가지 프로토콜을 지원합니다: (1) 오차 귀속을 위해 유형이 지정된 오답지(distractors)가 포함된 통제된 객관식 관용구 동등성 평가; (2) 명시적 의미 피벗(semantic pivot)의 효과를 분리하기 위해 용어 설명(gloss)이 없는 입력과 있는 입력을 대조하는 용어 설명(gloss) 대조 생성입니다. 다양한 대규모 언어 모델(LLM)에서 직역에 대한 바이어스(bias)는 지배적인 실패 모드로 나타나며, 특히 목표 언어가 저자원 언어(low-resource language)인 경우에 두드러집니다. 용어 설명(gloss)은 임베딩 기반 의미 프록시(proxy) 하에서 용어 설명(gloss) 대조 생성 성능을 일관되게 향상시키지만, 성능은 여전히 미미한 수준에 머물러 있어 개방형 출력 공간에서 상당한 개선 여지가 있음을 시사합니다. Qwen3-8B에 대한 후속 분석은 조건 간 차이가 레이어보다 어텐션 헤드에 더 집중되어 있음을 추가로 시사하며, 더 우수한 용어 설명(gloss) 포함 생성은 더 강력한 용어 설명(gloss) 앵커링(anchoring)과 일치함을 보여줍니다.

arXiv:2606.17905v1cs.CL공통 태그 Translation, Natural Language Understanding

ChLogic: 중국어 표현에서의 논리적 추론 강건성 평가

ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

대규모 언어 모델(LLM)은 표준화된 논리적 추론 벤치마크에서 점차 더 좋은 성능을 보이지만, 영어 이외의 언어에서도 이 능력이 강건하게 유지되는지는 불분명합니다. 우리는 동일한 잠재적 논리 구조가 영어와 다양한 중국어 표면 실현(surface realizations)으로 표현될 때 모델이 논리적 추론 성능을 유지하는지 테스트하는 영어-중국어 정렬 벤치마크인 ChLogic을 소개합니다. 형식적 논리 템플릿으로 구축된 이 벤치마크는 세 가지 데이터셋을 포함합니다: (i) 9개의 템플릿 패밀리에 걸친 60개의 일반 명제(General Propositions)에서 파생된 General aligned set, (ii) 40개의 난제(Difficult Problems)에서 파생된 Difficult aligned set, (iii) 15개의 언어 특정 현상 유형을 다루는 Chinese-only set. 각 정렬된 항목은 하나의 영어 참조 표현과 다섯 개의 중국어 실현을 쌍으로 구성합니다. Qwen3, Ministral, GLM 모델에 대한 실험 결과, 지속적인 영어-중국어 성능 격차가 드러났습니다. 표준 중국어에서 영어로의 역번역(back-translation)은 General aligned set에서 성능을 향상시키는 경우가 많지만, Difficult aligned set에서는 혼재된 결과를 보이며, 여기서 Qwen3-32B와 GLM-5.1은 번역 후 성능이 저하되었습니다. 이러한 결과는 중국어 표면 실현, 번역 아티팩트(artifacts), 그리고 모델 특정 행동이 다국어 논리적 추론에 공동으로 영향을 미침을 시사합니다. 전반적으로, ChLogic은 다국어 추론의 강건성에 대한 유용한 스트레스 테스트를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.