arXiv:2606.18989v1 cs.CL

G-IdiomAlign: 교차 언어 관용구 정렬을 위한 용어 설명(gloss) 피벗 벤치마크

G-IdiomAlign: A Gloss-Pivoted Benchmark for Cross-Lingual Idiom Alignment

Fengying Ye, Yanming Sun, Runzhe Zhan, Zheqi Zhang, Lidia S. Chao, Derek F. Wong

제출 2026-06-17

한국어 초록

관용구는 비구성성(non-compositionality)과 약한 표면 형식 그라운딩(grounding)으로 인해 언어 간 전환이 어려우며, 이로 인해 직역 매핑은 신뢰할 수 없게 됩니다. 본 논문에서는 각 관용구가 Wiktionary의 영어 용어 설명(gloss)을 기준으로 고정된 용어 설명(gloss) 피벗 벤치마크인 G-IdiomAlign을 제시합니다. 또한 재현 가능한 평가를 위해 고신뢰도 참조 정렬 세트를 추가로 구축했습니다. G-IdiomAlign은 두 가지 프로토콜을 지원합니다: (1) 오차 귀속을 위해 유형이 지정된 오답지(distractors)가 포함된 통제된 객관식 관용구 동등성 평가; (2) 명시적 의미 피벗(semantic pivot)의 효과를 분리하기 위해 용어 설명(gloss)이 없는 입력과 있는 입력을 대조하는 용어 설명(gloss) 대조 생성입니다. 다양한 대규모 언어 모델(LLM)에서 직역에 대한 바이어스(bias)는 지배적인 실패 모드로 나타나며, 특히 목표 언어가 저자원 언어(low-resource language)인 경우에 두드러집니다. 용어 설명(gloss)은 임베딩 기반 의미 프록시(proxy) 하에서 용어 설명(gloss) 대조 생성 성능을 일관되게 향상시키지만, 성능은 여전히 미미한 수준에 머물러 있어 개방형 출력 공간에서 상당한 개선 여지가 있음을 시사합니다. Qwen3-8B에 대한 후속 분석은 조건 간 차이가 레이어보다 어텐션 헤드에 더 집중되어 있음을 추가로 시사하며, 더 우수한 용어 설명(gloss) 포함 생성은 더 강력한 용어 설명(gloss) 앵커링(anchoring)과 일치함을 보여줍니다.

원문 초록

Idioms are difficult to transfer across languages due to their non-compositionality and weak surface-form grounding, making literal mappings unreliable. We present G-IdiomAlign, a gloss-pivoted benchmark where each idiom is anchored by an English gloss from Wiktionary. We further construct a high-confidence reference alignment set for reproducible evaluation. G-IdiomAlign supports two protocols: (1) a controlled Multiple-Choice Idiom Equivalence with typed distractors for error attribution; and (2) a Gloss-Contrastive Generation contrasting No-gloss and With-gloss inputs to isolate the effect of an explicit semantic pivot. Across diverse LLMs, a bias to literal translation is a dominant failure mode, especially when the target is a low-resource language. Glosses consistently improve Gloss-Contrastive Generation under an embedding-based semantic proxy, but performance remains modest, indicating substantial headroom in the open output space. Subsequent analysis on Qwen3-8B further suggests that cross-condition differences are concentrated more in attention heads than in layers, while better With-gloss generations coincide with stronger gloss anchoring.

요약

관용구의 비구성성으로 언어 간 의미 전환이 어렵다는 문제를 다루기 위해 Wiktionary 영어 gloss를 의미 피벗으로 삼은 G-IdiomAlign 벤치마크를 제시하고, 객관식 동등성 평가와 gloss 대조 생성 두 프로토콜로 재현 가능한 진단 평가를 제공한다. 다양한 LLM에서 직역 편향이 지배적 실패 모드로 나타나며 저자원 언어에서 특히 두드러지고, gloss는 임베딩 기반 의미 프록시 하에서 생성 성능을 일관되게 높이지만 전반적 수준은 여전히 낮아 개선 여지가 크다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18989v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10918v1cs.CL공통 태그 Machine Translation, Benchmarking, Large Language Model

기계 번역 품질 어노테이션을 위한 대규모 언어 모델: 인간과 모델 모두가 겪는 어려움

Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged

대규모 언어 모델(LLM)은 기계 번역(MT) 평가에서 인간의 판단을 대체할 수 있는 더 효율적이고 비용 효과적인 대안으로 여겨진다. 기계 번역 평가는 매우 많은 언어 쌍, 도메인, 어노테이션 세분화 수준에 걸쳐 이루어지므로, LLM이 인간 평가의 신뢰할 수 있는 대안으로 사용되기 전에 이러한 차원들에 대해 철저히 평가되어야 한다. 본 논문에서는 두 가지 주요 기계 번역 품질 평가 체계인 다차원 품질 지표(Multidimensional Quality Metrics, MQM)와 오류 구간 어노테이션(Error Span Annotation, ESA)에 대해 LLM의 성능을 인간 어노테이터와의 일치도를 비교하여 평가한다. 우리는 70개 언어 쌍으로 구성된 롱 컨텍스트(long-context) 테스트 셋과 공개적으로 이용 가능한 WMT23 및 WMT25 데이터에 대한 결과를 제시하며, 다양한 언어 쌍과 도메인에 걸쳐 점수 및 오류 구간 어노테이션 일치도를 모두 조사한다. 우리의 결과는 일부 평가 과제에서 LLM과 인간 어노테이터 간의 일치도가 인간 어노테이터 간의 일치도를 초과하지만, 두 일치도 모두 어노테이션 체계, 언어 쌍, 도메인에 따라 크게 달라지며 대부분의 설정에서 여전히 신뢰할 수 없음을 보여준다. 더 나아가 우리는 인간과 LLM 어노테이터가 모두 직면하는 과제를 확인하였다: 인간은 특히 세분화된 MQM 어노테이션과 저자원(low-resource) 언어 쌍에서 어려움을 겪는 반면, LLM은 미세한 오류, 잘못된 언어 변이형, 오류 구간 어노테이션에서 어려움을 겪는다. 우리의 결과는 인간과 LLM 어노테이션 성능 모두에 개선의 가능성이 있음을 강조하며, 이는 본 연구에서 확인된 신뢰성 문제를 해결하는 인간-LLM 협업 어노테이션 파이프라인을 통해 가능할 수 있다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15710v1cs.AI공통 태그 Benchmarking, Large Language Model

제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가

Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate

어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.

arXiv:2610.15732v1cs.CL공통 태그 Benchmarking, Natural Language Understanding

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.