로켓 과학만큼이나 쉬운 일: 대규모 언어 모델의 비유적 언어 내 부정 해석 능력 평가
As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language
한국어 초록
비유적 언어(figurative language)와 부정(negation)은 현재 언어 모델에게 도전적인 두 가지 영역이지만, 구어와 문어 전반에 걸쳐 널리 사용됩니다. 대규모 언어 모델(LLM) 또한 특정 데이터셋(dataset)에 반드시 튜닝(tuning)될 수 없는 일상적인 맥락에서 널리 사용됩니다. 따라서 부정과 비유적 언어를 모두 포함하는 텍스트를 LLM이 올바르게 해석하는 능력을 이해하는 것이 필수적입니다. 이를 조사하기 위해, 우리는 기존 비유적 언어 데이터셋(dataset)에 새로운 어노테이션(annotation) 세트를 추가하고, 해당 데이터셋에서 다양한 언어 모델을 테스트했습니다. 우리는 부정과 비유적 표현의 결합이 특별한 도전 과제가 될 수 있음을 발견했으며, 전체적인 성능과 다양한 부정 유형에 걸친 성능은 사용된 프롬프트(prompt) 스타일에 특히 의존적임을 확인했습니다.
원문 초록
Figurative language and negation are two areas that challenge current language models, however, both are widely used throughout written and spoken language. Large language models (LLMs) are also widely used in everyday contexts where they cannot necessarily be tuned for a specific dataset. It is therefore essential to understand the ability of LLMs to correctly interpret text that includes both negation and figurative language. To investigate this, we develop a set of new annotations to an existing dataset of figurative language, and test a range of language models on the dataset. We find that the combination of negation and figurativeness can present a particular challenge, and that performance overall and across different negation types is particularly dependent on the prompt style used.
요약
비유적 언어 데이터셋 Fig-QA에 부정·은유/직유 등 새 어노테이션을 추가하고 다양한 대규모 언어 모델(LLM)을 평가한 결과, 부정과 비유적 표현이 결합될 때 해석이 특히 어려운 과제가 되며 전체 성능과 부정 유형별 성능 모두 사용한 프롬프트(prompt) 스타일에 크게 의존함을 확인했습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18922v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MoPrO-SD: 입장 탐지를 위한 모듈형 프롬프트 최적화
MoPrO-SD: Modular Prompt Optimization for Stance Detection
입장 탐지(stance detection)는 암묵적인 의견, 반어법, 맥락 의존적인 입장 표현으로 인해 대규모 언어 모델(LLM)에 여전히 어려운 과제로 남아 있습니다. 자동 프롬프트 최적화는 모델 가중치를 업데이트하지 않고도 미세조정의 대안을 제공하지만, 기존의 구조화된 접근 방식들은 입장 레이블의 의미론과 클래스별 모호성에 맞추어 특별히 설계되지 않았습니다. 본 연구에서는 프롬프트를 기능적 의미 모듈로 분해하고 LLM 기반 피드백을 사용하여 순차적으로 정제하는 입장 특화 프롬프트 최적화 프레임워크인 MoPrO-SD를 소개합니다. 저자들은 입장 레이블 정제를 위해 클래스 조건부 오류를 활용하는 세 가지 정제 전략인 지시문 전용 최적화(I), 추론을 포함한 지시문(I+R), 예시별 추론을 포함한 지시문(I+R+E)을 연구합니다. 또한 백신 입장 탐지를 위해 사람이 직접 주석을 단 새로운 벤치마크인 VaccineStance를 소개합니다. 4개 데이터셋과 5개 공개 가중치 LLM에 걸친 실험 결과, MoPrO-SD는 많은 환경에서 사람이 작성한 기본(Base) 프롬프트보다 성능을 향상시키는 것으로 나타났습니다. SemEval-2016에서 클래스 조건부 피드백은 5개 백본 중 4개에서 풀링된(pooled) 피드백보다 더 높은 평균 Macro-F1을 달성했습니다. 추론 기반 전략인 I+R과 I+R+E는 모두 강력한 성능을 달성했으며, 모델 및 데이터셋에 따라 상대적인 효과는 달랐으나 최근의 프롬프트 최적화 기법들과 비교하여 경쟁력을 유지했습니다. MoPrO-SD 코드와 VaccineStance 데이터셋은 GitHub에서 이용할 수 있습니다.
프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO
How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation
자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.
Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
Jev 스타일 타입 기반 결정 모델에서 레이블이 정의를 압도하는 현상
Labels Override Definitions in Jev-Style Typed Decision Models
타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.
VERSE: 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저
VERSE: Verified Self-Evolving Optimizer for Agent Harnesses
하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.
SoftGene: 해석 가능한 유전자 세트 주석을 위한 단백질 언어 모델 강화 소프트 프롬프팅
SoftGene: Protein Language Model-Enhanced Soft Prompting for Interpretable Gene Set Annotation
유전자 세트 분석(gene set analysis)은 기능 유전체학(functional genomics)의 초석이지만, 여전히 노동 집약적이며 수작업 큐레이션 및 전문가의 생물학적 해석에 크게 의존하고 있습니다. 대규모 언어 모델(LLM)이 유전체 추론 및 주석을 위한 강력한 도구로 부상했으나, 기존 접근 방식의 대부분은 기호적 유전자 이름에 의존하며 도메인 특화 생물학적 구조, 특히 분자 활성, 상호작용 및 다운스트림 유전자 기능을 지배하는 단백질 서열 정보를 포착하지 못합니다. 본 연구에서는 유전자 세트의 계층적 구조를 활용하는 LLM 기반 유전자 세트 주석을 위한 새로운 프레임워크인 SoftGene을 제안합니다. 첫째, 단백질 언어 모델(protein language model)인 ESM을 기반으로 구축된 계층적 어텐션(hierarchical attention) 기반 인코더를 사용하여 단백질 수준의 아미노산 서열 정보로 각 유전자 세트를 표현합니다. 둘째, 유전자 세트 임베딩(embedding)에서 파생된 소프트 프롬프트(soft prompt)와 LLM이 생성한 보조 컨텍스트를 포함하는 하드 프롬프트(hard prompt)를 결합하는 하이브리드 프롬프팅 기법을 구성하고, 그 결과로 생성된 프롬프트를 주석 생성을 위해 로컬 LLM에 입력합니다. Gene Ontology(GO)와 Molecular Signatures Database(MSigDB)라는 두 가지 벤치마크 데이터셋에서 프레임워크를 평가합니다. 실험 결과는 단백질 서열 표현을 텍스트 컨텍스트와 통합함으로써 전반적인 유전자 세트 주석 성능이 향상됨을 보여주며, 도메인별 분석을 통해 단백질 임베딩의 기여도가 생물학적 도메인에 따라 달라진다는 점을 밝혀냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.