LLM의 부상 이후 NLP 연구자들이 *ACL 학회 대신 NeurIPS, ICLR, ICML 등 일반 머신러닝(ML) 학회로 이동하는 현상을 2010~2026년 14만여 편의 논문을 분석해 실증적으로 검증한 연구로, 기성 저자들의 General-ML 게재 비중이 8.6%p 상승하고 신진 저자 중 *ACL 중심 비율이 84%에서 74%로 하락했으며, 인과추론 기법으로 추정한 일반 ML 학회의 피인용 프리미엄이 이러한 이동의 주요 유인임을 밝혔다.
MER-TRANS 2026 공유 과제의 스페인어 트랙에서 HULAT2-UC3M 팀은 LangGraph 기반 다중 에이전트(multi-agent) 워크플로우를 활용해 Gemini 2.5 Flash와 RigoChat-7B-v2를 결합한 Easy-to-Read 텍스트 자동 생성 시스템을 제출했다. Event-Condition-Action 라우팅과 내부 품질 신호 기반의 신호 유도 다중 에이전트 방식(RUN1, SARI 44.05)이 선형 재생성 베이스라인(RUN3, SARI 38.51)을 능가했으며, 어휘 지원 레이어 추가(RUN2)가 참조 기반 점수를 자동으로 개선하지는 않는다는 점도 확인되었다.
대규모 언어 모델(LLM)이 전례 없는 규모로 단일언어 중심의 문화적 매개체 역할을 수행하는 현실을 진단하며, 비교문학·서사론·세계문학·번역 이론 등 문학 연구의 방법론을 AI 문화 리터러시 구축에 적용하는 계층적 프레임워크를 제안한다. 특히 구조적 단일언어주의(structural monolingualism), 텍스트 유통, 번역 불가능성을 축으로 글로벌 AI 텍스트성을 분석하는 세계문학적 접근의 새로운 적용 가능성을 탐색한다.
오픈 스킬 마켓플레이스에서 개별적으로 안전한 LLM 에이전트 스킬들이 함께 활성화될 때 의도치 않은 목표(암묵적 의도, implicit intent)를 유발하는 문제를 다루며, 이를 실행 환경 없이 탐지하기 위해 스킬 계약(skill contract) 추출과 Monte Carlo Tree Search 기반의 퍼징(fuzzing) 기법인 SkillFuzz를 제안한다. 고정된 쿼리 예산 내에서 1,000개 이상의 암묵적 의도를 발견하고 상위 위험 조합의 80% 이상을 실행 시 검증하여 기존 탐색 전략 대비 높은 위험도의 암묵적 의도를 더 많이 식별하였다.
CheckRLM은 추론 언어 모델(RLM)의 긴 사고 체인에서 발생하는 사실 오류와 오류 누적(error accumulation) 문제를 해결하기 위해, 추론 중간 단계에서 사실 주장(knowledge claim)을 실시간으로 인식·추출하고 검색-증강 생성(RAG)을 통해 최소 비용으로 정밀 교정하는 프레임워크를 제안한다. 광범위한 실험에서 CheckRLM은 기존 베이스라인을 크게 상회하며 추론 시간과 토큰 소비를 줄이면서도 우수한 성능을 달성했다.
LLM-as-a-Judge 패러다임이 다국어 및 저자원 언어 환경으로 확장되는 현황을 파악하기 위해, ACL Anthology의 650편 중 해당 설정에 초점을 맞춘 33편을 심층 분석한 결과, 평가 결과의 불일치, LLM 판단에 대한 과신, 단일 판사 모델 의존이라는 문제가 반복적으로 나타났다. 저자들은 이러한 분석을 바탕으로 자연어 처리(NLP) 커뮤니티가 다국어·저자원 환경에서 LLM-as-a-Judge를 보다 신뢰성 있게 활용하기 위한 구체적인 권고 사항을 제시한다.
음성 시퀀스가 텍스트 대비 최대 20배 길어 인스트럭션 튜닝 데이터 확장이 극히 어려운 문제를 해결하기 위해, SpeechCombine은 텍스트 대규모 언어 모델(LLM)의 인스트럭션 튜닝 가중치 차분(Δθ_inst)과 30k 시간 음성 사전학습으로 얻은 음성 적응 가중치 차분(Δθ_speech)을 파라미터 공간에서 선형 결합하는 모델 병합(model merging) 방식을 제안한다. 별도의 인스트럭션 튜닝 없이도 텍스트 지향, 음성 이해, 음성 생성 등 세 가지 범주의 인스트럭션 팔로잉 능력이 음성 도메인으로 효과적으로 전이됨을 실험으로 입증했다.
HaloGuard 1.0은 Anthropic의 Constitutional Classifiers 패러다임을 최초로 오픈 웨이트로 구현한 다국어 입력 안전성 분류기로, 46개 헌법 정책과 2,940개 하위 범주로 구성된 안전성 헌법을 합성 데이터 생성의 중심 구조로 삼아 유해 의도와 무해 경계 사례를 세밀하게 구분한다. HaloGuard 1.0-0.8B는 7개 프롬프트 안전성 벤치마크에서 평균 F1 90.9를 달성해 최대 27B 규모의 오픈 가드 모델을 능가하며, 4B 변형은 F1 92.1, FPR 3.5를 기록해 현재 최고 성능을 보인다.
위기 상황(스트레스, 공황, 고독, 내부 피난, 긴장)에서 대규모 언어 모델(LLM)의 영어-우크라이나어 간 공감 능력과 문화적 그라운딩을 평가하기 위해 500개 프롬프트로 구성된 SPLIT 벤치마크를 제안한다. 평가 결과 Gemini-2.5-Flash와 LLaMA-3.3-70B-Instruct는 우크라이나어 응답 시 성능이 저하된 반면 DeepSeek-V3는 비교적 안정적이었으며, 우크라이나어 텍스트 생성이 우크라이나어 정서 지원과 동일하지 않음을 실증적으로 보였다.
OpenSafeIntent는 동일한 작업에 대해 무해(benign), 이중 사용(dual-use), 악의적(malicious) 의도 변형을 포함한 통제된 프롬프트 세트를 단위로 삼아, 대규모 언어 모델(LLM)이 의도 변화에 따라 지원 수준을 적절히 조정하는지 평가하는 벤치마크다. 다양한 모델을 대상으로 한 실험에서 평균 안전성 지표는 중요한 실패를 감추며, 이중 사용 프롬프트에서의 모델 행동은 표현 변화에 취약하고 의도 전환에 일관되게 대응하지 못한다는 사실이 드러났다.
EduArt는 이탈리아 고등학교 문제와 미국 AP 미술사 시험에서 수집한 871개의 인간 저작 문항으로 구성된 멀티모달 대규모 언어 모델(LLM) 평가용 미술사 벤치마크로, 다중 선택부터 오류 식별까지 7가지 문제 형식을 포함한다. 일부 모델이 다중 선택에서 94% 이상의 정확도를 보인 반면, 개방형 완성 문항에서는 23.9%(Claude Opus 4.6), 오류 식별 문항에서는 6.2%(Claude Sonnet 4.6)로 급락하여, 단일 형식 벤치마크가 모델의 실제 역량을 과대평가함을 입증했다.
LLM이 생성한 JSON 출력물을 정형 구조를 고려해 결정론적으로 채점하는 오픈소스 Python 라이브러리 Object Aligner(OA)를 소개하며, 헝가리안 알고리즘과 Weisfeiler-Leman 색상 세분화를 활용한 참조 정렬(referential alignment)로 식별자 재번호 매기기에 불변하는 그래프·하이퍼그래프 유사도 점수를 제공한다. GEPA 프롬프트 최적화기의 보상 신호로 사용했을 때 모든 데이터셋에서 성능이 향상되거나 유지되었으며, 별도의 LLM 호출 없이 순위가 매겨진 수정 제안도 생성한다.
Rewriting inputs to improve frozen downstream models has become a common strategy in modern NLP pipelines. Prior work on incremental dialogue discourse parsing (DDP) shows that supervised clarification models can rewrite fragmentary or underspecified utterances, such as resolving ellipsis or references, to improve parsing accuracy. In this work, we revisit this idea under realistic deployment conditions, where no clarification supervision is available and the clarifier must rely on zero-shot prompting or feedback from a frozen parser. Across three Segmented Discourse Representation Theory (SDRT) datasets and multiple parsers, we find that last-utterance clarification is far less reliable than suggested by supervised settings. Parser-agnostic rewriting often introduces more regressions than repairs, as edits that enable fixes also disrupt discourse cues relied upon by the parser. A best-of-8 rewriting analysis further reveals a practical ceiling: a large fraction of errors are not repairable through input rewriting alone. A parser-aware clarifier trained with GRPO reduces regressions by up to 37% by learning conservative abstention, yet still fails to produce selectivity-aware clarifications that consistently improve parsing. Together, these findings recast clarification as a selective intervention problem. We identify rewritability prediction, deciding whether an utterance is repairable before intervention, as the key missing capability for input-side optimization of frozen discourse parsers, and a critical direction for improving agentic pipelines more broadly.
IWSLT 2026 인스트럭션 기반 음성 처리 단축 트랙에 대한 NAVER LABS Europe의 제출 시스템으로, ASR 데이터만으로 음성-LLM 임베딩 프로젝터를 학습하는 SpeechMapper와 합성 과학 발표 데이터셋 fakACL을 도입해 다국어 ASR·ST·SQA를 수행한다. 개선된 음성 프로젝션 메커니즘과 도메인 특화 합성 데이터의 결합으로 전년도 최우수 시스템을 능가하면서도 더 경량화된 모델로 올해 단축 트랙 공동 1위를 달성했다.
Llama-3.1-8B, Qwen2.5-7B, Mistral-7B를 대상으로 기후변화·백신·진화론에 대한 사용자 회의론에 LLM이 어떻게 반응하는지를 행동 측정과 선형 프로빙(linear probing), 활성화 패칭(activation patching)으로 분석한 결과, 예상과 달리 어떤 모델도 거짓 균형(false balance) 쪽으로 후퇴하지 않았으며 Llama의 반응적 주장 강화, Qwen의 표면적 어조 완화, Mistral의 무반응이라는 세 가지 이질적 정책이 관찰되었다. 이 행동 차이는 정렬 태도가 아닌 표현 기하학(representational geometry)—즉 모델이 회의론 신호를 내부적으로 선형 표현하는지 여부—에서 비롯되며, 견고성이 도메인 간에 전이되지 않고 백신 도메인에서는 오히려 역전될 수 있어 행동 평가만으로는 능동적 견고성과 우연적 견고성을 구별할 수 없다고 주장한다.
K-12 교육 환경에서 대규모 언어 모델(LLM)이 생성한 교수 설명의 교육적 위험을 평가하기 위한 데이터셋 AIriskEval-edu-db2를 소개하며, 1,639개의 설명에 사실 정확성·설명 깊이·초점·학습자 적합성·이념적 편향의 5개 차원 위험 루브릭과 785개의 설명 가능성 주석을 포함한다. 경량 로컬 모델인 Llama 3.1 8B를 AIriskEval-edu-db2로 파인튜닝하면 Gemini 2.5 Pro 및 GPT-5.5 등 최신 독점 모델에 준하거나 이를 능가하는 교육적 위험 탐지 성능을 달성할 수 있음을 실험으로 검증했다.
Qwen3.5-27B를 튀르키예어 추론에 특화시키기 위해 최종 답변뿐 아니라 `<think>` 블록 내부의 추론 과정 자체를 튀르키예어로 생성하도록 SFT(15,991개 예시)와 GRPO 계열 강화학습을 순차적으로 적용하는 TÜDÜM 파이프라인을 제안한다. SFT는 추론 언어 일관성을 높였으나 벤치마크 정확도를 저하시켰고, RL이 일부를 회복했지만 Macro-6 평균(78.1)은 베이스 모델(81.7)을 넘지 못해 기술적으로 정직한 평가 결과를 보고한다.
Driver(코드 작성)와 Navigator(검증 증거 기반 리뷰) 두 에이전트가 페어 프로그래밍 방식으로 협업하는 PairCoder 프레임워크를 제안하며, 오류 지속 시 역할 전환 메커니즘을 통해 컴파일러·렌더러 등 툴체인 결과를 리뷰에 직접 반영한다. 17개 공개 벤치마크와 3개 벤더의 7개 모델에서 검증 가능한 아티팩트 생성 태스크 전반에 걸쳐 성능이 향상되었으며(예: Blender 씬 실행 가능성 0.20→0.78, TikZ 컴파일률 10~30%p 상승), 단일 모델 대비 약 2.9~9.2배의 토큰 비용으로 달성되었다.
학술 논문 데이터셋에서 검색-증강 생성(RAG) 시스템의 청킹(chunking) 전략을 평가한 연구로, 고정 크기, 재귀적, 클러스터 기반 의미론적 청킹을 RAGAs 프레임워크로 비교했다. 실험 결과, 클러스터 기반 청킹이 계산 비용이 높음에도 더 단순한 전략보다 일관된 성능 향상을 보이지 않았으며, RAGAs의 faithfulness 지표는 44%의 높은 실패율로 신뢰성이 제한적임이 확인됐다.
스티어링 벡터(steering vector)를 활용한 제어 텍스트 생성의 한계를 PLUME 벤치마크에서 36가지 선호 특성, 두 가지 태스크 전이(task transfer), 최대 4개 벡터 조합 실험을 통해 체계적으로 분석한 연구로, Qwen2.5-7B-Instruct와 Llama3.1-8B-Instruct에서 특성 유형별 조정 효과 편차가 크고 다중 벡터 합성 시 특성 표현과 출력 일관성이 모두 저하됨을 밝혔다.