순차 컴퓨팅에서 병렬 컴퓨팅으로의 전환은 현대 고성능 애플리케이션에 필수적이지만, 동시성 프로그래밍의 가파른 학습 곡선으로 인해 어려움을 겪고 있다. 이 과제는 정적 스케줄링이 실패하고 데이터 의존성이 예측 불가능한 비정형 데이터 구조(희소 그래프, 불균형 트리, 비균일 메시 등)에서 더욱 심화된다. 현재 대규모 언어 모델(LLM)은 이러한 작업에서 치명적인 실패를 겪는 경우가 많으며, 미묘한 레이스 컨디션(race condition), 교착 상태(deadlock), 비최적 스케일링 문제가 있는 코드를 생성한다. 우리는 비정형 데이터에 대한 고성능 병렬 알고리즘을 합성하도록 설계된 프레임워크인 ParEVO로 이 격차를 해소한다. 우리의 기여는 다음과 같다: (1) Work-Span 병렬 프리미티브를 효과적으로 활용하는 경험적으로 성능이 우수한 알고리즘을 명시적으로 필터링하는 "Critic-Refine" 파이프라인을 통해 합성된 13,820개 작업으로 구성된 정제된 데이터셋인 Parlay-Instruct Corpus; (2) 확률적 생성을 ParlayLib 라이브러리의 엄격한 의미론과 정렬하도록 파인튜닝된 특화된 DeepSeek, Qwen, Gemini 모델; (3) 컴파일러, 동적 레이스 감지기, 성능 프로파일러의 피드백을 활용하여 코드를 반복적으로 수정함으로써 정확성의 "마지막 단계"를 개선하는 진화적 코딩 에이전트(ECA, Evolutionary Coding Agent). ParEval 벤치마크에서 ParEVO는 전체 스위트에 걸쳐 평균 106배 속도 향상(최대 1,103배)을 달성하고, 복잡한 비정형 그래프 문제에서 13.6배의 견고한 속도 향상을 보이며 최첨단 상용 모델을 능가한다. 또한, 우리의 진화적 접근 방식은 최첨단 전문가 인간 기준선(baseline)과 동등한 성능을 달성하며, 특정 고도 비정형 커널에서 최대 4.1배의 속도 향상을 이룬다. 소스 코드와 데이터셋은 https://github.com/WildAlg/ParEVO에서 확인할 수 있다.
대규모 언어 모델(LLM)은 최적화 태스크를 지원하기 위해 진화 연산(evolutionary computation)과의 통합이 점점 확대되고 있다. 본 조사는 진화 연산에 기반한 최적화, 즉 진화적 최적화를 주요 대상으로 하며, 간결성을 위해 이 범위를 지칭할 때 '최적화'라는 용어를 사용한다. 그러나 기존 조사들은 LLM의 역할을 개별적으로만 다루며, 최적화 모델링과 최적화 풀이를 연결하는 통합된 관점을 제시하지 못한다. 이러한 공백을 해소하기 위해, 본 논문은 워크플로우 중심의 프레임워크를 통해 최근 연구 동향을 체계적으로 검토한다. 먼저, 문헌을 두 가지 주요 단계로 구성한다: 최적화 모델링을 위한 LLM과 최적화 풀이를 위한 LLM(본 조사에서 최적화 모델링과 최적화 풀이는 각각 최적화 문제 모델링과 최적화 문제 풀이의 간결한 표현으로 사용됨). 다음으로, LLM의 역할에 따라 풀이 단계를 세 가지 패러다임으로 구분한다: 독립형 최적화기, 최적화 알고리즘에 내장된 저수준 구성 요소, 알고리즘 선택 및 생성을 위한 고수준 관리자. 셋째, 대표적인 방법들을 분석하고 기술적 한계를 파악하며 전통적인 최적화 접근법과의 관계를 명확히 한다. 또한 벤치마크 체계화, 기준선(baseline) 비교, 실무자 중심의 지침을 통해 이 분류 체계를 심화 검토하고, 자연과학, 공학, 머신러닝 분야에 걸친 학제 간 응용을 고찰한다. 이러한 분석을 바탕으로, 동적이고 자기 진화하는 에이전트(agentic) 최적화 생태계를 향한 연구 방향을 제시한다. 관련 문헌의 최신 목록은 https://github.com/ishmael233/LLM4OPT 에서 관리된다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 언어 모델의 추론 능력을 향상시키는 강력한 기법이지만, 학습 중 대상 모델이 많은 롤아웃을 생성해야 하기 때문에 새로운 강력한 모델마다 반복 적용하기에는 비용이 크다. 모델이 스케일링됨에 따라 사후 학습 자체가 병목이 된다. 우리는 약-강(weak-to-strong) 대안을 연구한다: 롤아웃 비용이 저렴한 소규모 모델에서 강화학습을 실행한 후, 그 강화학습 결과를 재활용하여 더 강력한 대상 모델을 개선하는 방식이다. 강화학습 사후 약한 교사 모델을 직접 증류하는 것만으로는 충분하지 않은데, 교사의 최종 정책이 유용한 강화학습 성과와 소규모 모델의 한계를 혼합하고 있기 때문이다. 우리는 교사의 강화학습으로 유도된 정책 변화를 전달하는 직접 온-정책 증류(Direct On-Policy Distillation, Direct-OPD)를 제안한다. Direct-OPD는 강화학습 사후 교사와 그 자체의 강화학습 사전 기준 모델을 비교하고, 그 로그 비율을 학생 모델에 대한 밀집 암묵적 보상으로 활용한다. 쉽게 말하면, 체크포인트 쌍은 강화학습이 약한 모델로 하여금 어떤 행동을 더 또는 덜 선택하게 만들었는지를 알려주며, Direct-OPD는 이 신호를 더 강력한 학생 모델의 온-정책 상태에 적용한다. 이를 통해 명시적인 보상 모델을 학습하거나 대상 모델에 희소 보상 강화학습을 실행하지 않고도 약한 모델의 강화학습 지도 신호를 직접 재활용한다. 실험적으로, Direct-OPD는 약한 교사를 일관되게 활용하여 더 강력한 대상 모델을 개선한다. 특히, 8개의 A100 GPU에서 단 4시간 만에 Qwen3-1.7B의 AIME 2024 성능을 48.3%에서 62.4%로 향상시킨다. 이는 동일 스텝 직접 강화학습을 능가하며, 여러 정책 변화의 순차적 합성을 가능하게 한다. 우리의 결과는 강화학습 결과물이 단순히 모방할 최종 모델이 아니라, 암묵적 보상 신호로서 모델 스케일을 넘어 재활용될 수 있음을 보여준다.
어트리뷰션 점수는 가지치기, 해석 가능성, 안전성을 위한 편집 등의 응용에서 언어 모델의 어떤 뉴런 행이 중요한지를 점점 더 많이 식별하고 있지만, 이들이 인과적으로 중요한 행을 식별하는지는 직접 검증되는 경우가 드물다. 우리는 원샷 뉴런 행 제로화(one-shot neuron-row zeroing)를 기반으로 한 두 가지 쌍을 이루는 감사로 이를 다룬다. 먼저 언어 모델링 수준에서 선택기(selector)를 감사한다: 어트리뷰션 방법은 다섯 가지 대규모 언어 모델(LLM) 전반에 걸쳐 불필요한 행을 식별하는 데 있어 활성화(activation) 및 크기(magnitude) 기반 기준선을 크게 능가한다. 이어서 동일한 개입을 대조적인 유해-대-양성(harmful-versus-benign) 신호로 구동하여 행동 테스트에 적용한다; 귀속된 행들은 증오 및 범죄에 대한 거부(refusal)를 설치하기에 충분하며 양성 과잉 거부(benign over-refusal)는 낮게 유지하고 언어 모델 유창성을 보존하는 동시에, 동일한 깊이에서 층-매칭된(layer-matched) 무작위 통제가 실패한다는 점에서 특정적이다. 높은 순위 안정성을 가진 선택기가 인과적 유효성이 가장 낮은 것들 중 하나일 수 있다. 나아가 거부는 중복 부분 공간(redundant subspace)에 존재하며, 서로 다른 어트리뷰션 방법들이 대체로 서로소인(disjoint) 행 집합을 통해 거부를 설치하므로, 복원된 편집은 고유한 메커니즘이 아닌 충분 집합의 하나의 실현이다. 종합적으로, 이러한 발견들은 순위 안정성 프록시가 직접적인 인과 감사로 발견할 수 있는 종류의 선택기 실패를 놓친다는 것을 보여준다.
워터마킹 방법은 대규모 언어 모델(LLM)이 생성한 텍스트에 감지할 수 없으면서도 검증 가능한 신호를 임베딩한다. 기존 접근법으로는 합성 텍스트와 인간 작성 텍스트를 구분하는 제로비트(zero-bit) 방식과 메타데이터를 임베딩하는 멀티비트(multi-bit) 방식이 있다. 그러나 현재의 멀티비트 워터마킹 방법은 선택적 공개를 지원하지 않는다. 즉, 워터마크의 일부를 검증하려면 임베딩된 메시지 전체를 공개해야 한다. 이러한 제어 불가능성은 불필요한 정보 노출을 초래하고 프라이버시 문제를 야기한다. 본 논문에서는 임베딩된 메타데이터의 선택적 공개를 가능하게 하는 워터마킹 프레임워크인 계층적 어휘 라우팅(Hierarchical Vocabulary Routing, HeRo)을 제안한다. 이 방법은 어휘를 재귀적으로 분할하고 워터마크 정보를 계층적 레이어에 분산시켜, 서로 다른 검증자가 자신의 접근 수준에 해당하는 페이로드 부분만을 디코딩할 수 있도록 한다. 제안된 방식이 기반 샘플링 프로세스의 비편향성을 보존하여 텍스트 품질을 유지함을 증명한다. 실험을 통해 본 프레임워크가 세밀한 접근 제어를 지원하면서도 높은 탐지 정확도와 낮은 지연 시간을 달성함을 입증한다. 코드는 https://github.com/xuyangc03/hero-watermark 에서 공개되어 있다.
대규모 언어 모델(LLM)은 한 번에 하나의 토큰을 생성하지만, 그 응답은 놀랍도록 일관된 길이 구조를 보인다: 단계별 풀이는 예측 가능한 토큰 수로 수렴하고, 검색 결과는 몇 문장 후 멈추며, 철회(retraction)는 측정 가능한 양만큼 응답을 늘린다. 우리는 모델이 남은 응답량에 대한 내부 추정치를 보유하는지 묻는다. 7개의 완성(completion) 스타일 데이터셋에 걸쳐 3개의 오픈 가중치 7–8B 모델의 고정된 은닉 상태에 최소 용량 선형 프로브(linear probe)를 학습시킨 결과, 세 가지 수렴하는 증거를 발견했다. 첫째, 전체 응답 길이는 어떤 출력도 생성되기 전에 프롬프트의 마지막 은닉 상태만으로 선형적으로 디코딩 가능하다. 둘째, 자연어 데이터셋으로 학습된 프로브 방향은 학습 중 본 적 없는 통제된 합성 완성을 포함하여 폭넓게 전이(transfer)되며 통계적 기준선을 능가한다; 반대 방향은 일반적으로 실패하며, 이 비대칭성 자체가 정보를 제공한다. 셋째, 선별된 고손실 완성에서 프로브의 위치별 추정치는 모델이 부분 풀이를 철회하고 재시작하는 순간 상향 이동하는데, 이는 위치 정보만을 이용하는 예측기로는 재현할 수 없는 방향성 행동이다(집계 수준이 아닌 정성적 관찰). 우리는 이를 트랜스포머에 대한 정확한 카운팅 불가능성 결과와 구별되는 남은 생성 길이의 근사 추정으로 정의하며, LLM이 출력 길이에 대한 계획 유사 내부 표현을 유지한다는 증거로 해석한다(디코딩 가능하지만 반드시 인과적으로 사용되는 것은 아님).
사전학습 스케일링 법칙은 모델 역량이 데이터와 컴퓨팅에 따라 예측 가능하게 향상됨을 보여준다. 그러나 배포 이후 실세계 환경으로부터의 학습은 아직 훨씬 덜 이해되어 있다. 134개의 실세계 태스크에 걸쳐 에이전트와 환경 간의 약 38,000시간의 상호작용을 분석한 결과, 우리는 현재까지의 지식 범위 내에서 최초의 증거로서, 환경 학습 중 전반적인 성능이 로그-시그모이드(log-sigmoid) 스케일링 법칙을 따르며 R^2 = 0.998에 달하는 현저히 높은 정밀도를 보임을 발견하였다. 또한 모델 세대에 걸쳐 에이전트의 학습 속도가 약 3개월마다 두 배씩 증가함을 확인하였다. 이 발견은 과학적 발견, 소프트웨어 엔지니어링, 조합 최적화(combinatorial optimization), 전문 지식 업무, 형식 수학(formal mathematics), 인터랙티브 게임을 아우르는 초장기 호라이즌(ultra-long horizons)을 가진 134개 실세계 태스크 모음인 EdgeBench에서 비롯된다. 각 태스크는 풍부한 다단계 피드백 하에서 최소 12시간의 연속적인 에이전트 운영을 지속하며, 상당한 전문가 노력을 통해 구축되었다. 에이전트가 실세계 경험으로부터 학습하는 방식에 대한 연구를 가속화하기 위해, 51개의 태스크와 전체 평가 프레임워크를 공개한다.
두 명의 사용자가 동일한 LLM과 상호작용한다고 가정해보자. 한 사용자는 해당 모델이 최첨단 플래그십 모델이라는 정보를 받았고, 다른 사용자는 구형의 성능이 낮은 모델이라는 정보를 받았다. 두 사람은 동일한 모델을 사용했음에도 불구하고 모델의 유용성과 지능에 대해 현저히 다른 평가를 내렸다. 통제된 연구에서 162명의 참가자 각각이 두 모델 계열의 여섯 가지 LLM 중 하나를 사용하여 세 가지 협업 과제를 수행하였으며, 과제 시작 전에 해당 모델의 실제 성능과 일치하거나, 과장되거나, 혹은 과소평가된 소개 페이지를 열람하였다. 이러한 사전 상호작용 프레이밍은 사용자의 의견과 상호작용 행동에 영향을 미쳤으나, 과제 수행 성능에는 영향을 주지 않았다. 모델이 과장 소개된 사용자들은 모델을 더 호의적으로 평가하고 더 지시적인 프롬프트를 사용한 반면, 모델이 과소 소개된 사용자들은 더 길고 협력적인 프롬프트를 작성하였다. 사용자와 모델이 함께 생성한 결과물의 품질은 오직 모델의 실제 성능에만 의존하였으며, 사용자에게 제공된 정보와는 무관하였다. 두 가지 인상 측정 지표로 측정된 사용 후 모델 인상 변화는 과제 수행 성능($β= -0.01$ 및 $0.11$, 모두 n.s.)에 의해 예측되지 않았으며, 모델이 사용자의 기대를 충족했는지 여부($β= 0.47$ 및 $0.50$, 모두 $p < .001$)와 모델과의 협업에서 느낀 자신감($β= 0.47$ 및 $0.36$, 모두 $p < .001$)에 의해 예측되었다. 상호작용 후에도 사용자들은 여전히 제품이 아닌 홍보를 평가하고 있었다: 공개 리더보드를 주도하는 선호도 데이터를 포함한 사용자 기반 LLM 평가는 모델 자체만큼이나 기대치 관리를 측정한다.
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)을 외부 증거에 그라운딩하여 사실성을 향상시키지만, 실세계 검색은 종종 오염되어 있다. 의미적으로 관련된 단락이 미묘한 허위정보, 오해를 유발하는 프레이밍, 또는 날조된 내용을 포함할 수 있다. 우리는 장문형 RAG를 위한 학습이 필요 없고 모델에 구애받지 않는 방어 기법인 MIRAGE를 소개한다. MIRAGE는 자연어 추론(NLI) 기반의 교차 문서 주장 그래프를 구축하고, Defended-Claims Gate를 적용하여 일관되고 다중 출처로 지지되는 부분 집합을 조건으로 생성하거나, 검색을 차단하고 파라메트릭 방식으로 답변하도록 한다. 또한 네 가지 변형 유형(명확한 오류, 상충되는 정보, 오해 유발, 날조)에 걸쳐 최소 편집 오염 프로토콜을 공개하여, 일치하는 정결한, 혼합된, 완전히 오염된 평가 체계를 구성한다. 네 가지 장문형 QA 벤치마크와 여러 상용 및 오픈 가중치 LLM에 걸쳐, 오염은 기본 RAG의 성능을 심각하게 저하시키는 반면, MIRAGE는 혼합 및 완전히 오염된 증거 환경에서 일관되게 사실성을 회복하고 기존의 강건한 RAG 방법들을 능가한다. 구현 코드와 데이터셋은 https://github.com/SaadElDine/MIRAGE 에서 공개된다.
배경: 질병 중증도는 전자 의료 기록(EHR)에서 규칙 기반 접근법으로 포착하기 어려운 다차원적 구성 개념이다. 에이전트 기반 대규모 언어 모델(LLM) 시스템은 임상 근거를 종합하고 EHR에 대해 추론할 수 있으나, 이 과제에 대해서는 아직 평가되지 않았다.
방법: MOSAIC는 제2형 당뇨병(T2D)을 개념 증명으로 사용하는 중증도 표현형 분류를 위한 2단계 에이전트 기반 LLM 프레임워크이다. MOSAIC는 합성 코호트(SyntheticMass; 오픈 가중치 N = 4,886; 클로즈드 가중치 N = 200)에서 세 가지 알고리즘 기준 정답(DCSI, DiSSCo, Cooper) 및 전체 원인 사망률과 사건 합병증에 대해 평가되었다. 오픈 가중치(로컬 배포 가능) 파이프라인과 독점 파이프라인도 비교되었다.
결과: 생성된 프레임워크는 바이오마커 기반 혈당 병기 분류, 베타세포 기능, 건강의 사회적 결정 요인을 포함하여 비교 대상에 없는 영역을 포괄하였다. 오픈 가중치 MOSAIC는 독점 파이프라인과 일치하였으며(클로즈드 대 오픈 가중치 가중 카파 = 0.773), Cooper와는 중등도 일치(kappa = 0.597), DCSI와는 중등도 일치(kappa = 0.534), DiSSCo와는 보통 일치(kappa = 0.320)에 도달하였다. 에이전트 기반(유형 1) 등급은 전체 원인 사망률에서 유의미한 분리를 보였으며(log-rank p < 0.001; 비기준선 등급의 조 위험비 1.6–2.4), 상위 등급에서는 비단조적 분리가 나타났고, 사건 합병증에 대해서는 역방향 그래디언트(log-rank p < 0.001)가 관찰되어 감수성 있는 개체의 고갈과 일치하였다. 에이전트 기반 분류는 동일한 루브릭의 결정론적 실행(MOSAIC Frozen; kappa = 0.428)과도 차이를 보여, 고정된 규칙을 넘어선 추론이 이루어짐을 시사하였다.
결론: MOSAIC는 에이전트 기반 LLM 시스템이 T2D의 구조화된 EHR 데이터로부터 임상적으로 의미 있는 중증도 표현형을 생성하고 적용할 수 있음을 보여준다. 유사하게 다차원적 중증도를 가진 다른 질환으로의 확장은 추가 연구가 필요하다.
대규모 언어 모델(LLM)이 수학적 추론에서 상당한 진전을 이루었지만, 수학 문제의 풀이 가능성 여부를 판단하는 것은 근본적이면서도 어려운 능력으로 남아 있다. 최근 연구들이 모델의 풀이 가능성 믿음에 대한 내부 표현을 탐색해 왔지만, 언어화(verbalization)는 내부 표현으로서가 아닌 주로 행동적 측면에서 연구되어 왔으며, 이로 인해 분석 및 조작이 제한되었다. 우리는 풀이 가능성 지식과 언어화의 표현을 별도로 탐색함으로써 이 격차를 해소하여, 모델 은닉 상태 내에서 두 가지를 분리할 수 있게 한다. 여러 LLM에 걸쳐, 지식과 언어화가 서로 구별되는 선형적으로 디코딩 가능한 표현으로 인코딩되며, 날조(fabrication)는 기저 지식보다 주로 언어화의 변화와 연관됨을 보인다. 풀이 불가능성 단서로 프롬프팅하면 주로 언어화를 전환함으로써 날조를 감소시키며, 활성화 조정(activation steering)은 이러한 표현들이 모델의 응답 거부(abstention)를 향상시키기 위해 기계론적으로 조작될 수 있음을 보여준다.
표준 분산 대규모 언어 모델(LLM) 스케줄러는 정적 토큰 수 또는 롤링 지연 평균에 의존하여, 법규 제약 텍스트에서 장애에 취약하다. EPC 제84조에 의해 규율되는 유럽 특허청(EPO) 청구항에서는 언어적 경직성으로 인해 인간 저작과 기계 저작이 통계적으로 구별 불가능하다. 처리 도중 이 모호성을 해결하면 동적 다중 모델 앙상블 확장이 강제되어, 예측 불가능한 KV-캐시 및 가중치 할당 급증을 유발하고, 소비자급 엣지 GPU VRAM을 포화시켜 심각한 OOM(메모리 부족) 충돌을 일으킨다. 하드웨어 붕괴를 방지하기 위해, 우리는 CPU 측 언어 자원 예측(LRF, Linguistic Resource Forecasting) 게이트웨이를 제안한다. 이 게이트웨이는 16차원 텍스트 구조 벡터를 추출하고 XGBoost 예측기를 적용하여 트랩 밴드 소속 여부를 예측한다. 산출된 에스컬레이션 확률($P_{\rm esc}$)은 실시간 지연 텔레메트리를 통해 계산되는 동적 폐쇄형 라우팅 임계값($\tau_{\rm route}(t)$)과 비교하여 평가된다. 요청은 엣지 GPU 메모리가 할당되기 전에 로컬 Qwen2.5-7B 엣지 워커 또는 NVIDIA H100의 원격 대조 앙상블(Qwen2.5 7B + 32B)로 안전하게 라우팅된다. 6,000건 요청의 실제 시험에서 LRF 게이트웨이는 운영 오라우팅 비율($R_{\mathrm{mis}}$)을 $0.087$--$0.095$로 감소시켰으며, 이는 토큰 수 기준선($0.849$)보다 한 자릿수 낮은 수치이다. 피크 엣지 VRAM은 WAN 지연의 $27\times$ 변동 전반에 걸쳐 $\SI{4.82}{\gibi\byte}$로 안전하게 유지되었다($\SI{8}{\gibi\byte}$ 상한 미만). 예측기는 실제 시험에서 AUROC $0.84$를 달성했으며, 동적 $\tau_{\rm route}(t)$ 컨트롤러는 동등한 정적 임계값 대비 오라우팅을 $8.2\%$ 상대적으로 감소시켰다.
사회 내 혐오 및 폭력 문제에 대응하기 위해서는 공개 보고로부터 혐오 사건을 적시에 탐지해야 하지만, 혐오 사건의 자동 식별은 아직 충분히 연구되지 않은 분야이다. 본 연구에서는 혐오 사건 탐지(hateful event detection) 태스크를 새롭게 제안하고, AI 시스템, 특히 대규모 언어 모델(LLM)이 반유대주의 사건 보고를 세분화된 레이블로 발견·분류하는 능력을 탐구한다. 우리는 뉴스 기사, 시민 사회 보고서, 공식 기록에서 수집한 반유대주의 사건 설명이 담긴 다수의 전문가 주석 데이터셋을 대상으로 OpenAI의 GPT-4o와 Meta의 Llama-3.2-3B-Instruct를 평가한다. 실험 결과, LLM, 특히 GPT-4o는 이 태스크에 잠재력을 보이지만 상당한 개선이 필요함을 확인하였다. 프롬프트에 명확한 용어 정의와 문맥 내 학습(ICL) 예시를 제공하면 성능이 향상되는데, 정의는 수사적 사건(예: 전통적인 반유대주의 논조)에, 예시는 행동 지향적 사건(예: 물리적 폭행)의 레이블 분류에 더 효과적이었다. 대학 신문을 대상으로 한 사례 연구에서는 LLM이 관련 실세계 사건을 발굴하여 조기 모니터링 및 개입을 지원할 수 있음을 보였다. 종합적으로, 본 연구의 결과는 복잡한 피해를 인식하는 AI의 능력에서 기회와 중요한 한계를 동시에 부각하며, 혐오를 효율적이고 효과적으로 정의·대응하기 위한 모델 설계, 강건한 평가 체계 구축, 정책 프레임워크 개발을 위해 AI 개발자, 정책 입안자, 시민 사회 간 협력이 필요함을 강조한다.
최근 몇 년간 연구들은 스트리밍 플랫폼(특히 Spotify의 영어권 음악)에서 대중음악 가사의 의미론적 다양성이 감소하고 있음을 밝혀왔다. 본 연구는 이탈리아 최고 권위의 음악 경연 대회인 산레모 음악제(Sanremo Music Festival) 75회 전 부문 최종 후보 곡들의 가사를 분석 대상으로 삼아, 서로 다른 언어적·문화적 맥락에서도 유사한 경향이 나타나는지를 검토한다. 이 연구의 차별점은 의미론적 유사도의 시간적 변화를 추적하기 위한 유연하고 효율적인 방법론을 개발하고, 이를 다양한 데이터셋에 적용하여 유사한 현상을 연구할 수 있도록 한 데 있다. 전문(full-text), 구간(segment), 주제(topic), 단어 수준 분석을 결합하여 임베딩(embedding) 기법과 대규모 언어 모델(LLM)을 활용하는 이 접근법을 산레모 코퍼스에 적용한 결과, 의미론적 균질성이 점진적으로 증가하는 양상이 확인되었으며, 이는 선행 연구에서 식별된 글로벌 패턴과 일치한다. 이러한 연구 결과는 음악적 언어와 문화적 표현의 장기적 변화를 규명하는 데 있어 자연어 처리(NLP) 도구의 가치를 재확인시켜 준다.
대규모 언어 모델(LLM)을 위한 강화학습(RL) 사후 학습은 "롤아웃 후 업데이트"라는 효율적인 패러다임을 따르며, 이는 필연적으로 오프-정책 학습 데이터를 발생시킨다. 이를 해결하기 위해 중요도 샘플링(Importance Sampling, IS)이 제안되었으나, 토큰 수준의 비율이 긴 시퀀스에 걸쳐 누적되면서 심각한 분산 폭발을 초래한다. 자연스러운 아이디어는 오프-정책 토큰을 온-정책 토큰으로 "전환"하여 보정을 위한 중요도 점수를 불필요하게 만드는 것이다. 이 아이디어에 착안하여, 우리는 거부 샘플링에서 영감을 받은 선택적 중요도 샘플링(Selective Importance Sampling, SIS)을 제안한다. 구체적으로, SIS는 오프-정책 모델을 제안 분포로 간주하고 토큰 수준의 거부 테스트를 수행하는 방식으로 구현된다. 수락된 토큰은 온-정책으로 간주되어 단위 중요도 점수를 받고, 거부된 토큰은 표준 IS 보정을 유지한다. 제안된 SIS는 토큰 수준과 시퀀스 수준 오프-정책 그래디언트 추정량 간의 격차를 줄임이 이론적으로 증명되었다. SIS는 정책 손실에서 중요도 비율만 수정하는 플러그인으로 작동하여 무시할 수 있는 수준의 실행 시간 오버헤드를 추가하며, 다양한 RL 사후 학습 알고리즘과 결합할 수 있다. 수학 및 에이전트 벤치마크에서 밀집 모델과 전문가 혼합(MoE) LLM을 대상으로 한 실험에서 SIS는 모든 목표에서 일관된 성능 향상을 보이며, 오프-정책 데이터 환경에서 실질적으로 더 강한 견고성을 제공함을 입증한다.
도구 호출은 현대 언어 모델 에이전트의 핵심이지만, 집계된 벤치마크 점수는 도구 사용이 실패하는 지점을 종종 가린다. 필요한 도구를 전혀 호출하지 않는 모델과 도구를 호출하지만 결과를 무시하는 모델이 최종 태스크 정확도에서 유사하게 보일 수 있다. 우리는 금융, 의학, 법률, 사이버보안, 부동산 분야의 1,000개 태스크에 걸쳐 도구 사용 실패를 측정하는 진단 벤치마크인 ToolFailBench를 소개한다. 도구가 필요한 태스크는 모델이 추측할 수 없는 값을 반환하여 도구를 신뢰하도록 강제하는 반면, 대조 태스크는 동일한 도구를 제공하되 직접 답변해야 하는 형태이다. 우리는 규칙 기반 분류기와 다수결로 집계된 두 개의 LLM 판정 모델을 사용하여 각 트레이스에 도구 건너뜀(Tool-Skip), 결과 무시(Result-Ignore), 출력 날조(Output-Fabrication), 불필요한 도구 사용(Unnecessary-Tool-Use)을 레이블링한다. 19개의 주요 모델을 대상으로 한 실험에서 최고 성능 모델이 86.33%의 Clean Tool-Use Rate를 달성하여, 충실한 도구 사용이 아직 포화 상태에 이르지 않았음을 보여준다. 더 중요한 것은, 유사한 집계 점수를 가진 모델들이 서로 다른 방식으로 실패한다는 점이다. 대부분의 모델은 도구 미사용 대조 태스크에서 규율을 유지하는 반면, Llama-3.1 모델은 항상 호출(Always-Call) 패턴을 보이며, 동일한 매개변수 규모에서 Llama-3.1-70B와 Qwen2.5-72B는 대조 태스크 정확도에서 89퍼센트포인트 차이를 보인다. 도구 사용 평가는 에이전트가 도구를 호출하는지 여부뿐만 아니라, 도구 출력을 올바르게 활용하는지, 그리고 도구가 필요하지 않을 때 사용을 피하는지도 측정해야 한다.
자동형식화(autoformalization)에서 정확한 의미론적 정렬은 형식 수학 추론에 있어 매우 중요하다. 그러나 기존 평가 방식은 불투명한 이진 판정이나 스칼라 점수만을 제공할 뿐, 번역이 어디서 왜 실패하는지에 대한 해석 가능한 통찰을 제공하지 못한다. 이러한 불투명성은 인간의 이해와 자동화 시스템 개선 모두를 심각하게 제한한다. 이 간극을 메우기 위해 우리는 FormalRx를 소개한다. FormalRx는 자동형식화 평가를 블랙박스 판정에서 실행 가능한 피드백으로 전환하는 종합적 진단 평가 프레임워크이다. 핵심에는 SCI 오류 분류 체계(SCI Error Taxonomy)가 있으며, 이는 자동형식화 오류를 엄격한 우선순위 순서에 따라 28개의 세부 범주로 분해하는 계층적 분류(classification) 체계이다. 이 분류 체계를 기반으로 FormalRx는 정렬 판정, 오류 분류, 오류 국소화, 오류 수정이라는 네 가지 핵심 진단 기능을 제공한다. 우리는 세밀한 진단 어노테이션이 포함된 56,287개의 자연어-형식언어(NL-FL) 쌍으로 학습된 진단 모델(model) FormalRx-8B로 이 프레임워크를 구현하고, 최초의 세밀한 진단 벤치마크인 FormalRx-Test를 공개한다. FormalRx-8B는 판정에서 F1 점수 0.88, 분류에서 0.71을 달성하고, 국소화 정확도 0.75, 수정 정확도 0.73을 기록하여 범용 대규모 언어 모델(LLM)과 특화된 베이스라인 모두를 크게 능가한다. FormalRx는 평가와 실행 가능한 통찰을 연결함으로써 자동형식화 시스템의 체계적인 진단과 개선을 가능하게 한다.
대규모 언어 모델(LLM)의 안전성 정렬(safety alignment)은 일반적으로 직접적이고 명령형의 유해한 요청에 대해 평가된다. 우리는 이러한 정렬이 화용론적 등록(pragmatic register)에 크게 조건화되어 있음을 보인다: 직접적인 요청을 거부하는 모델이 동일한 근본적 목적이 다른 의사소통 방식으로 표현될 때는 빈번히 이에 응하는 것으로 나타났다. 이는 현재의 정렬 정책이 의미론적 동등성에 불변하지 않고, 요청이 화용론적으로 어떻게 구성되는지에 여전히 민감하게 반응함을 시사한다. 우리는 유해한 요청을 포렌식 재구성 과제로 재구성하는 단일 턴 공격 기법인 소급적 사고의 연쇄(RetroCoT)를 제안한다. RetroCoT는 유해한 지침을 직접 요청하는 대신, 유해한 결과가 이미 발생했다고 전제하고 포렌식 분석가 역할을 하는 모델에게 그 결과를 생성한 인과 사슬을 역방향으로 재구성하도록 요청한다. AdvBench(n=50)에서 RetroCoT는 gpt-4o에서 58%, gpt-4o-mini에서 52%의 공격 성공률(ASR)을 달성했으며, 이는 직접 요청 기준선인 각각 0%와 4%와 대조된다. 또한 우리는 뚜렷한 세대 간 격차를 확인한다: GPT-5 계열 모델은 RetroCoT를 전면 거부하며, 거부 근거에서 재구성 전제를 명시적으로 식별하는데, 이는 해당 재구성 등록에 대한 명시적 적용 범위와 일치한다. 그러나 이러한 견고성은 다른 화용론적 형식에까지 일반화되지는 않는다. 기존의 포렌식 재구성 응답을 평가자 비판과 함께 제시하는 단일 적대적 피드백 턴은 GPT-5.4-mini에서 ASR을 0%에서 48%로, GPT-4o에서 58%에서 94%로 상승시키며, 조작된 낮은 점수를 생략한 통제 조건은 GPT-5.4-mini에서 85%를 달성하여, 핵심 요소가 점수 조작이 아닌 확립된 포렌식 프레임 내에서의 화용론적 연속성임을 나타낸다. 이러한 결과는 최전선 모델(frontier model)의 정렬이 의미론적 의도보다 화용론적 구성에 여전히 조건화되어 있으며, 새로운 화용론적 등록이 지속적으로 취약점을 노출할 수 있음을 시사한다.
우리는 최종 답변이 옳은지 여부뿐만 아니라, 정렬된 언어 모델 내부에서 정확성이 어떻게 조립되는지를 연구한다. 극성 제어 최소쌍에 대한 층별 이중차분법(DiD) 궤적을 사용하여, 우리는 오답 딥(wrong-dip)을 식별한다: 중간 층(전체 깊이의 25~90%)에서 내부 선호도가 일시적으로 오답에 편향되었다가 후반 층 보정에 의해서만 구출된다. 우리는 이를 17개 모델, 3개 모델 계열, 64배 스케일(0.5B~32B)에 걸쳐 patchscope 방식의 활성화 이식을 통해 인과적으로 검증한다. 네 가지 발견이 도출된다. (1) 인과적 오답 딥의 정렬 증폭은 학습 레시피에 따라 다르며 창발적이다: Qwen2.5에서는 3B에서 창발하여 높은 수준을 유지하며 32B에서 최고조에 달하고(대응표본 t 최대 9.7), Llama-3-8B에서는 역전되며(t=-2.31), Mistral-7B에서는 그 중간 수준이다. (2) 딥은 실제 압축 실패를 예측한다: 딥이 높은 항목은 후반 층 저순위 압축, 블록 제거, 구조적 가지치기 하에서 3~7배 더 높은 확률로 답이 뒤집히는 반면, 양자화에 의한 뒤집힘은 딥과 무관하며, 이는 후반 층 절제 실험으로 확인된 이중 해리다. (3) 딥은 학습 가능하다: 중간 층 오답 마진 패널티를 적용한 LoRA 파인튜닝은 출력 전용 SFT와 동등한 정확도를 달성하면서 인과적 딥을 67~70% 줄이고 압축 강건성을 향상시킨다; 출력 전용 SFT는 완벽한 표면 정확도에서 인과적 딥을 최대 2.8배 악화시킨다. (4) 제어된 판독값을 통해, 이 현상은 자연어 입출력에서도 유지된다: 구조적 손상 실패의 딥 계층화는 자연주의적 시나리오에서 유의미하며, 자유형식 취약성은 딥 감사 가능한 후반 구출 층과 딥-무감지 인터페이스 층으로 분리된다. 종합하면, 출력 수준의 정확성은 압축 위험, 사후 학습 품질, 평가 왜곡을 지배하는 후반 구출 과정을 은폐할 수 있다.
언어 모델링 기술이 성숙해짐에 따라, 이러한 모델을 학습하는 데 사용되는 데이터셋의 구성과 큐레이션에 대한 연구 관심이 높아지고 있다. 예를 들어, 실무자들은 일반적으로 고품질 데이터셋에 추가 텍스트를 보완하여 해당 데이터로 학습된 모델의 성능을 향상시키고자 한다. 그러나 데이터 증강에 대한 합리적인 의사결정을 위해서는 데이터 품질에 대한 보다 세밀한 평가가 필요하다. 본 연구는 생성 모델의 정밀도와 재현율을 측정하는 기존 연구를 기반으로, (1) 충실도(fidelity)—후보 텍스트가 참조 데이터와 얼마나 유사한지를 포착—와 (2) 다양성(diversity)—후보 텍스트가 참조 데이터셋의 모드를 얼마나 잘 포괄하는지를 포착—를 정량화하는 한 쌍의 지표를 개발한다. 제안하는 지표는 이산 텍스트 요약 간의 최적 수송(optimal transport) 발산 범함수(divergence functional)에 기반한다. M2D2 텍스트 데이터셋을 대상으로 한 실험에서, 이 지표들이 결함 있는 후보 텍스트에서 충실도 부족과 다양성 부족을 분리하여 진단할 수 있음을 보인다. 추가 실험에서는, 합성 GSM8K 방식의 수학 데이터셋에서 다양성 결핍을 탐지하며, 이는 해당 합성 데이터로 파인튜닝된 언어 모델의 다운스트림 정확도 저하와 상관관계를 보인다.