산업 에이전트 벤치마크는 원격 측정(telemetry), 고장 모드, 유지보수 기록, 도메인 표준을 통합하는 현실적인 평가 시나리오가 필요하다. 그러나 AssetOpsBench와 같은 기존 벤치마크는 수작업으로 작성된 시나리오에 의존하며 제한된 자산 클래스만을 다룬다. 우리는 AssetOpsBench를 스마트 그리드 변압기(Smart Grid Transformer) 자산 클래스와 건강 지수 예측, 용존 가스 분석, 권선 온도 평가, 부하 프로파일 평가를 위한 IEC 기반 진단 도구 4종으로 확장한다. 또한 합성 산업 에이전트 시나리오 생성을 위한 파이프라인인 ScenarioGeneratorAgent를 도입한다. 이 파이프라인은 증거 기반 자산 프로파일을 구성하고, 운영 도메인 전반에 걸쳐 커버리지 인식 시나리오 예산을 배분하며, 스키마 유효성, 도구 도달 가능성, 물리적 타당성, 표준 정합성, 중복 제거를 강제하는 하이브리드 검증-수정 루프를 통해 후보를 생성한다. 확장성을 높이기 위해 2단계 캐싱, 병렬 포커스 그룹 생성, 스레드 풀 오프로딩, 배치 LLM 호출, 조기 거부 필터링을 적용한다. 스마트 그리드 변압기 시나리오 생성에서 이러한 최적화는 품질을 유지하면서 50개 시나리오에 대해 종단 간 실행 시간을 $8\times$ 단축하며, 최적화되지 않은 기준선의 $73.8 \pm 3.0$에 비해 $74.2 \pm 1.9$의 복합 품질 점수를 달성한다. 이 결과는 표준 기반 합성 시나리오 생성이 시나리오 품질을 희생하지 않고 산업 에이전트 벤치마크를 효율적으로 확장할 수 있음을 보여준다.
장기 컨텍스트 의존성 관리는 LLM 에이전트의 주요 병목으로 남아 있으며, 중복되고 무관한 정보는 다단계 추론을 저하시킬 수 있다. 에이전트 메모리 시스템을 위한 전�ategic Forgetting for Agent Memory Systems, SF-AMS)은 메모리 단위의 장기적 중요도를 모델링하여 간결하고 고유용성(high-utility) 메모리를 유지하는 프레임워크로 제안된다. SF-AMS는 정적 검색과 휴리스틱 감쇠를 사용 빈도 중복성과 시간적 신호로부터 메모리 중요도를 갱신하는 유틸리티 기반 생존 메커니즘으로 대체하며, 이를 통해 안정적이고 엔티티 일관성(entity-consistent) 정보를 우선시하고 노이즈를 걸러내는 계층적 메모리 구조를 형성한다. 이를 바탕으로 복합 중요도 점수(Composite Importance Scoring)는 의미적 및 엔티티 수준 신호를 통합하여 검색의 견고성(robustness)을 향상시킨다. LoCoMo 및 LongMemEval-s에서의 실험은 LightMem, MemO, A-Mem을 포함한 강력한 최신(state-of-the-art) 기준선 대비 일관된 성능 향상을 보여준다. 가장 큰 개선은 Qwen2.5-7B에서의 다중 홉(multi-hop) 추론에서 나타나며, SF-AMS는 가장 강한 기준선 대비 F1 +9.65를 달성한다. 이어 GPT-4o-mini에서의 시간적 추론(temporal reasoning) +6.91 F1, 개방형(open-domain) 태스크 +6.53 F1이 뒤를 이으며, 강력한 백본(backbone) 간 일반화를 보여준다. 이러한 결과는 메모리 중요도를 동적 유틸리티 신호로 모델링하는 것이 신뢰할 수 있는 장기 컨텍스트 추론에 핵심적임을 보여준다.
LLM-as-a-judge는 자동화된 평가의 표준이 되었지만, 높은 비용, 상당한 지연, 불투명한 판정이라는 한계로 인해 확장성과 신뢰성을 저해합니다. 이를 해결하기 위해 간단하고 효율적인 대안인 프로그램 증류(program distillation)를 제안합니다. 평가 시점에 LLM에 프롬프트를 보내는 대신, 그 결정 로직을 후보를 직접 채점하는 프로그램 위원회로 증류합니다. 이러한 프로그램 기반 심판(programmatic judges)은 투명성을 제공하며, 쉽게 검토하거나 편집할 수 있고, 샘플당 API 비용을 없앱니다. 이 개념을 바탕으로, 프로그램을 심판으로 합성하고 그들의 판정을 통합 판결(joint verdict)로 집계하며, 신뢰도가 낮은 사례를 선택적으로 LLM으로 에스컬레이션하는 폴백(fallback) 메커니즘을 포함하는 시스템 PAJAMA를 소개합니다. 5개 데이터셋과 4개 모델 계열에 걸쳐, 프로그램 기반 심판이 13B 규모 LLM 심판의 성능과 맞먹을 수 있음을 보입니다. 프로그램 출력을 라우팅 신호로 사용할 때, PAJAMA는 정확도와 처리량(throughput) 모두를 개선하고 파레토 프론티어(Pareto frontier)를 앞당깁니다. 평가를 넘어, 프로그램 기반 심판은 저렴하고 효과적인 보상 신호를 생성합니다. RewardBench에서, 프로그램 판정에서 증류한 보상 모델은 독점 LLM의 라벨로 학습한 모델보다 API 비용이 두 자릿수 낮은 수준에서 더 나은 성능을 보입니다.
대규모 언어 모델(LLM)은 벤치마크에서 높은 정확도를 달성하는 경우가 많지만, 동일한 질문이 서로 다르지만 의미상 동등한 방식으로 표현될 때 이 지식을 얼마나 신뢰성 있게 적용하는지는 여전히 불분명하다. 본 연구에서는 사실 기반 질문 응답과 수학적 추론 과제 전반에 걸쳐, 의미를 보존하는 패러프레이즈(paraphrase) 하에서 모델 답변이 어떻게 변하는지 조사한다. 4개의 벤치마크와 13개 모델에 걸쳐, 모델 출력이 프롬프트의 정확한 표현에 자주 의존함을 발견했다. 패러프레이즈에 걸쳐 전체 정확도는 일반적으로 완만하게만 변하지만, 인스턴스 수준의 행동은 훨씬 덜 안정적이다. 많은 질문에서 모델은 표현 방식에 따라 정답과 오답 사이를 번갈아 가며, 불일치율이 23% 이상에 이른다. 원래 형태에서 정확하게 답변된 질문을 조건으로 하면, 답변 전환율(answer flip rate)로 측정한 더 큰 실패가 드러나며, 단일 프롬프트에서의 정확성이 종종 신뢰성의 나쁜 지표임을 보여준다. 동시에, 모델이 질문의 적어도 하나의 패러프레이즈에 대해 정답을 생성하는 경우가 많음을 발견했으며, 이는 기저 지식은 존재하지만 일관되지 않게 인출된다는 것을 시사한다. 이 관찰을 바탕으로, 단순한 자기 패러프레이징(self-paraphrasing) 전략이 이러한 잠재 지식을 부분적으로 회복하고 추론 시점에 성능을 개선할 수 있음을 보인다. 종합하면, 이러한 발견은 표준 정확도 지표가 상당한 불안정성을 가릴 수 있으며, 동등한 입력에 걸친 일관성을 평가하는 것이 LLM 신뢰성에 대한 더 명확한 그림을 제공한다는 것을 시사한다.
보안 프로토콜 검증은 ProVerif와 OFMC와 같은 형식적 도구에 의존한다. 본 연구는 대규모 언어 모델(LLM)이 이에 준하는 분석을 수행할 수 있는지 평가한다. 채팅 모드와 추론 모드에서 GPT와 DeepSeek을 3회 실행하여 130개의 난독화된 AnB/AnBx 프로토콜(388개의 보안 목표 포함)에 대해 테스트하고, ProVerif 및 OFMC를 기준으로 점수를 매겼다. 채팅 모델은 정밀도 31% 미만에서 69~81%의 재현율을 달성한다. 추론 모델은 이러한 트레이드오프를 역전시켜 GPT는 66.5%, DeepSeek은 45.4%의 정밀도를 달성하지만, 공격의 절반 조금 넘는 수준만 탐지한다. DeepSeek의 두 모드는 하나의 기본 모델을 공유하므로, 이 비교는 추론 자체를 분리하여 정밀도를 27.2%에서 45.4%로 높인다. GPT 대비는 모델 버전 변경을 포함하므로 시사적 수준에 그친다. 모든 모델은 인증 목표에서 가장 낮은 성능을 보인다. 추론 모델은 단사·비단사 합의 공격의 절반 미만만 탐지하는 반면, 채팅 모델은 낮은 정밀도로 과다 탐지한다. 기밀성은 예외적으로, 추론 모드에서 F1이 최대 95.7%에 이른다. 판정은 실행 간 불안정하며, GPT는 목표의 89.7%에서 동일하지만 DeepSeek은 74.0%에 불과하다. 자가 보고 신뢰도는 전반적으로 높지만 정확성과 의미 있는 상관관계를 보이지 않는다. 이 벤치마크에서 LLM은 형식적 검증에 미치지 못하지만, 최선의 경우 사전 선별 필터로 활용될 수 있다.
대규모 언어 모델(LLM)의 배포가 늘어남에 따라, AI 생성 텍스트와 인간이 작성한 콘텐츠를 구별하는 신뢰할 수 있고 효율적인 메커니즘이 필수적이 되었다. 통계적 워터마크(statistical watermarking)는 유망한 해결책으로 떠올랐지만, 기존 방법의 대부분은 일반적으로 고정 구간(fixed-horizon) 절차로, 스트리밍 생성에서 유효한 조기 종료를 배제한다. 본 논문에서는 Rao-Blackwellized e-process에 기반한 anytime-valid 추론을 갖춘 효율적인 온라인 워터마크 탐지 프레임워크를 개발하며, 전체 이력을 저장하지 않고도 재귀적 토큰 수준 증거 업데이트를 가능하게 한다. 특히 Gumbel-max 워터마크에 대해 프레임워크를 구체화하고, 원래의 토큰 수준 종속성 검정 문제를 명시적 귀무 분포(null distribution)를 갖는 pivot-induced 순차 검정 문제로 환원한다. 이론적으로 임의의 선택적 종료(optional stopping) 하에서 anytime-valid 제1종 오류(Type I error) 통제를 증명하고, 워터마크 환경에서 양의 점근적 로그 성장(positive asymptotic log-growth)을 확립하여 제안된 종료 규칙의 일관성(consistency)을 함의한다. 실제 LLM 생성 텍스트에 대한 시뮬레이션과 실험은 엄밀한 anytime-valid 보장을 갖춘 효율적인 온라인 탐지를 보여준다.
LLM 학습은 수동 설계 및 어노테이션에서 상호작용 기반 자기 진화로 전환되고 있다. 그러나 기존 자기 진화 방법들은 작업 다양성과 검증 신뢰성 사이의 근본적인 딜레마에 직면한다. 환경에 구속된 방법은 정밀한 피드백을 얻지만 학습을 좁은 도메인에 한정하고, 개방형 자기 생성은 작업 공간을 넓히지만 신뢰할 수 있는 검증이 부족하여 오해의 소지가 있는 보상이 학습 루프를 오염시킨다. 우리는 에이전트 스킬이 이러한 긴장을 완화하는 강력한 중간 지점임을 확인한다. 각 스킬은 특정 시나리오에서 깊고 검증 가능한 실행을 보장하는 반면, 스킬 간 동적 라우팅은 개방형 작업 다양성을 유지한다. 이 통찰을 활용하여, 우리는 제안자(proposer), 해결자(solver), 동적 스킬 컨트롤러로 구성된 공동 진화 프레임워크인 Skill Self-Play(Skill-SP)를 제안한다. 강화학습 루프를 통해 조율되며, 이 구성 요소들은 지속적인 셀프 플레이 루프에서 공동 진화한다. 제안자는 동적으로 샘플링된 스킬을 조건으로 한 도전적인 작업을 생성하고, 해결자는 역량 경계를 확장하기 위해 후보 해결책을 탐험하며, 스킬 컨트롤러는 실행 피드백을 수집하여 스킬 라이브러리를 업데이트하고 확장한다. 이러한 상호작용적 공동 진화는 구조화된 검증과 개방형 탐험 사이의 격차를 효과적으로 메운다. 도구 사용 및 추론 벤치마크에 대한 실증 평가는 견고한 진화 엔진으로서 Skill-SP가 유능한 백본의 성능 상한을 지속적으로 밀어 올리는 동시에, 초기에 정렬되지 않은 모델들의 놀라운 성과 전환을 촉진함을 보여준다. 우리 코드는 https://github.com/Qwen-Applications/skill-self-play 에서 이용할 수 있다.
상업용 대규모 언어 모델(LLM)이 지식 참조 자료로 점점 더 많이 사용되고 있지만, 논쟁적인 과학적 주장에 대한 이들의 입장은 안정적이지도 투명하지도 않다. 우리는 네 개의 주요 LLM 계열(Claude, Grok, GPT, Gemini)이 Frank Salter의 생물사회학적 틀에서 파생된 종족민족주의적 사이비과학을 어떻게 평가하는지, 네 시점의 스냅샷(2025년 10월–2026년 2월)에 걸쳐 API와 웹 인터페이스를 통해 테스트했다. Grok의 Fast 버전(X에서 기본 사용자 경험을 구동하는 버전)은 일관되게 70–75점의 신뢰도를 부여했으며, 이는 다른 모든 모델(15–40점)보다 2~5배 높았다. 이 패턴은 기본적인 진화론적 합의와 반박된 라마르크주의 주장을 검증하는 대조 프롬프트에서는 나타나지 않았고, 그 경우 모든 모델이 비슷하게 수행했다. 세 가지 추가 발견이 있었다. (1) 조용한 패치가 공개 문서 없이 하룻밤 사이에 Grok의 행동을 혼돈에서 안정적으로 높은 검증으로 반전시켰다. (2) 동일한 Grok 모델 식별자가 석 달 후 API(75)와 웹(5.5)을 통해 극단적으로 다른 출력을 생성했다. (3) 사이비과학적 주장에 대한 평가 거부—관찰된 가장 방어 가능한 응답—는 서로 다른 인터페이스를 통해 두 모델 계열에서 나타났고(Claude Opus 4.1은 웹에서 단호하게, GPT-5.1 Chat은 API에서 간헐적으로), 각 후속 버전에서는 약화되었다. 이러한 결과는 상업용 LLM의 인식론적 입장이 모델의 안정적인 속성이 아니라 배포 구성—시스템 프롬프트, 안전성 계층, 인터페이스 라우팅, 조용한 업데이트—의 조건에 따른 효과임을 시사한다. 이는 사용자와 연구자 모두에게 여전히 불투명하다. 우리는 이것이 새로운 형태의 인식론적 책무성을 요구하는 공적 관심사라고 주장한다.
우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.
창의성 평가자로서 대규모 언어 모델(LLM)의 사용이 늘어나고 있음에도, 인간 평가와의 정렬(alignment)에 대한 증거는 여전히 엇갈리며, 이는 그들의 판단이 인간의 판단과 언제, 왜 수렴하거나 발산하는지에 대한 질문을 제기한다. 세 가지 연구와 널리 사용되는 6개의 LLM을 대상으로, LLM의 창의성 평가를 뒷받침하는 기준을 식별하고 그 하류적 함의를 조사함으로써 이 공백을 메웠다. 연구 1은 LLM이 일반적으로 인간의 창의성 평가 기준 중 더 좁은 부분집합에 의존함을 보여주었다. 인간 기준과의 수렴은 신규성(novelty) 차원에서 가장 강했고, 반면 사회적·시장·평판 정보를 포착하는 맥락적(contextual) 차원에서 발산이 가장 뚜렷했다. 게다가 각 LLM은 폭에서 상당히 달랐던, 모델 고유의 뚜렷한 기준을 보였다. 이러한 평가 기준의 차이는 실제 창의성 판단에 반영되었다. 연구 2(N = 1,103개 아이디어)는 LLM 평가가 인간 평가와 중간 정도로 상관관계가 있었으며, 더 넓은 기준을 가진 개별 LLM이 인간이 더 창의적이라고 판단한 아이디어와 그렇지 않은 아이디어를 더 잘 구분함을 보여주었다. 연구 3(N = 1,195)는 LLM이 맥락 정보에 덜 민감함을 보여주었다. 이러한 정보는 인간의 창의성 평가를 유의미하게 바꿨지만 LLM 평가는 대체로 변하지 않았다. 종합하면, 본 연구 결과는 LLM-인간 정렬에 대한 엇갈리는 증거를 설명하는 데 도움이 되며, 정렬이 판단이 요구하는 증거와 각 모델이 적용하는 기준에 달려 있음을 보여준다. LLM은 평가가 신규성과 같은 내재적 특성을 강조할 때 인간과 유사할 수 있지만, 판단에 맥락 정보가 필요할 때는 발산할 수 있다. 따라서 LLM 평가자를 선택하는 것은 중대한 결정이다. 서로 다른 기준을 적용하는 모델들은 서로 다른 아이디어를 창의적이라고 인식한다.
대규모 언어 모델(LLM) 평가는 다양한 태스크와 벤치마크에 걸쳐 있지만, 증거는 여전히 그들이 탐색하는 역량보다는 태스크를 중심으로 조직되어 있다. 이러한 파편화는 연구 간 비교를 제한하고, 태스크가 동원하는 역량을 흐리게 하며, 커버리지 공백을 식별하기 어렵게 만든다. 우리는 원시(Primitive), 구성(Constructed), 통합(Integrative) 층에 걸친 14개 역량 영역과 91개 하위 기술로 구성된 다층 분류체계를 제안한다. 인간 인지과학이 LLM 아키텍처가 아닌 역량 정의와 조직을 이끈다. 층 배정은 발달적 우선순위와 가설적 기능적 지원에 기반하며, 인간 기원의 구성요소는 관찰 가능한 모델 행동에 맞게 조정된다. 운영적 유용성을 보여하기 위해, 2023년부터 2025년 사이 ACL, AAAI, ICML, NeurIPS의 31,505편 논문을 선별하고, 다중 모델 주석, 합의, 중재를 통해 15,934편의 LLM 중심 논문을 매핑했다. 직접적인 연구 관심은 Language-Semantic Competence(3,551; 22.3%), Reasoning(3,388; 21.3%), Planning and Decision-Making(2,149; 13.5%), Perception(1,954; 12.3%)에 집중되었으며, 6개 영역은 논문의 2% 미만에서만 나타났다. 영역 내에서 가장 빈번한 하위 기술의 중앙값 출현률은 97.9%였으며, 14개 영역 중 10개에서 논문의 최소 90%에 나타났다. Language-Semantic Competence와 Reasoning이 가장 많은 쌍을 이루었고(n = 1,864; 11.7%; lift = 2.47), Theory of Mind와 Social Reasoning and Interaction은 최소 20회 공존을 가진 쌍 중 가장 높은 lift를 보였다(n = 62; lift = 30.84). 분석 단위를 고립된 태스크에서 구조화된 역량으로 전환함으로써, 이 분류체계는 연구 조직, 커버리지 점검, 평가 해석, 그리고 진단, 학습, 전이(transfer)를 위한 검증 가능한 가설을 지원한다.
경량 프로젝터는 사전학습된 음성 인코더와 대규모 언어 모델(LLM)을 연결하는 확립된 방법으로, ASR 및 음성 질의응답과 같은 작업을 위해 음향 특징을 토큰 수준 임베딩으로 매핑한다. 그러나 기존 시스템은 일반적으로 소수의 언어만 지원하며 종종 영어에 한정된다. 우리는 Whisper 인코더와 오픈소스 다국어 LLM을 연결하여 28개 유럽 언어에서 완전한 오픈소스 end-to-end ASR을 가능하게 하는 최초의 오픈 사이언스 다국어 프로젝터 계열인 MEUSLI를 제안한다. MEUSLI는 기존 단일언어 파이프라인을 확장하여, 고자원 및 저자원 언어 모두에서 우수한 결과를 제공한다. 적절한 지속 학습(continual learning) 기법을 사용하면, MEUSLI는 학습에서 보지 못한 다른 언어로도 쉽게 확장할 수 있다. 또한 MEUSLI 프로젝터가 ASR을 넘어 활용될 수 있음을 보였으며, 언어당 단 몇 시간의 과제별 지도 학습만으로 다국어 음성 번역 및 주제 식별을 가능하게 한다. 전반적으로 MEUSLI는 확장 가능하고 포용적인 오픈소스 SpeechLLM을 지원하며, 다국어 음성 이해 작업을 위한 견고한 기반을 제공한다.
원자력 산업에 대규모 언어 모델(LLM)을 통합하려면 도메인 특화 지식에 기반한 출력이 필요하다. 본 연구는 미국 원자력 규제위원회(NRC) 원자로 운전원 면허 시험을 기준으로 8가지 모델-검색 구성을 벤치마킹하여, 310억 매개변수 오픈 가중치 다중모달 모델(Gemma 4 31B-IT)의 원자력 지식 적용 능력을 평가한다. 2015–2021년 3월 시행분의 Generic Fundamentals Examination(GFE) 14회(가압수형 원자로 7회, 비등수형 원자로 7회)를 표준 80% 인간 합격 기준으로 평가한다. 기본 모델을 Gemini로 증류한 사고의 연쇄(Chain-of-Thought, CoT) 근거에 대한 지도 미세조정(SFT), 미국 에너지부 Fundamentals Handbook에 대한 BM25 희소 검색을 활용한 검색-증강 생성(RAG), 검색-증강 미세조정(RAFT)을 적용한 구성과 비교한다. 검색 파이프라인 내에서 고정 크기 슬라이딩 윈도우 청킹과 구조 인식 청킹을 비교한다. 고정 크기 청킹 RAG를 결합한 SFT 구성은 14회 시험 중 8회에서 기준을 충족하여 모든 대안을 능가했으며, 미세조정 없는 구성은 어느 시험도 통과하지 못했다. 전체 정확도는 79.7%에 달했으며, 신뢰구간이 임계값을 포함했고, PWR 항목에서는 구체적으로 80.2%였다. 또한 두 가지 규칙성이 나타났다: 선호되는 청킹 전략은 모델의 학습 상태에 따라 역전되며, RAFT는 검색 환경을 맞춘 표준 SFT에 비해 성능이 낮았다. 이 결과는 어떤 미세조정과 검색 접근법의 조합이 운전원 수준의 역량에 도달하는지를 보여준다.
대규모 언어 모델(LLM)에 대한 심리적 의존을 평가하기 위한 신뢰할 수 있고 문화적으로 검증된 도구에 대한 필요성이 점점 커지고 있으며, 특히 LLM이 조직 및 업무 관련 맥락에서 과업 수행, 의사결정, 소통에 점점 더 많이 사용되고 있기 때문이다. 이러한 필요성은 LLM 도입이 빠르게 확대되고 있지만 검증된 심리측정 도구는 여전히 부족한 스페인어 사용 인구에게 특히 중요하다.
본 연구는 영어 및 아랍어 표본에서 수행된 기존 검증을 확장하여 Large Language Model Dependency Scale(LLM-D12-SP) 스페인어판의 최초 검증 결과를 보고한다. LLM-D12는 도구적 의존(과업 수행 및 의사결정 지원을 위한 LLM에 대한 의존)과 관계적 의존(동반 및 사회적 상호작용을 위한 LLM에 대한 심리적 의존)을 평가하는 2차원 도구이다.
총 386명의 스페인어 사용 참가자(M = 28.0세, SD = 6.1; 남성 55%)가 LLM-D12-SP를 완료하였다. 확인적 요인분석은 원래의 2요인 구조를 지지하였다. 척도는 양호한 내적 일관성을 보였다(Cronbach's alpha = 0.89 전체; 0.86 도구적; 0.85 관계적). 판별 타당도 분석은 두 하위척도가 관련되지만 구별되는 구인을 나타냄을 보여주었다.
외부 검증 결과, 두 의존 차원 모두 인터넷 중독 및 LLM에 대한 지각된 신뢰성과 양의 상관을 보였으며, 인지욕구와는 약하거나 없는 상관을 보였다. 기존 영어 및 아랍어 검증과 함께, 이러한 결과는 척도 구조에 대한 교차 언어적 지지를 확립하고 조직 맥락에서 LLM 사용의 심리적 측면을 조사하기 위한 심리측정학적으로 타당한 도구를 제공한다.
모델 병합(model merging)은 여러 특화 모델을 하나의 통합 모델로 결합하는 데 중요한 역할을 하며, 특히 대규모 언어 모델(LLM) 시대에 더욱 그렇다. 최근 연구는 주로 학습된 모델 간 병합 성능을 높이는 전략 개발에 집중해 왔지만, 지도 미세조정(SFT)과 강화학습(RL) 같은 학습 패러다임이 모델 병합 효과에 미치는 영향은 아직 충분히 탐구되지 않았다. 본 연구에서는 전통적인 SFT로 학습된 모델과 비교하여 RL로 학습된 LLM의 병합 거동을 체계적으로 탐구한다. 다섯 가지 대표 과제에 걸친 종합 평가를 통해, RL이 과제 충돌을 크게 줄이고 병합 후 성능 저하도 더 적게 만든다는 것을 확인했으며, 이로 인해 RL로 학습된 모델이 이 과정에 특히 적합하다. 모델 병합에 RL이 더 적합한 이유를 밝히기 위해 광범위한 실증 실험과 이론적 분석을 수행했다. 분석 결과 세 가지 핵심 요인이 드러났다: (1) RL의 온-정책 학습 데이터는 그래디언트 업데이트의 크기를 더 작게 제어하여, 모델 내 다른 과제의 기존 지식을 덮어쓸 위험을 줄인다. (2) ``적당한 것이 충분하다(enough is as good as a feast)''를 선호하는 RL 최적화 목표는 모델이 수렴함에 따라 충돌 매개변수 업데이트의 크기와 횟수를 점진적으로 줄인다. (3) RL에서 긍정·부정 예시의 공동 최적화는 모델을 편향되지 않은 과제별 매개변수 부분공간으로 이끌어, 견고한 성능을 유지하면서 매개변수 충돌을 더욱 방지한다.
제로샷(zero-shot) 및 학습 없는(training-free) 조건에서 LLM 생성 텍스트를 탐지하는 것은 여전히 어려운 과제이며, 특히 탐지기가 데이터셋, 도메인, 그리고 보지 못한 생성기에 걸쳐 일반화해야 할 때 더욱 그렇다. 기존의 학습 없는 접근법들은 탐지 신호로 언어 모델 통계를 활용하지만, 일반적으로 전체 모델 동작을 요약하는 전역(global) 측정치를 통해 텍스트를 특성화한다. 따라서 토큰 수준 예측 가능성의 잠재적으로 유용한 국소(local) 및 다중 스케일(multiscale) 변동이 충분히 활용되지 못할 수 있다. 이러한 관찰에 동기를 부여받아, 우리는 프록시 인과(causal) 언어 모델이 생성한 토큰 수준 로그 확률(log-probability) 시퀀스의 이산 웨이블릿(discrete wavelet) 분석을 통해 LLM 생성 텍스트를 탐지하는 학습 없는 신호 기반 프레임워크인 DWT-Fusion을 제안한다. 제안된 프레임워크는 웨이블릿 기반 다중 해상도(multiresolution) 신호 표현을 통해 이러한 시퀀스를 분석하고, 국소화된 확률 역학(probability dynamics)으로부터 탐지 신호를 도출한다. 우리는 또한 동일 가중치 하드 보팅(equal-weight hard voting), 동일 가중치 소프트 보팅(equal-weight soft voting), 보정(calibration) 가중치 하드 보팅, 보정 가중치 소프트 보팅을 포함한 네 가지 학습 없는 보팅 변형을 평가하여, 지도(supervised) 메타 분류기를 학습하지 않고도 여러 웨이블릿 구성을 결합한다. 프레임워크를 HC3, M4, MAGE에서 GPT-Neo-2.7B, GPT-J-6B, Falcon-7B, LLaMA-3-8B를 프록시 모델로 사용하여 평가한다. 최적의 단일 웨이블릿 구성은 HC3, M4, MAGE에서 각각 AUROC 0.9872, 0.8185, 0.7138을 달성한다. 보정 가중치 보팅을 적용하면 최적의 앙상블 변형은 AUROC를 각각 0.9919, 0.8477, 0.7471로 더욱 향상시킨다. 이러한 결과는 DWT 기반 다중 해상도 스코어링과 보정 기반 보팅 융합이 학습 없는 LLM 생성 텍스트 탐지를 위한 효과적이고 해석 가능한 신호를 제공함을 보여준다.
자해 콘텐츠는 자연어 처리(NLP) 기법으로 탐지하기 특히 어려우며, 시의적절한 개입이나 위험에 처한 사용자 표시를 위해 최고 수준의 정확도가 필요한 고위험(high-stakes) 과제이기도 합니다. 따라서 우리는 대규모 언어 모델(LLM)이 이러한 자해 콘텐츠를 어떻게 표현하는지에 대한 분석을 제시하며, 이는 자해 탐지, LLM 개입, 거버넌스 및 단속에 하위 응용이 있습니다. 본 논문에서는 두 데이터셋과 네 모델에 초점을 맞추고 두 가지 주요 실험을 수행합니다: (1) X-Sensitive와 SH-Detection이라는 두 자해 데이터셋에 대해 각 모델의 모든 레이어에서 선형 프로브(linear probe)를 학습하고 평가합니다. 두 말뭉치 모두에서 자해 정보는 네트워크 레이어의 마지막 3-7%(깊이 93-97%)에서 뚜렷하게 형성됩니다. (2) 대조적 자해 방향(contrastive self-harm direction)을 추출하고, 정규화(normalization) 단계를 수행한 후, 가장 정확한 프로브가 반드시 가장 선형적으로 분리 가능한 것은 아님을 발견합니다. 특히 Gemma-3-4B는 다른 LLM들과 비교해 이 대조적 자해 방향을 약간 다르고 더 복잡한 방식으로 표현하는 것으로 나타났습니다.
사고의 연쇄(Chain-of-Thought) 프롬프팅은 연속적인 계산 단계에 걸쳐 중간 상태를 전달함으로써 언어 모델의 추론을 향상시킨다. 그러나 자연어를 유일한 순환(recurrent) 인터페이스로 의존하는 것은 과도하게 제한적이다. 많은 일시적인 계산은 완전히 언어화될 필요가 없기 때문이다. 기존 잠재 추론(latent-reasoning) 방법들은 연속적인 은닉 상태를 순환적으로 전파함으로써 이러한 제약을 제거한다. 그러나 이러한 방법들은 다음 추론 단계에 필요한 정보를 선택하고 조직화하는 명시적 메커니즘 없이, 밀집된 은닉 벡터를 통째로 전달한다. 이는 디코딩된 문장을 요구하지 않으면서도 언어적으로 그라운딩(grounding)된 중간 인터페이스에 대한 동기를 제공한다. 우리는 모델의 은닉 표현 내 어휘 색인 좌표계인 J-space를 기반으로 한 순환 추론 프레임워크인 J-CoT를 제안한다. 각 사이클 내에서 모델은 전체 은닉 공간에서 계산한다. 사이클 경계에서 J-CoT는 중간 상태를 어휘 색인 계수로 표현하고, 이 계수들을 J-thought로 전달하며, 다음 사이클을 위해 모델의 은닉 표현으로 다시 매핑한다. 따라서 J-CoT는 유창한 중간 근거(rationale)도, 전체 은닉 상태에 대한 순환(recurrence)도 요구하지 않는다. 일치하는 백본 및 추론 설정 하에서, J-CoT-Zero는 모든 벤치마크에서 평가된 가장 강력한 잠재 추론 기준선과 동등하거나 이를 초과하며, J-CoT-Train은 평가된 수학, 과학, 코딩 및 구조화된 경로 추론(path-reasoning) 과제 전반에서 최고 점수를 달성한다.
전문가 혼합(MoE) 아키텍처는 대규모 언어 모델(LLM)에서 널리 채택되었지만, MoE 모델에 대한 매개변수 효율적 미세조정(PEFT)은 아직 충분히 탐구되지 않았다. 기존 MoE용 PEFT 방법은 균일한 어댑터로 라우터 prior를 무시하여 효율성을 떨어뜨리고 망각 위험을 키우거나, 정적 전문가 선택에 의존하여 토큰별 용량과 전문가 간 특징 학습을 제한한다. 본 논문에서는 MoE 스타일 저랭크 적응(low-rank adaptation)으로 MoE 모델을 미세조정하는 최초의 시도를 제시한다. 우리의 방법인 MoE²-LoRA는 이중 채널 라우팅 조건 투영(RCP) 모듈을 통해 사전학습된 전문가 특화와 과제별 적응성을 깊이 결합하며, 이 모듈은 기본 라우터 활성화를 재사용하여 LoRA 라우팅을 안내한다. 또한 모든 층에 걸쳐 공유되는 단일 전역 LoRA 전문가 풀을 도입하여, 창발적 층별 친화도와 균형 잡힌 전문가 활용과 함께 모델 전반에 걸친 적응을 가능하게 한다. MoE²-LoRA는 prior 재사용, 동적 어댑터 라우팅, 모델 전반 지식 공유의 장점을 동시에 누린다. 다양한 규모와 전문가 세분화를 갖춘 여러 MoE 백본에서 평가한 결과, MoE²-LoRA는 더 강한 일반 역량을 유지하면서 하류(downstream) 정확도에서 일관되게 최첨단(state-of-the-art) 성능을 달성한다.
LLM-에이전트 메모리 벤치마크는 일반적으로 대화를 먼저 생성한 뒤 답변 키를 추출하는데, 이 과정에서 기록된 라벨 오류와 오염(contamination) 문제가 있으며, 대부분 짧은 상호작용 이력만 측정한다. 우리는 파이프라인을 뒤집는다: 시드가 주어진 life-script 샘플러가 어떤 텍스트도 존재하기 전에 유효 기간, 변동성 클래스, 소스 채널을 갖춘 사실을 생성하고, LLM 렌더러가 이벤트별 사실 매니페스트로부터 채팅과 이메일을 작성하며, 충실도 검증기가 심어진 모든 사실을 확인하고, 질문은 스크립트로부터 기계적으로 생성되므로 정답(gold answer)은 구조상 스크립트-유효하며 답변 가능성에 대해 별도로 검증된다. 합성·가상화 코퍼스(~380개 질문, 15유형)는 우리가 조사한 벤치마크에 없는 특성을 포함한다: 사실별 유효 기간, 발신/수신 신뢰 구분, 무해한 하네스 내 주입(injection) 프로브, as-of-date 질문 세트. 메모리 없는 대조군(고정 답변기, 버전 관리된 LLM 심판, 3회 반복, 2개 시간 지평)에 대해 다섯 가지 메모리 아키텍처를 벤치마킹한 결과, 백엔드 순위가 이력 길이에 따라 역전된다: 3주에서 선두인 예산 제한 큐레이션 맵 메모리는 9주까지 가면 퇴출(evicted)된 내용의 재현율이 96%에서 72%로 떨어지는 반면, 출처(provenance) 유형 그래프는 90%까지 상승한다; 이 역전은 완전한 교차-패밀리 재심사 하에서 6명 사용자 모두에서 양의 방향으로 나타난다(exact p=0.031). 전체 렌더링 이력 기준선은 짧은 지평에서 최고 메모리 시스템과 동률이거나 이를 초과하지만, 9주에서는 심판 독립적 이점이 없으며, 읽기 비용은 약 2배이다. 작성 단계 품질은 하류 품질과 강하게 상관한다(약하게 작성된 사실은 24% vs 2% 실패), 주입 저항성은 출처 경계가 표현(representation)을 통해 유지되는지를 추적했다. 계층형 아키텍처는 두 체제 모두에서 메모리 시스템 중 최고 성능(단기 지평 96.8%)을 보이며, 코퍼스 생성기와 하네스와 함께 Veracium이라는 오픈소스 라이브러리로 공개된다.