루프형 언어 모델은 공유된 레이어 스택을 토큰당 T번 반복함으로써 적은 파라미터 수로 추론을 심화하지만, 이로 인해 재귀 깊이가 곧바로 순차 디코딩 지연 시간이 된다. 기존의 조기 종료 디코딩은 캐시를 완성하지 않은 채 초기 패스 이후 중단하여, 과거 토큰의 캐시된 키-값 상태를 얕은 깊이로 잘라 낸다. 우리는 반대 전략인 후기 진입을 연구한다. 후기 진입에서는 새 토큰이 초기 패스를 건너뛰고 깊은 문맥 캐시 위에서 마지막 K < T번의 패스로 곧바로 진입한다. 경량 미세 조정으로 진입 경계에서의 은닉 상태 노름 불일치를 해소하면, 깊은 캐시 문맥이 건너뛴 토큰 국소 패스를 대체하여 후기 진입은 모델 계열과 패스 예산 전반에서 동일 조건의 조기 종료를 능가한다. 이러한 비대칭성을 깊은 캐시 구축을 위한 정체 없이 실제 시간 단축으로 전환하기 위해, 후보 블록은 임계 경로에서 마지막 K번의 패스만으로 검증되며, 이미 확정된 토큰은 추가 직렬 호출 없이 이후 단계와 함께 1 -> T 패스를 완료한다. 완료된 이러한 T-패스 웨이크 상태를 기존 출력 GEMM 내부에서 투영하는 방식(로짓 마진 허용치 tau in [0, inf]로 제어되는 웨이크 검증)은 탐욕적 정확 T-패스 디코딩(tau = 0, bf16 축약 순서 내에서 K = T 블록 디코딩과 일치), 마진 기반 검증(tau > 0), 롤백 없는 손실형 후기 진입(tau = inf)을 하나의 정적 CUDA 그래프 안에서 통합한다. Ouro-2.6B(T = 4)에서 K = 2 웨이크는 tau = 0일 때 탐욕적 정확 방식 대비 5.2배의 속도 향상(GSM8K에서 K = 4 블록 디코딩 대비 +26%)을, tau = inf일 때 6.8배(동일 속도에서 학습된 조기 종료 대비 +16.9 포인트)를 달성한다. Huginn-3.5B에서 T in {8, 16, 32, 64}에 걸쳐 테스트 시점 재귀를 확장하면 K = T/4 롤백이 깊이에 따라 21.5배 감소하며, 이에 따라 탐욕적 정확(tau = 0) 속도 향상은 6.1배(T = 32)와 8.4배(T = 64, K = 64 블록 대비 +153%), tau = inf 속도 향상은 10.6~12.5배에 이른다.
다양체 제약 하이퍼 연결(mHC)은 트랜스포머의 잔차 스트림을 학습된 스트림 간 연결을 가진 여러 병렬 스트림으로 확장한다. 기존 연구는 모든 스트림을 공통 목적을 향해 학습시킨다. 반면 우리는 서로 다른 스트림에 서로 다른 학습 목적을 부여하면 과제 성능을 향상시키고 목적별 특화를 유도할 수 있는지 연구한다. 상호 보완적인 어휘적(희소) 검색 목적과 의미적(밀집) 검색 목적을 사례로 사용하여, 목적 특화 mHC가 2개 및 4개 스트림 모델과 두 가지 모델 규모 모두에서 희소-밀집 융합의 전 범위에 걸쳐 비특화 mHC 모델을 일관되게 능가함을 확인한다. 이어서 스트림 표현, 잔차 혼합, 목적별 그래디언트 흐름, 읽기/쓰기 게이트에 대한 프로브를 사용하여 특화가 모델 내부를 어떻게 변화시키는지 살펴본다. 특화 모델과 비특화 모델은 네트워크 대부분에서 유사하게 동작하지만 마지막 층에서 갈라진다. 특화 모델은 점차 목적에 특화된 그래디언트 흐름, 뚜렷한 읽기/쓰기 라우팅 패턴, 감소된 스트림 간 혼합을 보이며, 서로 다른 목적을 부여받은 스트림은 점점 더 달라지는 반면 같은 목적으로 학습된 스트림은 매우 유사하게 유지된다. 잔차 혼합을 항등으로 고정해도 특화의 이점이 그대로 유지되는데, 이는 그 이점이 학습된 스트림 간 혼합이 아니라 목적별 읽기/쓰기 라우팅에서 비롯됨을 시사한다. 이러한 결과는 mHC 스트림에 서로 다른 목적을 부여하면 잔차 연산에 구조화된 깊이 의존적 특화를 유도하면서 다목적 검색을 향상시킬 수 있음을 보여 준다.
소형 언어 모델을 구축하려면 공개된 개선 사항 중 어떤 것을 조합할지 선택해야 한다. 우리는 동일한 데이터와 학습 예산으로 같은 모델에서 다섯 가지 변경을 비교한다. 선택한 조합을 시험하고 각각을 두 번째 랜덤 시드로 반복한다. 전문가 혼합 레이어, Muon 최적화, Gated DeltaNet 하이브리드가 가장 큰 이득을 준다. 추가 정규화도 도움이 되는 반면, 파라미터 예산을 맞춘 어텐션 게이트는 평균적으로 거의 이득을 더하지 못한다. 이득은 대체로 결합되지만, 변경 사이의 작은 상호작용은 반복 실행에서도 다시 나타난다. 또한 반복을 통해 초기 통계 추정치가 잡음으로 취급했던 이점이 드러난다. 이러한 결과는 우리의 소형 모델 학습 설정에 적용되며, 전문가 모델은 총 용량도 더 크다. 실용적 교훈은 유망한 구성 요소를 함께 시험하고, 어떤 것을 유지할지 결정하기 전에 비교를 반복하라는 것이다.
환자 병력 청취는 반복적인 질문을 통해 진단 가설을 정교화해 나가는 전략적인 다중 턴 과정으로, 각 질문이 후보 진단에 대한 믿음을 갱신하는 임상 추론을 그대로 반영한다. 이러한 환경에 AI를 적용할 때는 프라이버시, 비용, 지연 시간의 제약이 따르므로, 대형 언어 모델(LLM)보다 소형 언어 모델(SLM)이 더 바람직한 기반 모델이 된다. 그러나 SLM은 이 과정 중 빠르고 직관적인 "System 1"의 측면만을 포착할 뿐, 시간에 따라 진단의 불확실성을 유지하고 갱신하는 데 필요한 숙고적인 "System 2" 추론을 위한 명시적 메커니즘이 부족하다. 베이지안 네트워크(BayesNet)는 감사 가능한 확률적 믿음 추적을 위한 해석 가능한 틀을 제공하므로 자연스러운 보완책이 된다. 하지만 임상용 BayesNet은 전문가가 직접 구성한 구조, 의존 관계, 파라미터에 의존하기 때문에 구축하기 어렵다. 본 논문에서는 소수의 임상 노트로부터 온톨로지 구축, 구조 예측, 파라미터 추정의 세 단계를 거쳐 임상 BayesNet을 자동으로 합성하는 ProbMedTOD를 제안한다. 이어서 ProbMedTOD는 생성된 BayesNet을 SLM과 통합하여 다중 턴 대화에서 확률적 추론을 가능하게 한다. BayesNet 에이전트는 진단에 대한 사후 분포를 실시간으로 유지하며, 정책 에이전트는 진단적으로 유익한 질문을 선택한다. DDXPlus와 MIMIC-IV Notes에서의 실험 결과, ProbMedTOD는 LLM 단독 기반 및 검색 기반 베이스라인을 능가했으며, 특히 소형 모델에서 두드러진 성능 향상을 보였다.
멀티모달 개체 연결(MEL)은 멀티모달 문맥 속의 멘션을 지식 베이스의 특정 개체에 대응시켜 중의성을 해소하는 것을 목표로 한다. MEL의 핵심 과제는 멘션-개체 쌍 간의 의미적 일관성과 모달리티 간의 상호 보완적 상관관계라는 다층적 대응 관계를 포착하는 것이다. 그러나 기존 방법은 결합된 상호작용이나 거친 전역 집계에 의존하기 때문에 요소 지배 문제를 겪는 경우가 많다. 이에 본 논문에서는 Multi-Element Collaborative Interaction(MECI) 프레임워크를 제안한다. 먼저 다중 요소 멘션-개체 대응 관계를 포착하기 위해, 요소 지배를 완화하는 분리된 특징 학습을 위한 "분할 정복" 전략을 활용하는 Multi-view Experts Network를 개발하며, 이는 전문가의 특화와 협력을 제어하는 KL 기반 라우팅 메커니즘의 지원을 받는다. 나아가 모달리티 간 상호 보완적 상관관계를 모델링하기 위해 계층적 멀티모달 상호작용 모듈을 제안하는데, 여기서 동적 모달리티 인식 가중치 네트워크가 계층적 의미 수준에 걸쳐 상호작용을 정교화하여 다중 입도의 증거를 통합함으로써 요소 지배에 대응한다. 마지막으로 대규모 언어 모델을 활용해 제로샷 재순위화를 수행하는 생성적 의미 정제 단계를 도입한다. WikiDiverse, RichpediaMEL, WikiMEL에 대한 폭넓은 실험에서 MECI는 최신 베이스라인을 일관되게 능가했으며, Hits@1이 각각 1.95%, 7.30%, 2.31% 향상되었다.
최근 연구는 개별 뉴런이 AI 행동에서 해석 가능한 역할을 가질 수 있음을 시사한다. Qwen3.5-4B에서 하나의 뉴런의 출력 방향을 따라 조향하면, 팀원이 메시지를 제공하지 않는 경우에도 다섯 가지 시나리오 전반에서 혼자일 때보다 팀에서 정보를 은폐하는 결정이 더 많이 증가하였다. 모든 구성원이 참여하고 조향을 받은 경우 네 개의 시나리오에서 집단적 은폐가 증가하였으며, 에이전트 간 메시지 교환은 조향 하에서 은폐를 완화하는 데 도움이 되었다. 또한 해당 뉴런의 기여를 제거하는 것은 미미한 영향만 미쳤다. 따라서 집단적 환경은 내부 개입이 AI 행동에 미치는 영향을 바꿀 수 있다.
성차별 여부에 대한 판단은 주관적이며 공동체에 따라 다를 수 있지만, 성차별 탐지 데이터셋은 대개 주석자의 판단을 단일 다수결 레이블로 축약하여 불일치와 모델이 논쟁적 사례에서 보이는 행동을 가린다. 본 논문은 사우디, 이집트, 모로코 아랍어로 된 YouTube 댓글 데이터셋 MuDAS를 소개한다. 각 댓글은 해당 방언의 원어민 세 명이 레이블링했으며 개별 주석이 보존되어 있다. 이를 이용하여 하드 레이블, 소프트 레이블, 관점주의적 목적함수로 미세 조정한 아랍어 인코더, GPT-5.6 Terra, 그리고 아랍어 중심의 대규모 언어 모델 네 개를 평가한다. 모델 오류는 주석자 간 불일치가 있는 댓글에서 더 자주 발생한다. Macro-F1 점수가 비교적 비슷함에도 GPT-5.6 Terra와 미세 조정된 인코더는 대조적인 오류 양상을 보인다. GPT-5.6 Terra는 주석자의 성차별 정의를 제공받은 경우에도 정숙함에 관한 종교적 조언 같은 성별 관련 내용을 과도하게 분류하는 반면, 인코더는 암묵적이고 규범적인 성차별을 놓친다. 아랍어 중심 모델 또한 성차별을 과대 예측하며 인코더에 미치지 못한다. 불일치 인식 학습은 Macro-F1을 유지하지만, 소프트 레이블은 논쟁적 댓글에서 주석자와의 정렬을 개선하는 대신 만장일치 댓글에서는 이를 희생하며, 어느 패러다임도 논쟁적 댓글을 안정적으로 식별하지 못한다. 특히 대규모 언어 모델에서 가장 뚜렷한 이집트 아랍어에서의 낮은 성능은 검토한 테스트 세트 구성 및 방언성 측정치로는 완전히 설명되지 않는다. 따라서 다수결 레이블 점수는 콘텐츠 조정에서 중요한 대조적 오류 양상을 감출 수 있다.
AI 에이전트는 매 단계마다 전체 이력을 읽는다. 사람은 그렇게 일하지 않는다. 우리는 그 순간에 필요한 것만 간직하고 나머지는 다시 떠올릴 수 있는 대략적인 메모로 남겨 둔다. MoE-Context는 이를 언어 모델에 적용한다. 컨텍스트는 블록으로 나뉜다. 각 단계 전에 빠른 예/아니오 패스가 그 단계에 필요한 블록을 결정하고, 나머지는 다시 불러올 수 있는 한 줄 메모로 남으며 아무것도 삭제되지 않는다. 우리가 구축한 버전에서는 하나의 모델이 이 결정을 내린 뒤 답하며, 숨겨진 블록은 제거되지 않고 마스킹되는 단일 키-값 캐시를 사용한다. Qwen3-1.7B와 합성 조회 과제를 사용한 노트북 환경에서, 필요한 블록만 보여 주면 정확도가 120개 중 93개에서 119개로 높아지고, 마스킹된 블록은 삭제된 블록만큼 완전히 숨겨진다. 모델 자체의 선택이 약한 부분이다. 여분의 출력 행에 기록한 지도 학습 선형 프로브는 정확도를 120개 중 80개에서 110개로 끌어올리지만, 이 과제에서는 단순한 키워드 검색이 완벽하게 선택하며 프로브는 두 번째 과제로 전이되지 않는다. 우리는 이러한 결과를 숨김없이 보고하며, 블록 전환이 가능하게 하는 두 가지 저렴한 활용 패턴, 즉 실패한 시도의 취소와 새 컨텍스트 없이 하위 에이전트를 실행하는 방법도 함께 보고한다.
루프형 트랜스포머는 가중치를 공유하는 블록을 R번의 순환 단계에 걸쳐 반복 적용하여 작은 모델로 큰 유효 깊이를 달성하며, 각 단계는 루프별 키-값(KV) 캐시를 유지한다. 순차적 루프 실행을 가속하기 위해, WaveFront Decoding(WFD)과 LoopSpec 같은 최근의 웨이브 방식 자기 추측 기법은 초안 토큰과 대상 토큰을 한 단계에서 루프 간에 파이프라인한다. 그러나 이들은 두 가지 중대한 한계를 지닌다. 첫째, 고정된 루프에서만 초안을 작성하며 중간 예측 변화를 무시하여 낡은 궤적에 연산을 낭비한다. 둘째, 서로 다른 루프의 토큰을 배치로 묶으면 단계마다 최대 R배의 KV 캐시를 적재하여 장문맥 시나리오에서 메모리 트래픽을 심하게 증폭시킨다. 이러한 과제를 해결하기 위해 장문맥 루프형 트랜스포머를 위한 효율적인 자기 추측 디코딩 프레임워크 LoopCache를 제안한다. 예측 전환과 출력 신뢰도 사이의 상관관계에 기반하여, LoopCache는 신뢰도 기반 동적 초안 갱신을 도입해 모든 중간 루프에서 진행 중인 초안을 개선한다. 또한 LoopCache는 루프별 KV 캐시를 순환하며 사용하는 순환형 루프 KV 캐시 전략을 채택하여, 무손실 검증을 위해 가장 가까운 일치 주기에서 토큰을 배치로 묶으면서도 단계별 KV 트래픽을 단일 루프로 제한한다. 루프에 민감한 몇몇 얕은 층에 대해서는 독립적인 KV 캐시를 선택적으로 유지함으로써, LoopCache는 무시할 만한 오버헤드로 수용률을 높인다. 실험 결과 LoopCache는 WFD 및 LoopSpec 대비 평균 10.25배와 14.56배의 속도 향상을 달성한다.
LipSpell: A Language-Independent Phonetic Scoring Framework for Spelling Correction Combining Distinctive-Feature Edit Distance, Keyboard Geometry, and Corpus Frequency
자동 철자 교정은 키보드 오타와, 작성자가 단어의 발음을 근사하여 생기는 인지적 또는 음성적 철자 오류를 모두 처리해야 한다. 기존 철자 검사기는 음성 오류가 여러 문자만큼 달라질 때 어려움을 겪는 정서법적 편집 거리와 키보드 근접성에 의존하거나, Soundex와 Metaphone 같은 영어 중심의 음성 해시에 의존한다. 우리는 교체 가능한 언어별 G2P 프런트엔드, 키보드 맵, 어휘 사전과 결합된, 통합적이고 언어 독립적인 음성 점수화 엔진 LipSpell을 제시한다. 이 엔진은 (1) 보편 IPA 변별 자질로부터 사전 계산한 |P|x|P| 음소 거리 행렬, (2) 물리적 키보드 기하, (3) 코퍼스 유니그램 빈도 사전 확률을 통합하며, 2단계 대칭 삭제와 7개 클래스 음성 코드 색인으로 가속된다. 여섯 개의 영어 벤치마크(TOEFL-Spell의 L2 오류 1,000개 포함)에서 LipSpell은 모든 데이터셋에서 Norvig와 Hunspell을 능가하며, Norvig1(78.52% 대 75.56%), Holbrook(32.00% 대 26.67%), TOEFL-Spell(77.30% 대 72.80%)에서는 Aspell도 앞선다. 다섯 개 계통(게르만어, 로망스어, 슬라브어, 셈어, 튀르크어), 세 개 어족(인도유럽어, 아프리카아시아어, 튀르크어), 세 가지 문자를 아우르는 여섯 개 언어에서 평가했을 때, LipSpell은 브라질 포르투갈어(n=500 위키백과에서 NFD 허용 없이 Top-1 73.00%, NFD 적용 시 75.80%, 반면 Norvig 66.40%, Hunspell 64.20%, Aspell 64.00%)와 러시아어 키릴 문자(85.67% 대 Norvig 78.50%)에서 고정 가중치로 강한 전이 성능을 보인다. 어휘 정제와 약한 문자 삽입·삭제를 적용한 50/50 비단어 분할에서 튜닝은 포르투갈어(86.97% 대 76.75%), 튀르크어(81.67% 대 79.05%), 히브리어 아브자드(74.59% 대 62.30%), 프랑스어(74.53% 대 67.92%)에서 Norvig 대비 큰 향상을 가져오는 반면, 영어(80.37%)와 러시아어(85.67%)에서는 고정 가중치가 여전히 최적이다.
Holant 프레임워크 내의 계수 복잡도는 복잡도 이분법 정리를 통해 폭넓게 연구되어 왔다. 다양한 제한된 설정에서 상당한 진전이 이루어졌으나, 보조 단항 시그니처가 없는 일반적인 복소수 값 짝수 차수 경우는 대체로 미해결로 남아 있다. 본 논문은 이진 시그니처들이 \(M(B(\mathcal{F}))\cong C_2\)를 만족하는 군 구조를 유도하는 이 프로그램의 근본적인 경우를 연구한다. 이진 시그니처 행렬의 사영 동치류가 \(SO(3)\)의 유한 부분군에 자연스럽게 임베딩됨을 관찰하였으며, 이는 구조적 분류를 위한 대수적 관점을 제공한다. 본 논문은 더 나아가 \(C_2\) 경우에 대해 정규(normal) 경우와 등방(isotropic) 경우라는 근본적으로 다른 두 체제를 규명하고 각각의 복잡도 거동을 분석한다. 가젯 구성, 분해 기법, 보간 논증, 그리고 복소수 값 설정을 동등한 실수 구조 프레임워크로 변환하는 실수화(realnumberization) 접근법을 결합하여, 완전한 이분법 정리를 확립한다. 즉 \(M(\B(\mathcal{F}))\cong C_2\)를 만족하는 모든 짝수 차수 시그니처 집합 \(\mathcal{F}\)에 대해, 문제 \(\mathrm{Holant}(\mathcal{F})\)는 다항 시간에 계산 가능하거나 \#P-난해이다. 또한 실현 가능한 시그니처를 정리하고 표준 기저에서는 덜 분명한 구조적 관계를 드러내기 위한 대수적으로 자연스러운 언어로서 시그니처의 파울리 기저 표현을 추가로 도입한다.
심리 상담에 대한 수요 증가는 인간 상담사를 지원하는 LLM 기반 시스템의 개발을 촉진했으나, 이러한 시스템을 학습시키려면 대규모의 고품질 대화 데이터가 필요하다. 실제 상담 녹취록은 개인정보 문제로 수집과 공유가 어려워 합성 대화가 중요한 대안이 된다. 그러나 기존 합성 데이터셋은 다양한 시나리오와 내담자 프로필을 포괄함에도 짧은 주고받기로 구성되는 경우가 많아 세션 수준의 상담 과정을 포착하지 못한다. 본 연구는 짧은 합성 대화를 과정 인지적이고 세션 수준인 심리 상담 대화로 확장하기 위한 대화 행위 궤적 계획 프레임워크인 CounselTraj를 제안한다. CounselTraj는 인간 상담사가 수행한 역할극 상담 대화에서 대화 행위 패턴을 학습하고, 내담자와 상담사를 위한 조율된 궤적을 계획하며, 이를 장문 대화 생성을 위한 유연한 지침으로 사용한다. 세 가지 중국어 합성 상담 데이터셋에 대한 실험에서 CounselTraj는 직접 확장 및 무작위로 샘플링한 궤적을 이용한 확장보다 더 완결적이고 일관된 세션과 더 높은 품질의 상담사 개입을 생성했다. CounselTraj를 기반으로 10K개가 넘는 과정 안내형 중국어 심리 상담 대화를 담은 데이터셋 CounselTrajD를 구축하고, 이를 상담 응답 생성을 위한 CounselTrajLM의 학습에 사용한다. 응답 수준과 세션 수준의 평가에서 CounselTrajLM은 공개된 중국어 상담 모델보다 응답 품질, 치료적 이해와 개입, 상담 과정의 일관성과 진전에서 우수했다. 코드와 모델은 https://github.com/UEC-InabaLab/CounselTraj 에 공개되어 있다.
대규모 언어 모델이 아동용 이야기를 만드는 데 점점 더 많이 사용되고 있다. 잠자리 이야기는 아동의 사회적 역할 인식을 형성할 수 있으므로, LLM이 의도된 수신자의 성별에 따라 서사적 묘사를 달리하는지에 대한 우려가 제기된다. 본 연구는 LLM이 생성한 잠자리 이야기의 성별 고정관념을 조사하기 위해 대규모 연구를 수행했다. 짝지어진 딸/아들 프롬프트와 5세대 설계를 사용하여, 35개 국가 설정과 12개 화자 역할에 걸친 16개 LLM의 보존된 이야기 62,873편을 분석한다. 이러한 차이의 일관성과 해석 가능성을 모두 검토하기 위해, 맥락 보정 어휘 비율 대비, 상대적 고정관념 정렬, 화자-수신자 상호작용 분석, 인간 평가, 표현 수준 개입을 결합한 다단계 평가 프레임워크를 도입한다. 분석 결과, 서사적 구성에서 체계적인 차이가 나타났다. 아들 대상 이야기는 딸 대상 이야기에 비해 더 높은 주체성과 더 낮은 공동체성을 강조한다. 화자의 성별은 이러한 패턴에 대해 제한적인 조절 효과만 보이는 반면, 높은 사교성은 더 뚜렷한 상호작용을 나타낸다. 인간 평가는 일관된 일치도를 보이지만, 어휘 측정치와의 대응은 서사 차원에 따라 다르다. 또한 은닉 상태 분석은 해독 가능한 수신자 성별 정보를 보여 준다. 이러한 결과는 LLM이 생성한 아동 이야기에 지속적이면서도 맥락에 의존하는 표상적 격차가 존재함을 보여 주며, 짧은 형식의 벤치마크를 넘어선 서사 특화 편향 평가의 필요성을 시사한다.
본 논문은 이자 간 대화 오디오의 두 음성 대사 채널을, 백채널링과 발화 순서 전환 동역학을 제어할 수 있는 하나의 통합된 대화로 결합하는 문제에 대한 새로운 접근법을 제시한다. 게임 산업의 음성 연기에서는 두 개의 음성 대사 트랙이 일반적으로 서로 분리되어 녹음되거나 합성된다. 제안 방법은 동기화되지 않은 두 트랙을 입력으로 받아 신경망 스케줄러로 하나의 동적 대화로 배열하며, 두 트랙 모두에 대해 적절히 휴지를 삽입하거나 제거하고 음성 겹침을 도입하여 수정한다. 또한 주어진 대화 발화의 오디오와 내용에 대해 백채널이 들어갈 수 있는 시점을 예측하는 백채널 예측기를 제안하며, 스케줄러는 이를 반영할 수 있다. 스케줄러와 예측기를 각각 독립적으로 그리고 결합하여 평가하였으며, 평가는 다양한 정량적 비교, 기존 연구 및 단순 기준선과의 정성적·지각적 비교, 그리고 애니메이터가 백채널링과 발화 전환 동역학의 다양성, 정도, 성격을 제어할 수 있음을 보여주는 설득력 있는 결과 집합으로 구성된다.
VLA 정책은 문구 바꿔 쓰기에 취약하다. 성공률만으로는 정책이 객체를 선택하지 못하는 것인지, 과제를 완수하지 못하는 것인지, 그리고 정책의 어느 지점에 개입해야 하는지를 알 수 없다. 본 연구는 공개된 GR00T N1.7을 대상으로, 두 그릇 중 어느 것을 집을지 알려 주는 랜드마크 단어만 다른 두 LIBERO-Spatial 과제를 분석한다. 학습 지시문에 없던 동의어는 임의로 만든 단어와 달리 정책을 해당 단어가 가리키는 그릇으로 향하게 하지만, 한 과제의 폐루프 에피소드 중 67.6%만 완수되며 원래 단어의 100%에 못 미친다. 비전-언어 모델과 행동 생성기 사이의 커넥터 이전 단계에서 랜드마크 토큰의 벡터만 다른 랜드마크의 벡터로 교체(붙여넣기)하면 거의 모든 에피소드가 다른 그릇으로 향한다. 커넥터 이후에는 랜드마크, 나머지 지시문, 이미지 토큰 중 하나만 붙여넣어서는 선택이 거의 바뀌지 않지만, 둘 이상을 붙여넣으면 바뀐다. 커넥터 이후 행동 생성기로부터 랜드마크 토큰을 가리면, 성능이 미흡한 동의어에 대해 여전히 완수율이 낮아진다. 다양화한 랜드마크 단어로 미세 조정하면 미세 조정에 없던 동의어에 대해서도 해당 과제의 완수율이 회복되지만, 원래 지시문으로 미세 조정하면 회복되지 않는다. 다양화한 단어로 커넥터만 학습해도 충분하며, 이를 전부 미세 조정한 정책의 커넥터를 원래 지시문으로 미세 조정한 정책에 복사해도 마찬가지이다. 시작 프레임에 대한 개루프 점수는 커넥터 밖의 가중치도 회복의 일부를 담당한다는 점을 놓친다. 현재로서는 이 증거에 비추어, 문구 바꿔 쓰기에 대한 강건성은 행동을 실제로 실행하는 폐루프에서 커넥터 양쪽에 개입하고 선택과 완수를 따로 채점하여 판단해야 한다.
장문맥 대규모 언어 모델(LLM) 서비스는 반복되는 문맥에 요금을 부과하지만, 과금 가중치가 답변 품질에 대한 문맥의 기여를 반영하는 것은 아니다. 본 연구는 내용 관련성, 관측 가능한 대리 지표, 감사 가능한 위치 가중치를 분리하는 3계층 프레임워크를 제시한다. 문맥 제거 실험은 관련성이 위치보다 지배적이며 거리 감쇠 계열이 관련성만 쓰는 기준선보다 나은 성능을 내지 못함을 보여 준다. 측정된 서빙 스택에서는 65,536 토큰에서 캐시 적중이 반복 접두사의 연산 비용을 두 자릿수 배 이상 줄이는 반면, 콜드 재전송은 지속 가능한 할인 폭을 제약한다. 제공자 간 측정은 캐시 가치를 토큰화 및 정가 차이와 구분한다. 보정된 시뮬레이션은 세션 요금의 99번째 백분위수를 31-42% 낮추지만, 수익을 맞춘 비선형 요금제도 유사한 감소를 달성하며 중앙값 요금은 증가한다. 이 프레임워크는 검증된 효용 추정기가 아니라, 토큰당 과금에 대한 한정된 회계 규칙과 측정된 배포 제약을 제공한다.
다중 홉 질의응답(MQA)은 대규모 언어 모델(LLM)이 여러 증거를 검색하고 종합하여 일관된 추론 경로를 만들 것을 요구하며, 이는 복잡한 과제에 필수적이다. 그러나 MQA를 위한 지식 갱신에 관한 기존 연구는 대체로 단순한 사실 편집에 집중하여, 모델이 상충하는 갱신과 완전히 새로운 정보를 동시에 수용해야 하는 더 어렵고 현실적인 설정인 \emph{지식 주입}을 간과해 왔다. 이 설정에서 홉 수준의 답이 틀리는 것은 흔히 모델이 잘못된 지식원을 신뢰하기 때문이다. 주입된 지식이 기존 매개변수 기억과 충돌할 때 모델은 오래된 매개변수 기억에 매달리고(K2), 필요한 사실이 완전히 새로운 경우에는 답하지 못한다(K3). 이를 조사하기 위해 상충(K2) 지식과 증분(K3) 지식을 명시적으로 다루는, 지식 주입 하의 다중 홉 추론에 특화된 최초의 벤치마크 NEXUS를 소개한다. 또한 효율적이고 학습이 필요 없는 프레임워크 MIRAGE를 제안한다. 그 핵심 구성요소인 Correlation-aware Dual-path Reasoner(CDR)는 P(True) 기반 신뢰도 라우팅으로 이러한 홉별 지식원 신뢰 오류를 해소하며, 잔여 구조적 편차에 대해서는 경량의 템플릿 기반 교정기가 보완한다. 네 가지 LLM 계열과 두 벤치마크에 걸친 광범위한 실험은 MIRAGE가 최종 답변 정확도와 홉 수준 추론 정확도를 모두 일관되게 향상시켜, 이 어려운 설정에서 새로운 최고 성능을 확립함을 보여 준다.
법률은 특정 날짜에 어떤 기업이 중소기업(SME)이었는지와 같이 사건을 판단하는 프로그램으로 점점 더 변환되고 있으며, 이제 대규모 언어 모델(LLM)이 이를 작성한다. 이러한 프로그램은 대개 같은 법을 읽은 사람이 작성한 답에 대해 채점되므로, 프로그램은 법을 올바르게 구현해서가 아니라 채점자와 해석을 공유해서 높은 점수를 얻을 수 있다. LexTemporis는 대신 실제로 일어난 일의 기록, 즉 한국 상장기업이 공시한 10,901개 기업-연도의 중소기업 지위와 적용 대상 규칙의 모든 버전에 대해 프로그램을 채점한다. 부록에서는 미국 소득세와 독일 병원 최소 시술량의 비교 사례를 추가한다. 날짜는 주로 법 본문 밖의 규정을 통해 결과를 바꾸며, 한 경과 규정은 공시와의 일치율을 83-86%에서 89-90%로 높인다. 공시는 또한 논쟁적인 규정에 대한 저자의 해석을 검증하며, 해석이 갈리는 189개 기업-연도 중 130개에서 저자의 해석을 지지한다. 네 개의 LLM이 법의 서로 다른 발췌본을 받아 규칙을 작성하였다. 사전 등록된 비교에서는 네 모델 모두에서 더 나은 조건이 발견되지 않는다. 탐색적 분석에서는 올바른 규정을 제공하는 것이 기록보다 저자의 해석에 대해 채점할 때 더 좋아 보인다. 세 모델에서는 이점이 줄어들고(한 모델은 원래 크기의 4분의 1에서 5분의 3 사이로), 기업-연도 단위로는 저자의 해석이 틀린 경우에 이점이 몇 배 더 큰데, 이는 그 경우 해당 해석을 더 충실히 재현할수록 불리해지기 때문에 부분적으로 구조상 그러하다. 법률 프로그램을 채점자 자신의 해석에 대해 채점하면 그 작동 수준이 과대평가될 수 있다.
기만적인 온라인 의견이 늘어나면서 허위 정보와 사기의 위험이 커지고 있다. 본 논문은 스팸 리뷰를 자동으로 구별하기 위한 검색 증강 생성(RAG) 시스템을 제안한다. 이 아키텍처는 저순위 적응(LoRA)을 적용한 RoBERTa 분류, FAISS 의미 벡터 검색, 그리고 최종 추론을 위한 대규모 언어 모델(LLM)을 통합한다. 시스템은 균형 및 심각한 불균형 상태의 실제 시나리오에서 평가되었다. 결과는 5 에폭의 미세 조정만으로도 견고한 도메인 전이가 가능하여 교차 도메인 평가에서 F1 점수 0.90을 달성하고, 기준 모델(OpenAI Detector, F1 = 0.82)을 능가하며, 특화된 도메인 내 SOTA 모델(fakeRoBERTa, F1 = 0.97)과 경쟁할 만한 성능을 보임을 입증한다. 제안한 아키텍처는 전체 탐지 성능을 비슷하게 유지하면서 근거 기반의 설명 가능성과 통계적으로 유의한 정밀도 향상을 제공한다.
본 논문은 학습 후 양자화가 하우사어, 스와힐리어, 요루바어의 세 아프리카 언어에 대한 다국어 기계 번역 품질과 추론 비용에 미치는 영향을 규명하는 예비 연구를 제시한다. 대상 모델 계열은 소형 범용 LLM(Qwen2.5-1.5B), 더 큰 다국어 지시 튜닝 LLM(Aya-23-8B), 전용 다국어 MT 모델(NLLB-200-distilled-1.3B)이다. 소비자용 NVIDIA T4 GPU에서 FP16, bitsandbytes INT8, NF4 INT4 정밀도로 FLORES-200 devtest 세트(방향당 1,012문장)를 평가한 결과는 다음과 같다. (i) 특화된 MT 모델은 8B 지시 튜닝 LLM의 약 6분의 1 크기임에도 하우사어와 스와힐리어 방향에서 두 LLM보다 chrF 기준 32.7~43.3점, 요루바어에서 12.9~24.7점 높은 성능을 보인다. (ii) 학습 후 양자화는 모든 모델 계열과 언어 방향에서 전체 번역 품질을 약 1 chrF 이내로 보존하며, 최악의 단일 사례는 2.19 chrF이다. (iii) 소비자용 GPU에서 INT8과 INT4 양자화는 상당한 메모리 절감(INT4에서 49~61%)을 제공하지만 FP16 대비 추론 지연 시간을 줄이지 못하며, 오히려 지연 시간이 1.3배에서 5.3배 증가한다. (iv) 학습 자원의 가용성을 따르는 뚜렷한 성능 기울기가 언어 간에 나타난다(스와힐리어 > 하우사어 > 요루바어). 이러한 결과는 저자원 환경 배포를 위해 하드웨어를 고려한 압축과 집계 지표를 넘어서는 오류 유형 분석에 초점을 맞춘 연구 의제의 필요성을 시사한다.