Gemma 4 31B의 전역 어텐션 층에서 값은 정규화한 키 투영값이고, 키는 값에 고정 가중치를 곱한 뒤 차원의 4분의 1에 회전 위치 인코딩을 적용한 것이다. Gemma 4 보고서에 따르면 이 설계는 전역 KV 캐시를 최대 37.5% 줄인다. 그러나 우리가 확인한 공개 서빙 엔진은 전체 키와 값을 따로 저장해 KV 헤드와 토큰 하나당 수치 1,024개를 사용했다. 대신 640개 수치로 이루어진 행 하나를 저장한다. 이 표현은 실수 연산에서 정확하며, 기존 페이지 기반 어텐션 커널은 서로 겹치고 스트라이드가 지정된 두 뷰를 각각 키 캐시와 값 캐시로 읽는다. 16비트 31B 모델을 쓰는 vLLM 프로토타입에서 출력은 기본 캐시에 같은 연산을 적용한 에뮬레이션과 비트 단위로 일치했다. 기본 엔진과 비교하면 최종 답 432개 중 2개가 달랐으며, 이는 실행 간 변동 범위 안이었다. 3만 2천~6만 4천 토큰에서 정상 상태의 요청당 디코딩 KV 메모리는 기존의 1.34~1.40분의 1로 줄었다. NIXL 전송과 CPU 오프로딩을 사용해 A100 GPU 두 장에 프리필과 디코딩을 나눈 환경에서, 15GiB 풀을 모두 사용하는 디코딩 엔진은 1만 6천 토큰 프롬프트에서 단계당 토큰을 기본 디코딩 엔진의 1.38배 처리했다. 반복 측정에서 편차는 0.06% 수준이었다. 8천 토큰 프롬프트에서는 1.24배였다. vLLM 블록 풀 모델은 두 비율을 1% 이내 오차로 예측했으며, 실측 비율이 예측보다 0.7~0.9% 높았다. 두 조건 사이의 변화량도 예측과 일치했다. 즉시 실행 모드의 디코딩 처리량은 각각 1.30배와 1.11배가 됐다. 이 경로에서 배치 크기를 1로 놓고 프롬프트 8개를 시험하자 축소 캐시 엔진의 출력 토큰은 에뮬레이션과 같았다. 다만 배치 크기가 같을 때 프로토타입의 즉시 실행 단계는 4~9% 느렸고, 기본 스케일의 8비트 KV 캐시와는 아직 함께 사용할 수 없다.
문학 텍스트 모델링에서 문체와 의미 내용을 분리하는 것은 근본적인 과제다. 문체와 내용이 뒤섞이면 모델은 저자 식별(AA)에서 의미 내용에 의존하고, 문체 모방(SI)에서는 저자 고유의 내용을 암기하게 된다. 본 연구는 LoRA 부분공간 편집 프레임워크 EDITORS를 제안한다. 먼저 내용 방향을 진단한 뒤 그 영향을 줄여 사전학습 대규모 언어 모델을 적응시키고 문체 특징을 우선하도록 한다. 이를 통해 저자 식별과 문체 모방 양쪽에서 효과를 낸다. 먼저 학습 말뭉치에서 얻은 문체 중립적 문장으로 진단용 LoRA 어댑터를 학습해 내용에 대응하는 부분공간을 찾는다. 이후 찾은 내용 방향을 입력 활성값에서 투영으로 제거하면서 최종 문체 어댑터를 학습한다. 실험에서 EDITORS의 효과를 확인했다. 문학, 소셜 미디어, 뉴스에 걸친 저자 식별 벤치마크 세 개에서 최고 정확도를 기록했으며, 기존 기준선 중 최고 성능보다 최대 29% 높았다. 문체 모방에서는 요구한 내용을 준수하면서 원래 문체에 충실하고 다양한 글을 생성했다. 문체 유사도에서 기존 기준선을 앞섰다.
본 논문은 증명 보조 도구로 자연어 의미론을 연구하는 시스템 Formal Atlas를 제시한다. 의미론적 설명을 형식화하고 그 예측을 검증하며 구현한 이론들을 비교하는 것이 목적이다. 이를 위해 출처 기록과 형식화 작업을 대화형 애플리케이션으로 연결한다. 연구자는 이 애플리케이션에서 증명을 검토하고 지원하는 Rocq 파일을 수정할 수 있다. 몬태규의 PTQ와 Gallin의 작업을 중심 사례로 다루고, 이어 동적 의미론과 유형 이론의 비교, 합리적 발화 행위자(RSA) 모형, 분포 의미론을 다룬다. 분석이 덜 명시적으로 제시된 경우 형식화에 무엇이 필요한지도 논의한다. 마지막으로 이러한 자원을 개발하는 과정에서 AI가 어떻게 도울 수 있는지, 이 자원을 활용하는 추론 시스템에 AI를 어떻게 적용할 수 있는지 살펴본다. 증명 보조 도구를 활용한 기존 의미론 연구를 확장하며, 연구와 교육을 서로 보완하는 용도로 다룬다.
AI 시스템은 도덕적 행위자가 될 수 있는가? 즉, AI 시스템은 도덕적으로 옳거나 그르다고 올바르게 평가될 수 있는 행위를 수행할 수 있는가? 전형적인 인간 사례 밖에서 깔끔하게 적용되는, 도덕적 행위성에 대한 확립된 규범적 기준은 존재하지 않는다. 규범적 설명에 따르는 어려움 때문에, 본 논문은 대신 기술적(descriptive) 도덕적 행위성을 탐구하는 연구 프로그램을 제안한다. 가장 기본적으로, 우리는 인간의 도덕적 행위성의 기반이 되는 인간의 능력이 무엇인지를 묻는다. 이를 위해 철학과 도덕심리학의 역사적 연구를 활용하여 후보 능력을 추려낸다. 그다음 후보 능력을 AI 시스템의 맥락에서 검증할 수 있도록 정교화할 것을 제안한다. 마지막으로, 정교화된 능력에 대해 AI 시스템, 특히 대규모 언어 모델(LLM)을 검증하기 위한 구체적인 실증적 권고를 제시한다. 이러한 접근은 여러 이점을 가진다. 첫째, AI 시스템의 행동이 정렬되어 있는지, 또는 넓은 의미에서 바람직한지를 보여줄 수 있다. 둘째, 이 논의는 어떤 모델을 어떤 맥락에 배포해야 하는가와 같은 정책적 질문에 시사점을 줄 수 있다. 셋째, 능력을 정밀하게 규정할 수 있다면 모델 개발에 반영될 수 있으므로, 이 접근은 공학 및 설계 노력을 보완할 수 있다. 넷째, 도덕적 추론 개념을 AI 시스템이라는 새로운 맥락에 적용하면 해당 개념에 대한 이해가 향상될 것이다.
Scaling device-control evaluation requires scaling both interactive worlds and the tasks agents must solve. We introduce SynthDCB, a benchmark for environment awareness and device control built through world distillation (WD). World distillation transforms knowledge of device behaviors, constraints, and environmental effects into modular executable components. A unified capability representation connects tool discovery, world execution, and task synthesis. SynthDCB instantiates Home, Car, and Phone with 114 device classes, 1,166 functions, and 95 events, supporting five task families with 32 subtypes. Explicit states and tool-call traces support task validation and agent evaluation. We evaluate 22 models on 2,560 test tasks; the best achieves 88.8% mean Pass@1. Construction experiments demonstrate token efficiency and expansion of task coverage. At the richest knowledge level, WD fully covers 22/23 properties, 19/29 functionalities, and 30/39 event requirements specified in a real RobotVacuum protocol. Furthermore, the 1,000 sampled tasks semantically cover 81.6% of the 854 reference instructions in the real-world corpus. SynthDCB connects an expanding space of real-to-sim executable capabilities to verifiable agent evaluation.
Memory determines which large language models (LLMs) an edge device can run and how fast it runs them: capacity limits a 4 GB Jetson Nano, and bandwidth limits an 8 GB Jetson Orin Nano Super. Deployed weight formats (GPTQ, AWQ, and the GGUF K- and I-quants) spend the same number of bits on every integer code of a matrix, although the codes are far from uniform. We present LazyWeights, which keeps these formats, tunes GPTQ so the codes compress, Huffman-codes them losslessly in interleaved lanes, and decodes them on demand in a small unit between DRAM and L2, so GPU kernels run unchanged and DRAM moves only coded bytes. At 1% and 3.5% perplexity budgets, coded Phi-3-mini, Mistral-7B and SmolLM-1.7B are 5.7-31.4% smaller than the best GGUF format. A bit-exact 0.21 mm^2 ASIC decoder unit (1 GHz, 7 nm) cuts Orin latency and energy per token by up to 36% and 38% (54% and 44% with prompt-lookup speculation). On the Nano, LazyWeights needs 58-64% less time and 53-57% less energy per token than the GGUF runtime on the CPU, and runs a streamed Mistral-7B 6.6x faster at 3.89 bits per weight. A Huffman decoder beats an rANS decoder in rate and area at equal throughput, and the unit runs bit-exact on a Zynq UltraScale+ FPGA (AMD ZCU102).
자연어 추론(NLI) 및 기타 언어 이해 과제로 미세조정된 사전학습 인코더는 입력이 교란되어도, 예를 들어 모든 명사를 제거하거나 단어를 섞어도 정확도의 상당 부분을 유지한다. 대규모 언어 모델(LLM)에서도 같은 현상이 나타나는가, 그렇다면 이는 사전학습 중에 벤치마크를 접했기 때문인가? 본 논문에서는 GLUE와 ANLI의 세 라운드에 대해 미세조정된 인코더와 함께 여덟 개의 LLM으로 이러한 교란 실험을 다시 수행한다. 모델 크기와 무관하게, 직접 답하는 모든 시스템은 MNLI에서 명사 없이도 우연 수준 초과 성능의 36-72%를 유지하는 반면 ANLI에서는 14-29%만 유지한다. 답하기 전에 추론하는 모델만이 이 패턴에서 벗어난다. 또한 오염 지표(두 모델의 공개 사전학습 데이터에서의 정확한 $n$-그램 횟수 포함)를 확인하였으며, 노출과 강건성 사이에 연관성을 발견하지 못하였다. 가장 강력한 증거는 어떤 모델도 본 적이 없을 368개의 새로운 사람 검증 항목에서 나온다. 여덟 개 LLM 모두 MNLI 스타일로 작성된 항목에서 그러한 단서 없이 작성된 항목보다 명사 없이도 더 많은 성능을 유지한다. 교란이 대신 그러한 단서를 담고 있는 기능어를 제거하면 이 이점은 역전된다. 이러한 결과에 비추어, 우리는 익숙한 NLI 벤치마크에서의 교란에 대한 강건성이 암기가 아니라 데이터셋 지름길을 반영하며, 모델보다는 벤치마크에 대해 더 많은 것을 알려 준다고 주장한다.
Marcolli, Chomsky, and Berwick (2025; henceforth MCB) formulate the Merge operation of Minimalism on a Hopf algebra of Connes-Kreimer type, and claim that language and physics obey the same algebraic structure. This paper examines the premise of that claim: whether Merge on workspaces can be described as a Hopf algebra. We first survey five coproducts for coassociativity and a connected grading: the Connes-Kreimer coproduct $\Delta_\rho$, MCB's two coproducts $\Delta_d$ and $\Delta_c$, the contraction coproduct of Marcolli and Skigin (2025), and the coproduct of Xiao (2026). $\Delta_d$ is not coassociative. For $\Delta_c$, MCB gives no rule for the labels of trace leaves in trees that already contain trace leaves; under the literal extension it is not coassociative, but once a rule and a grading are supplied it yields a graded connected Hopf algebra. The coproduct of Xiao is coassociative, and so is that of Marcolli and Skigin once its definition is extended to trees with trace leaves. These properties do not tell the coassociative coproducts apart; what distinguishes them is the representation that movement leaves behind. We then review how generative grammar has treated moved elements, and confirm that semantic interpretation requires two things of the representation that results from movement. Retention requires that the structure the lower position had before movement be recoverable; Identifiability requires that, in interpreting the lower position, it be determinable which upper element, if any, corresponds to it. None of the five coproducts meets both conditions: Retention is met only by $\Delta_c$, and there only in the form of a label, and Identifiability by none. In light of the results on coassociativity, we also reassess the Birkhoff factorization that MCB employs at the syntax-semantics interface. Finally, we indicate at least three directions for algebraic Minimalism.
의료 언어 모델은 전문가 수준의 임상 지원을 약속하지만, 가장 강력한 오픈소스 LLM은 사설 엣지 기기 배포에는 여전히 너무 크며, 소형 의료 모델은 지식 집약적이고 실제적인 의료 과제에서 크게 뒤처진다. 엣지 메모리 예산에 맞는 추론 모델은 긴 추론 흔적을 생성하여 순차적 디코딩, 종단 간 지연 시간, 에너지 소비, KV 캐시 메모리 부담을 증가시킬 수 있다. 우리는 이러한 정확도-생성 효율 간의 트레이드오프를 겨냥하여 엣지 배포용으로 설계된 텍스트 전용 1.7B 및 4B 의료 언어 모델군인 MedPsy를 제시한다. 우리의 방법은 생물학, 의학, 건강 시드에 대한 합성 의료 데이터 파이프라인과 235B 의료 특화 LLM 교사의 사고 사슬 목표, 두 개의 SFT 단계 뒤에 어려운 샘플 마이닝을 포함한 두 개의 RL 단계로 구성된 4단계 후속 학습 커리큘럼, 그리고 여러 GGUF 양자화 변형과 노트북 및 스마트폰 하드웨어에서의 실제 기기 추론을 아우르는 엣지 배포 평가를 결합한다. 7개의 폐쇄형 의료 벤치마크에서 MedPsy-4B는 MedGemma-1.5-4B를 19.34점 능가하고 6.75배 더 작으면서도 MedGemma-27B와 대등하며, MedPsy-1.7B는 크기가 절반 미만임에도 MedGemma-1.5-4B를 11.42점 앞선다. HealthBench-Hard에서 MedPsy-4B는 MedGemma-27B를 15.33점 능가하고, MedPsy-1.7B는 약 16배 더 작음에도 11.66점 능가한다. 정확도를 넘어, MedPsy는 Qwen3 백본 대비 평균 응답 길이를 1.7배(1.7B) 및 3.2배(4B) 줄이며, Q4_K_M 양자화는 디스크 사용량을 약 69% 줄이면서도 종합 점수를 BF16 대비 1점 이내로 유지한다. 실제 기기 추론에서 MedPsy-4B의 더 짧은 생성은 동일한 양자화 조건에서 Qwen3 백본 대비 중앙값 종단 간 지연 시간과 답변당 추정 에너지를 75% 낮추며, 시험한 노트북 및 스마트폰 구성 전반에서 최대 RAM은 5 GB 미만으로 유지된다.
임베딩 모델은 검색 엔진에서 추천 시스템에 이르기까지 사실상 모든 현대 AI 시스템의 기반이 된다. 수학적 기초를 공유함에도 불구하고, 임베딩 모델 연구는 모달리티별로 파편화되어 있으며, 각 커뮤니티가 대체로 고립된 채 발전하여 서로 통찰을 거의 교환하지 않는다. 우리는 이러한 파편화가 더 깊은 수렴을 가리고 있다고 주장한다. 대조 학습, Transformer 아키텍처, 그리고 세분성(granularity)의 전환에 힘입어, 모달리티별 과제는 여전히 충분히 탐구되지 않았음에도 모달리티 전반의 임베딩 연구는 공통된 원칙들로 수렴하고 있다. 이 수렴을 뒤섞지 않고 추론하기 위해, 우리는 점진적으로 어려워지는 세 가지 능력, 즉 포괄성(coverage), 비교 가능성(comparability), 구성성(compositionality)의 틀을 제안한다. 통합으로 향하는 세 가지 경로가 이를 차례로 충족한다. 변환은 포괄성을 넓히고, 정렬은 비교 가능성을 가능하게 하며, 우리가 옹호하는 종착점인 결합 임베딩은 구성성을 목표로 한다. 이 입장 논문은 그 결과로 나타나는 발전 과정을 추적하며, 옴니모달 임베딩 연구에 대한 최초의 통합적이고 분야 횡단적인 논의를 제공한다.
Multi-agent debate systems require agents to retain and revisit arguments across multiple rounds, yet limited context windows and unstructured memories make relevant information increasingly difficult to recover. Existing flat and pairwise-graph memories also struggle to capture higher-order relations, including multi-agent agreement, conflicting evidence, and evolving consensus. We introduce HEDGE, a selective memory framework that represents debate trajectories as semantic hypergraphs. Hyperedges connect related claims across agents, while intra-hyperedge relational graphs preserve fine-grained argumentative structure. A learned memory selection module (MSM), trained through supervised learning and reinforcement learning, routes each memory candidate to STORE, BACKUP, or OMIT, retaining useful information while limiting redundancy. Across seven diverse benchmarks, HEDGE consistently outperforms strong single-agent, multi-agent, and memory baselines, improving accuracy by 5.0 points on average over the strongest multi-agent system with GPT-4o-mini. The gains reach 8.2 points on conflict-heavy tasks, while HEDGE reduces memory usage by 48% and the number of debate rounds by 34%. Code is available at: https://github.com/AmirAbaskohi/HEDGE.
Chain-of-thought (CoT) generation offers an opportunity to intervene before a reasoning model completes its answer. How does the safety effect of a single activation edit vary across early reasoning states, and what factors govern that variation? We study this question with REACT, a conditional activation intervention that learns a safety direction from paired safe and unsafe trajectories and applies it once to an early CoT hidden state. The model weights remain frozen, and all subsequent tokens are generated without further edits. To study timing, we train directions separately at each of the first five CoT positions and evaluate ungated edits with full post-edit regeneration. Across three DeepSeek-R1 distilled models, site-specific edits concentrate safety gains in the opening CoT tokens. Norm-matched controls on DeepSeek-R1-Distill-Llama-8B (8B) disentangle two factors behind this curve: holding an effective direction and edit budget fixed still yields much larger early ($t_1$-$t_5$) than later ($t_6$-$t_8$) gains, whereas the near-zero site-specific $t_3$ gain reflects higher optimisation variance despite rising risk-probe AUROC. Forced prefixes shift the high-gain region with the opening context, and a four-arm intervention shows that ~98% of the net gain at $t_2$ propagates through the changed next token. On the same 8B model, REACT raises the rate of fully safe CoT-answer outputs on StrongREJECT-273 from 29.06% to 82.05%, while keeping benign refusal and usefulness near baseline. An anonymized implementation is available at https://anonymous.4open.science/r/REACT_official2-333B.
As large language models become increasingly capable of generating, and assisting with, scientific writing, there is a need for greater transparency and disclosure around the use of AI in research. Consequently, a veritable subfield of research and a number of commercial services aim to flag AI-generated content automatically. However, existing detectors which rely only on text extracted from PDFs fail to benefit from the rich visual information contained in the formatting of math-heavy scientific content. To study this, we select human-written proof and prose passages from pre-2022 arXiv LaTeX sources and re-generate them using 15 modern LLMs within the context of the same paper. This leaves us with coupled human and AI outputs in three different representations: the LaTeX source, a rendered image of the PDF, and the text extracted from the PDF. We find that the accuracy of the state-of-the-art Pangram 4 drops significantly as the mathematical content in a passage increases, especially when evaluated on text as opposed to LaTeX. However, this is not an inherent limitation of detecting AI-generated math: finetuning Qwen-3.5-27B based detectors on this domain recovers the gap, with LaTeX inputs performing significantly better than text since they preserve more formatting information. Since LaTeX sources are rarely available in practice, we also train SnapJudge: an image-based detector operating on screenshots of both prose and proofs from papers. At 0.1% false positive rate, SnapJudge achieves a detection rate of 92% on proofs and 93% on prose generated by frontier models, substantially outperforming both Pangram 4 and our text-based detector. We release our data, models and code at https://nlplab.cs.duke.edu/snapjudge.
Recent literature shows that unsafe tool calls can often accompany textual refusals in language models. To investigate this hidden vulnerability, we introduce PRISM, a framework for evaluating the transfer of activation interventions across precision, languages, and scales. Our findings demonstrate that leveraging lower-resource settings (specifically quantized NF4 labels and cross-lingual transfer) offers a robust pathway to expose and improve model alignment. Notably, using behavioral labels from an NF4 copy enables stable intervention estimation even with very few scenarios. Furthermore, these alignment improvements transfer effectively across languages: five-language NF4-supervised directions successfully transfer to held-out Arabic, reducing unsafe violations in Llama-3.1-8B by 21.95 percentage points without target-language tuning. By mapping paired benign activations, we also successfully transfer these safety interventions to much larger models (up to 70B parameters). Ultimately, PRISM highlights how auxiliary supervision from compressed models and multilingual data can uncover and mitigate hazardous tool-calling behaviors across different model families. We release all experimental code and supporting artifacts at https://github.com/GiKerche/prism, alongside an interactive explorer of recorded model responses and experimental results at https://gikerche.github.io/prism/.
음성 에이전트(voice agent)가 상업적으로 인기를 얻으면서, 배포된 에이전트를 평가하는 데 사용되는 사용자 시뮬레이터 역시 더 현실적이고 가변적이며 다양한 발화 자연스러움 행동—비유창성(disfluency), 끼어들기(interruption), 백채널링(backchanneling)—을 포함하도록 개발되고 있다. 사용자 시뮬레이터의 품질은 에이전트 평가 결과의 타당성에 직접적인 영향을 미친다. 그러나 우리는 지금까지 대부분의 연구가 이러한 행동에 대해 의도된 설정이 시뮬레이션에서 실제로 구현되는지를 상세히 검토하지 않았다는 것을 발견했다. 본 연구에서는 세 가지 모델에 걸쳐 적용한 우리 자체의 LLM 기반 프롬프팅 접근 방식인 τ-Voice와, 비유창성, 끼어들기, 백채널링을 위한 규칙 기반 주입 알고리즘이 실제로 구현하는 자연스러움 행동을 감사한다. 우리는 이러한 행동에 대한 프롬프팅이 신뢰할 수 없으며, 지시 사항과 일치하지 않는 발화를 생성하고, 지시가 암시하는 것보다 덜 자연스럽게 배치되고 분포된다는 것을 발견했다. 반면, 우리의 규칙 기반이면서 모델에 의존하지 않는(model-free) 알고리즘은 자연스러운 발화에 더 부합하는 제어 가능하고 다양한 자연스러움 행동을 생성한다. 우리의 결과는 사용자 시뮬레이션을 위해 목적에 맞게 학습(train)되지 않은 LLM만으로는 진정한 사용자 행동을 재현하기에 충분하지 않으며, 이러한 격차를 좁히기 위해서는 언어학적으로 정교한 결정론적(deterministic) 접근 방식이나 특화된 모델이 필요하다는 것을 시사한다. 설정된 값이 아니라 실제로 구현된 자연스러움 행동을 감사하고 보고하는 것이야말로 이러한 격차를 드러내는 방법이다.
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
대규모 언어 모델(LLM)이 빠르게 발전함에 따라 안전성(safety)에 대한 우려가 커지고 있습니다. 최근 연구에서는 모델의 은닉 상태(hidden states)를 활용하는 디코딩 단계에서의 방어를 포함하여 공격을 탐지하고 방어하기 위한 접근법들을 제안했습니다. 그러나 기존의 디코딩 단계 방어는 두 가지 한계를 지닙니다. 첫째, 안전성을 강화하면 무해한 질의에 대한 모델의 유용성이 저하되는 등 안전성과 과도한 거부(over-refusal) 사이의 트레이드오프를 유발합니다. 둘째, 이러한 방법 중 다수는 내부 은닉 상태에 의존하므로 특정 아키텍처로 제한되며 상당한 오버헤드를 발생시키고 모델 간 일반화가 제한적입니다. 이러한 한계를 해결하기 위해, 첫 번째 토큰(token) 출력 확률 분포의 다크 지식(dark knowledge, 즉 argmax를 넘어 출력 확률 분포가 지닌 정보)에서 유해한 질의와 무해한 질의를 대조하여 추출한 잠재 안전성 신호를 활용하는 LADE(Latent Safety Signals for Defense)를 소개합니다. 우리의 핵심 통찰은 표면적인 거부 토큰을 넘어 첫 번째 토큰 분포의 다크 지식에 유해한 질의와 무해한 질의 간에 확률 차이가 뚜렷한 토큰으로 정의되는 잠재 안전성 신호가 포함되어 있다는 점입니다. 우리는 이러한 신호들이 LLM 전반에 걸쳐 일관되게 정렬되어 안전성 정렬(safety alignment)에서 발현되는 모델 비의존적(model-agnostic) 방향을 형성함을 보여줍니다. LADE는 세 가지 구성 요소로 이루어집니다: (1) 첫 번째 토큰 확률 분포에서 안전성 식별력이 높은 상위 k개 토큰을 선택하는 '다크 지식 기반 잠재 안전성 신호 추출', (2) 모델 비의존적 적용을 가능하게 하기 위해 서로 다른 토크나이저 간에 이러한 토큰들을 매핑하는 '토크나이저 매핑', (3) 매핑된 토큰에 대한 k-최근접 이웃(k-Nearest Neighbors) 검색을 통해 질의를 분류하는 'kNN 기반 판별'. 다양한 LLM과 벤치마크 전반에서 LADE는 광범위한 탈옥(jailbreak) 공격에 견고하며, 경쟁력 있는 안전성-유용성 트레이드오프를 유지하면서 공격 성공률을 낮춥니다.
Statistically valid estimation of racial and ethnic disparities often requires inferring group membership probabilities from names and geographic locations. The standard method, Bayesian Improved Surname Geocoding (BISG), requires group frequencies for each name. Such data are available from the U.S. Census Bureau for common names and limited racial categories, but are unavailable for many ethnic groups and rarely exist outside the United States. We propose list-powered BISG ($\ell$BISG), in which we replace these frequencies with group-specific name lists and combine the lists with geographic prevalence data to obtain calibrated group membership probabilities. These lists can be compiled from different sources or generated by large language models (LLMs), despite potentially unknown biases. Under certain conditions on the name lists, $\ell$BISG can also be applied without geographic prevalence data. Empirical validation using U.S. voter files with self-reported race, the full-count 1900 U.S. Census, and the Lebanese voter registry demonstrates that LLM-generated lists yield accurate, well-calibrated probabilities and precise disparity estimates comparable to existing methods that require name-race frequency data. Thus, $\ell$BISG extends probabilistic race and ethnicity prediction to settings where it was previously not thought possible.
문맥 내 학습(ICL)은 가중치 업데이트 없이 시연(demonstration)만으로 언어 모델이 새로운 태스크를 수행할 수 있도록 지원합니다. 그러나 모든 ICL 추론은 예시 전체 세트를 처리해야 하므로 배포 시 비효율성을 초래하며, ICL이 기계론적으로 어떻게 작동하는지도 완전히 이해되지 않았습니다. 선행 연구는 특정 레이어나 위치에서 추출된 고정된 활성화 벡터로 ICL을 압축하지만, 이러한 입력 독립적 개입은 출력이 입력과의 미세한 상호작용에 의존하는 복잡한 태스크에서는 실패합니다. 본 연구는 ICL의 순전파를 분석하여, 각 어텐션 헤드의 출력이 문맥이 마스킹된 대응물의 아핀 변환(affine transformation)이며, 주어진 태스크에 대해 이 변환의 매개변수가 샘플 전반에 걸쳐 경험적으로 안정적임을 보여줍니다. 이를 바탕으로, 본 논문은 이 변환을 어텐션 출력 프로젝션에 대한 해석적으로 유도된 업데이트로 재현하는 태스크 연산자(Task Operator, TO)를 제안합니다. TO는 어휘, 알고리즘, 추론 태스크 전반에 걸쳐 기존 방법 중 최고의 종합 성능을 달성하며 제로샷(zero-shot) 추론과 ICL 간의 격차를 크게 좁힙니다. 또한 추출된 지식이 레이어와 위치에 걸친 태스크별 희소 회로(sparse circuit)에 집중된다는 점과, 서로 겹치지 않는 시연 배치들의 연산자를 평균화하면 컨텍스트 윈도우를 확장하지 않고도 효과적인 매니샷(many-shot) 스케일링이 가능함을 입증합니다. 본 연구의 코드는 https://github.com/gzxiong/task_operator 에서 확인할 수 있습니다.
Large language models often solve independent problems in the same conversation. Can computation from earlier problems help them solve new ones? Preliminary experiments show that retained history can raise or lower later-turn accuracy, even within the same domain. To trace this effect, we hold each problem fixed and vary its preceding history. The resulting changes in the model's internal states contain a recurring, problem-dependent component. To improve reasoning with retained history, we introduce STAIR (Stale-Token Attention for Inter-query Reuse). It captures attention keys and values from earlier response generation in a read-only bank. STAIR learns to reflect current query vectors to redirect attention over this bank during prompt processing. The backbone and stored entries remain fixed; only 12,288 parameters are trained. Across three Qwen models and four reasoning benchmarks, STAIR improves average later-turn accuracy by up to 11.67 percentage points over the unmodified model with history. The math-trained Qwen3.5-9B controller also improves code generation on HumanEval+ without further training.