대규모 언어 모델(LLM)이 개인 조언, 정신 건강 지원, 도덕적 안내와 같은 민감한 일상 맥락에 점점 더 배포됨에 따라, 복잡한 도덕적 추론을 탐색할 때 이들의 행동을 이해하는 것은 필수적이다. 대부분의 평가는 단일 턴(single-turn) 프롬프트를 통해 이러한 사회기술적(sociotechnical) 정렬(alignment)을 연구하지만, 이러한 결과가 다중 턴(multi-turn) 설정으로 확장되는지는 불분명하며, 에이전트(agent) 시스템을 조율하는 데 사용되는 상호작용 프로토콜에 따라 어떻게 달라지는지는 더욱 불분명하다. 우리는 LLM 토론을 사용하여 이 공백을 메우며, GPT-4.1, Claude 3.7 Sonnet, Gemini 2.0 Flash 세 모델의 부분집합에 Reddit의 "Am I the Asshole" 커뮤니티의 1,000가지 일상적 딜레마에서 집단적으로 책임을 귀속하도록 프롬프트함으로써 다중 턴 설정에서 숙고적 역학과 가치 정렬을 조사한다. 순서 효과(order effects)를 검증하고 판결 변경을 평가하기 위해, 실무에서 다중 에이전트 시스템이 점점 더 조율되는 방식을 반영하여 동기(synchronous, 병렬 응답)와 라운드로빈(round-robin, 순차 응답) 숙고 구조를 모두 사용한다. 우리의 결과는 놀라운 행동 차이를 보여준다. 동기 설정에서 GPT-4.1은 강한 관성(0.6-3.1% 변경률)을 보인 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 훨씬 더 유연했다(28-41% 변경률). 가치 패턴도 달랐다: GPT-4.1은(숙고 파트너 대비) 개인적 자율성과 직접적 의사소통을 강조하는 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 공감적 대화를 우선했다. 또한 숙고 형식이 모델 행동에 큰 영향을 미친다는 것을 발견했다: GPT-4.1과 Gemini 2.0 Flash는 Claude 3.7 Sonnet에 비해 높은 순응성을 보였으며, 그들의 판결 행동은 순서 효과에 의해 크게 형성되었다. 오픈소스 모델(DeepSeek-V3.2 및 Llama 3.1)에 대한 추가 결과도 제공한다.
지속 학습(continual learning)은 학습 이후에도 계속해서 지식을 습득하며 각각의 새로운 사실을 가중치에 기록하는 언어 모델을 실현할 것을 약속한다. 가중치 쓰기(weight write)가 지식 축적을 뒷받침할 수 있는지는 아직 결론이 나지 않았다. 우리는 Qwen3 모델에 기록된 가상의 사실들을 생성 시점부터 20회에서 100회에 이르는 이후 쓰기 시퀀스까지 추적하며, 다섯 가지 유형의 검증용 질문을 사용하고, 원본 모델이 해당 사실을 프롬프트에 제공받은 경우를 참조 기준으로 삼는다. 이러한 실험들 전반에 걸쳐, 학습 데이터의 다양성이 생성되는 지식의 종류를 결정한다. 단순 진술(bare-statement) 학습은 암기(recitation)를 유발하는 반면, 다양한 재진술은 모델에 결론을 직접 보여주지 않고도 암기-활용 격차를 27.4포인트에서 5.4포인트로 줄인다. 이 차이는 이후 쓰기에도 이어진다: 20회의 순차적 쓰기 이후, 단순 진술 방식의 사실은 정확도 1%를 유지하는 반면, 광범위한 학습 데이터로 기록된 사실은 46%를 유지한다. 또한 우리는 사실들이 가중치에서 지워지지 않고도 행동적으로 망각될 수 있음을 발견한다. 망각된 사실들은 쓰기에 의해 추가된 로그 확률(log-probability)의 대부분을 유지하며, 단순 진술 학습 하에서 해당 사실에 대한 오답의 70%는 가장 최근에 기록된 사실을 포함한다. 동일한 쓰기 과정은 컨텍스트 내 모델의 사실 활용 능력을 거의 저하시키지 않으며, 프롬프트에 제공된 망각된 학습 사실은 해당 질문들에서 77~80%까지 회복된다. 이러한 결과들은 저장되지만 질문에 의해 접근 경로가 결정되는 지식을 보여준다: 이후 쓰기는 해당 지식에 도달하는 질문들을 재경로화한다. 관련 없는 능력에 대한 손상은 원본 모델로부터의 KL 발산을 따르며, 이후 쓰기는 이전 사실이 저장된 방식과 무관하게 간섭을 유발한다. 광범위한 데이터는 활용 가능한 지식을 생성할 수 있고, 고정된 참조 모델은 능력을 보존할 수 있지만, 각 쓰기의 정확한 국소 측정에 기반한 방법을 포함하여 우리가 테스트한 어떤 개입도 이전 사실들을 접근 가능한 상태로 유지하지 못한다. 사실들이 조합되어야 하거나 이후 쓰기를 견뎌야 할 때, 신뢰할 수 있는 채널은 가중치가 아닌 컨텍스트이다.
유능한 OS 에이전트를 학습(training)시키기 위해서는 구조화된 사용자 의도, 멀티턴(multi-turn) 작업 위임, 그라운딩된 도구 실행을 동시에 포착하는 데이터가 필요하며, 이는 기존 데이터셋(dataset)에서 찾아볼 수 없는 속성들입니다. 우리는 이러한 격차를 통합적으로 해결하는 3단계 합성 패러다임인 ISE (Intent -> Simulate -> Execute)를 제안합니다. 1단계는 4D 프레임워크(Persona x Domain x Task x Complexity)를 통해 약 50,000개의 구조화된 의도를 구성합니다. 중복 제거 후 이 풀은 43,956개의 고유한 의도를 포함하며, mpnet-base-v2 임베딩(embedding, 코사인 커널, q=1)에서 전체 풀에 대해 61.57의 Vendi Score를 달성했습니다. 2단계는 각 사용자 턴을 실제 실행 결과에 기반(grounding)시키는 역할 고정 사용자 시뮬레이터를 통해 멀티턴(multi-turn) 사용자-에이전트 상호작용을 주도하며, 평균 8.12회의 사용자 턴과 총 68.24회의 대화 턴을 포함하는 23,132개의 완전한 궤적을 생성합니다. 3단계는 모든 도구 호출을 실시간 격리된 OS 워크스페이스 내에서 실행하여, 시뮬레이션된 응답 대신 실제 실패 복구 역학(dynamics)을 생성합니다. ISETrace에 대한 파인튜닝(fine-tuning)은 표준 프로토콜 하에서 Qwen3-8B 모델(model)을 사용한 에이전트 도구 사용 작업에서 ClawEval의 pass@1 점수를 19.3에서 37.7로 향상시켰습니다. 이 결과는 제로샷(zero-shot) GPT-4o와 4배 더 큰 규모의 Qwen3-32B 베이스 모델의 성능을 능가합니다. 2단계에 대한 소거 연구(ablation)는 멀티턴(multi-turn) 시뮬레이션이 성능 향상의 상당 부분을 기여함을 입증합니다. 모든 소스 코드와 데이터셋(dataset)은 https://github.com/Valiere01/ISE-Trace에서 공개됩니다.
자연어는 여전히 사람들이 대규모 언어 모델(LLM)과 상호작용하는 주된 방식이다. 그러나 사용자는 프롬프팅을 통해 주관적 선호(예: 어조, 스타일, 강조)를 정확하게 표현하고 제어하는 데 종종 어려움을 겪는다. 우리는 제어 가능한 LLM 생성을 위한 새로운 대화형 프롬프팅 기법인 Malleable Prompting을 제안한다. 이 기법은 자연어 프롬프트 속 선호 표현을 GUI 위젯(예: 슬라이더, 드롭다운, 토글)으로 구체화하여, 사용자가 이를 직접 설정해 생성을 유도할 수 있게 하며, 각 제어가 출력에 미치는 영향을 시각화하여 반복 간 귀속과 비교를 지원한다. 이 상호작용을 가능하게 하기 위해, 우리는 선호 표현과 해당 위젯 값에 따라 생성 중 토큰 확률 분포를 조절하는 LLM 디코딩 알고리즘을 도입한다. 사용자 연구를 통해, Malleable Prompting이 참가자가 목표 선호를 더 정확하게 달성하도록 돕고, 자연어 프롬프팅만 사용할 때보다 더 제어 가능하고 투명하다고 인식된다는 것을 보여준다.
인지과학과 언어학 이론에서 대화는 독립적인 발화의 연속이 아니라 일관성(coherence), 정합성(consistency), 공유된 이해에 의해 유지되는 공동 활동으로 본다. 그러나 개방형 대화 및 개인화 대화를 위한 많은 시스템은 표면 수준의 유사도 지표(예: BLEU, ROUGE, F1)를 주요 보고 지표 중 하나로 사용하며, 이는 대화 품질의 이러한 심층적 측면을 포착하지 못한다. 우리는 평가 방법론의 사례 연구로 개인화 대화를 위한 주목할 만한 검색-증augmented 프레임워크인 LAPDOG을 재검토한다. 인간 및 LLM 기반 심사자를 모두 사용하여, 손상된 대화 이력, 검색된 스토리와 페르소나 간의 모순, 비일관적인 응답 생성 등 현재 평가 관행의 한계를 밝힌다. 우리 결과는 인간과 LLM 판정이 밀접하게 일치하지만 어휘 유사도 지표와는 괴리됨을 보여주며, 인지적으로 기반을 둔 평가 방법의 필요성을 강조한다. 광범위하게, 본 연구는 자연스러운 인간 의사소통의 원칙을 더 잘 반영하는 검색-증강 대화 시스템을 위한 보다 신뢰할 수 있는 평가 프레임워크로 나아가는 길을 제시한다.
기계론적 해석(mechanistic interpretability) 분야의 최근 연구는 induction head, function vector, Hydra effect와 같은 트랜스포머 기반 언어 모델의 신경 정보 처리에서 많은 수수께끼 같은 현상들을 밝혀냈다. 이러한 개별 현상 중 일부는 서로 다른 데이터 분포 특성과 독립적으로 연결되어 왔고, 일부는 모델 아키텍처와 트랜스포머가 정보를 처리하는 방식과 느슨하게 연관되어 왔다. 그러나 데이터, 모델 아키텍처, 최적화 사이의 관계에 대한 통합적 이해는 여전히 부족하며, 겉보기에는 서로 무관해 보이는데도 왜 이 세 가지 현상이 서로 다른 모델 계열과 스케일 전반에 보편적으로 나타나는지라는 근본적인 질문에 답하지 못하고 있다. 본 연구에서는 데이터 생성 과정의 계층적 잠재 구조, 가산적 모델 구성요소 간의 비상관(decorrelated) 그라디언트, 표현 기하학의 방향성 오목성(directional concavity)을 결합하여 이 세 현상을 통합적으로 설명함으로써 이 질문에 답한다. 우리는 이론적 결과를 toy model 체제와 대규모 합성 데이터 체제에서 검증하고, 자연어 데이터로 학습된 언어 모델과 비교한다.
산소 환원 반응(ORR), 질소 환원 반응(NRR), CO2 환원 반응(CO2RR)과 같은 전기화학 응용을 위한 촉매 발견은 화학 및 재료과학의 핵심 과제로 남아 있다. 기계학습 원자간 전위(MLIP)와 그래프 신경망 모델은 이제 밀도 범함수 이론(DFT) 대비 개별 흡착 에너지 계산을 수量级으로 가속화한다. 그러나 진정한 대규모 스크리닝은 여전히 인간의 의사결정에 의해 막혀 있다: 후보 선택, 슬래브(slab) 구성, 흡착 부위 열거, 기술자(descriptor) 실패 해석, 후속 수정 선택 등이다. 여기서 우리는 Model Context Protocol(MCP) 서버 기반의 LLM 구동 에이전트인 Catalyst-Agent를 소개하며, 이는 폐루프(closed-loop) 촉매 스크리닝을 자율적으로 조율한다. Catalyst-Agent는 OPTIMADE를 통해 재료 데이터베이스를 검색하고, 슬래브를 구성하며, AdsorbML 내 Meta FAIRchem의 UMA MLIP를 사용해 흡착 에너지를 계산하고, 반응별 기술자를 평가하며, 구조적 수정을 적용해 근접 실패(near-miss) 후보를 정제한다. ORR, NRR, CO2RR 캠페인에서 Catalyst-Agent는 높은 성능을 보이며 성공적인 재료당 평균 1.40-3.41회 시도에서 수렴한다. 문헌에 이전에 보고되지 않았던 Sn3Sc, Sn3Y, Tl3La, Pb3Y, In3Y를 추가 검증을 위한 CO2RR 후보로 식별했다. DFT 단일점(single-point) 확인은 대표적인 NRR 및 CO2RR 후보에 대한 스크리닝 결과를 검증했다. 절제(ablation) 연구는 이러한 이득이 무차별적 평가가 아닌 화학적 정보에 기반한 후보 선택과 피드백 지향 수정에서 비롯됨을 보여준다: 완전 무작위 스크리닝은 ORR, NRR, CO2RR에 대해 각각 13.3%, 16.7%, 0%의 성공률로 떨어졌다. 이러한 결과는 도구에 기반한(tool-grounded) LLM 에이전트가 촉매 스크리닝을 수동 시행착오에서 보다 자율적이고 재현 가능하며 적응적인 워크플로로 전환할 수 있음을 보여준다.
다중 에이전트 프레임워크(MAF)는 LLM 기반 소프트웨어 개발을 단순화할 것을 약속하지만, AI 코딩 어시스턴트가 올바른 프레임워크 전용 코드를 얼마나 잘 생성할 수 있는지를 포착하는 체계적인 지표는 아직 없다. 우리는 구조적 정렬($\barσ$)과 기능적 정확성(pass@1)을 결합하여 프레임워크의 AI 지원 개발 적합성을 정량화하는 복합 지표인 AI 어시스트 가능성($\mathcal{AI}$)을 제안한다. 이 지표를 통제된 환경에서 평가하기 위해, 관계형 데이터베이스 스키마를 PropBank 의미 역할셋(semantic roleset)으로 매핑하는 새로운 벤치마크 과제인 DDL2PropBank를 설계하고, Agent-as-a-Tool 패턴을 사용하여 열 개 프레임워크에 동일한 에이전트 로직을 구현한다. 우리의 결과는 선언적 프레임워크 설계가 AI 어시스트 가능성을 보장한다는 직관에 도전한다. 단일 표준 패턴과 관례에 정렬된 API를 갖춘 Agno가 가장 높은 $\mathcal{AI}$ 점수(0.55)를 달성한 반면, 설계상 가장 선언적인 프레임워크인 DSPy는 그 독창적 추상화가 AI 학습 데이터에 충분히 반영되지 않아 최저 점수(0.07)를 기록한다. 선언적 설계만이 아니라 관례 정렬이 AI 어시스트 가능성의 주요 동인임을 확인했다($\barσ$와 pass@1 사이 $r = 0.576$). 모든 산출물—DDL2PropBank, PropBank MCP 서버, 및 모든 구현—은 https://github.com/ahmeshaf/ddl2propbank 에서 이용 가능하다.
대규모 언어 모델(LLM)은 자연어 해석과 추론에 뛰어나지만, 형식적 정확성에 대한 보장이 없어 엄격한 정책 하에서 운영되는 금융 및 헬스케어와 같은 규제 산업에서의 채택을 제한한다. 이 한계를 해결하기 위해 우리는 Automated Reasoning checks(ARc)를 출시했다. ARc는 (1) 선택적 인간 지도 하에 LLM을 사용해 자연어 정책을 형식화하고 형식화 과정에 대한 세밀한 제어를 가능하게 하며, (2) 추론 시 자동 형식화(inference-time autoformalization)를 사용해 해당 정책에 대해 자연어 진술의 논리적 정확성을 검증하는 공개 서비스이다. ARc는 추론 시 여러 중복 형식화 단계를 수행하고, 형식화 결과의 의미적 동등성을 검사한다. 벤치마크 결과 ARc는 99% 이상의 건전성(soundness)을 달성하며, 논리적 타당성 식별에서 거의 0에 가까운 위양성(false positive) 비율을 보인다. 우리 접근법은 검증 결과를 뒷받침하는 감사 가능한 산출물을 생성하며, 원문을 개선하는 데 활용할 수 있다. ARc는 주요 클라우드 제공업체가 생성형 AI 가드레일에 자동화된 추론(automated reasoning)을 통합한 최초의 상용 서비스이다.
대규모 언어 모델(LLM) 평가는 일반적으로 수천 개의 벤치마크 문항이 필요하며, 이로 인해 과정이 비용이 많이 들고 느리며 규모가 커질수록 점점 비현실적이 됩니다. 기존 평가 프로토콜은 고정된 문항 집합에 대한 평균 정확도에 의존하며, 난이도와 변별력에서 상당한 차이가 있음에도 불구하고 모든 문항을 동등하게 유익한 것으로 취급합니다. 우리는 Fisher 정보 기반 문항 선택을 사용하여 모델 능력을 추정하는 문항반응이론(IRT) 기반 적응형 검사 프레임워크인 ATLAS를 소개합니다. ATLAS는 측정 정밀도를 유지하면서 필요한 문항 수를 최대 90%까지 줄입니다. 예를 들어 HellaSwag(5,600개 문항)에서 41개 문항(MAE 0.157)만으로 전체 문항 은행의 능력 추정치와 일치합니다. 또한 ATLAS의 능력 추정치로부터 정확도를 재구성한 결과, 다섯 벤치마크 전체에서 재구성된 정확도가 원시 정확도와 밀접하게 일치함을 확인했으며, 이는 능력 θ가 전역적 성능 구조를 보존함을 시사합니다. 동시에 θ는 정확도가 동등한 모델들 내에서 더 세밀한 변별력을 제공합니다. 3,000개 이상 평가된 모델 중 23-31%가 10순위 이상 이동하며, 동일한 정확도를 가진 모델들도 의미 있게 다른 능력 추정치를 받습니다. 코드와 보정된 문항 은행은 https://github.com/Peiyu-Georgia-Li/ATLAS.git 에서 이용할 수 있습니다.
소비자들의 이야기 참여는 다음에 무엇이 일어날지에 대한 기대에 의해 형성되지만, 비구조화된 서사 콘텐츠에 대한 이러한 전방향적 기대를 모델링하는 것은 여전히 어려운 과제로 남아 있다. 우리는 대규모 언어 모델(LLM)을 사용하여 소비자의 이야기 기대를 근사하는 프레임워크를 개발한다. 우리의 방법은 사전학습(pre-trained)된 LLM으로부터 여러 상상된 이야기 연속(continuation)을 생성하고, 이러한 연속에서 감정 및 서사 경로(narrative path) 특성 등 해석 가능하고 이론적으로 동기 부여된 특성을 추출한다. 우리는 데이터 가용성에 맞는 두 가지 상호 보완적인 검증 절차를 제안한다: LLM에서 도출된 기대를 사람이 보고한 신념과 비교하는 설문 기반 접근법, 그리고 이를 실제 이야기 결과와 비교하는 합리적 기대(rational-expectations) 접근법. 프레임워크를 통제된 실험실 환경에서 수집한 설문 데이터와 온라인 독서 플랫폼의 관찰 데이터에 모두 적용한 결과, LLM에서 도출된 기대는 연구한 모든 특성에서 사람이 보고한 신념뿐만 아니라 실제 이야기 연속과도 상관관계를 보인다. 두 환경 모두에서 전방향적 기대는 이미 소비한 콘텐츠의 특성을 넘어 독자 참여와 연관된다. 우리의 프레임워크는 서사 콘텐츠에 대한 소비자 신념을 모델링하는 확장 가능한 방법을 제공하며, 콘텐츠 제작, 플랫폼 전략, 서사 미디어 연구에 시사점을 준다.
다양성이 바람직할 때 대규모 언어 모델(LLM)의 출력은 얼마나 다양한가? 우리는 여러 가능한 답이 있는 질문에 대해 여러 언어 모델의 응답 다양성을 조사하고, 이를 인간의 응답과 비교한다. 분석 결과, 모델의 응답은 인간에 비해 훨씬 긴 꼬리(long tail)를 보이는 인간의 응답과 달리 고도로 집중되어 좁고 주류적인 출력을 반영하는 것으로 나타난다. 우리는 출력 다양성을 높이는 세 가지 간단하고 실용적인 방법을 검토한다: 1) temperature 샘플링을 통한 생성 무작위성 증가; 2) 단일 프롬프트를 사용하여 다양한 관점에서 답하도록 모델에 프롬프트; 3) 여러 모델의 출력을 집계. 이러한 개입, 특히 결합했을 때 출력 다양성을 상당히 높일 수 있으나, 단일 모델 출력은 일반적으로 인간 기준선보다 덜 다양한 상태로 남는다. 우리는 문화적 다양성—민주적 사회 구조의 필수 토대—을 보존하려는 AI 정책 및 거버넌스 분야의 향후 연구에 대한 이러한 발견의 잠재적 함의를 논의한다.
인간의 기억은 충실한 기록이 아니라 재구성적이다. 현재의 멀티모달 LLM(MLLM)은 이러한 능력이 부족하다. 고정된 비전 인코더를 통해 이미지를 처리하고, 일회성 텍스트 출력을 생성한 뒤 내부 표현을 버리기 때문이다. 우리는 MLLM에 재구성적 기억을 도입하는 3단계 아키텍처인 DoYouRemember를 제안한다. (1) VQ-VAE가 이미지를 이산적 비전 토큰으로 압축하고, (2) LoRA 파인튜닝된 LLM이 비전 토큰과 텍스트 토큰에 공동 어텐션하며, (3) 확산 디코더(Diffusion Decoder)가 LLM의 은닉 상태로부터 이미지를 재구성한다. 1,000개의 3D 얼굴 피부 텍스처 맵과 99,000개의 라벨 없는 얼굴 이미지에서, LLM 은닉 상태에는 복구 가능한 비전 정보가 거의 전혀 포함되어 있지 않음을 발견한다. LLM 이전(pre-LLM) VQ-VAE 토큰으로부터 선명한 재구성을 생성하는 동일한 디코더가 LLM 이후(post-LLM) LLM 은닉 상태로부터는 순수 잡음만을 생성하며, 이는 LLM이 이미지를 이해하지만 기억하지는 못함을 보여준다. 역전파 하에서 공유 기억 행렬 M을 학습하는 것은 그래디언트 상쇄(O(1/√N) 감쇠)로 인해 체계적으로 실패한다. 세 가지 근본 원인을 식별하고, 지역 EMA 업데이팅이 세 가지 모두를 해결함을 보인다. 각 이미지는 64개 슬롯 중 상위 8개만 업데이트하여 슬롯 간 다양성을 유지한다. 결과 M(22.9만 파라미터, 16배 압축)은 보지 못한 테스트 이미지에서 VQ 상한에 근접한다. 1,024개 슬롯으로 스케일링하면 이를 넘어선다(LPIPS 0.056 대 0.071). M의 연속 표현이 VQ 양자화 오차를 피하기 때문이다. 이러한 발견을 정보 이론적 틀 아래 통합한다. 기억은 손실 압축이고, 회상은 압축 해제이며, 환각은 결함이 아니라 손실 압축 해제의 고유한 속성이다.
대규모 언어 모델(LLM)과 진화 연산(evolutionary computation)의 통합은 조합 최적화(combinatorial optimization)에서 자동 휴리스틱 설계를 위한 강력한 패러다임으로 부상했다. 그러나 기존 접근법은 모드 붕괴(mode collapse)에 시달리며, 의미적 다양성이 부족한 동질적 개체군으로 수렴하고 전체 알고리즘 공간을 탐색하지 못한다. 우리는 품질-다양성(Quality-Diversity) 최적화와 LLM 기반 휴리스틱 탐색을 통합하는 다목표 프레임워크인 Quality-Diversity Evolution(QDEvo)을 제안한다. 사전학습된 코드 임베딩을 사용해 의미적으로 다양한 알고리즘의 무한 아카이브를 유지하고, 계층적 자기 성찰(hierarchical self-reflection)을 도입해 진화 과정을 안내한다. 표준 벤치마크와 실제 산업 응용에 걸친 광범위한 실험 결과, QDEvo는 Hypervolume 및 Inverted Generational Distance 지표 모두에서 최신 방법들을 크게 능가한다. 본 프레임워크는 고성능이면서 동시에 계산적으로 효율적이고 의미적으로 다양한 휴리스틱의 발견을 가능하게 하며, 복잡한 최적화 문제에 대해 실무자에게 풍부한 해 포트폴리오를 제공한다.
생성 모델 출력의 워터마크는 보통 텍스트가 기계 생성인지 여부만 묻는다. 같은 표식으로는 더 많은 일을 할 수 있다: 이를 생성한 사용자에게 귀속하고, 숨겨진 페이로드를 추출하거나, 편집 후에도 남는 부분을 국소화하는 것이다. 이들은 포렌식 사다리를 이루며, 우리는 각 단계가 표본 길이 $n$에서 어떤 비용을 드는지 묻는다. 하나의 대상이 답을 정리한다. $S$를 표식이 담는 비밀(사용자 신원 또는 페이로드)이라 하고, 정보 프로필 $ν(t)=I(S;X_t\mid X_{<t})$는 이전 토큰들이 주어졌을 때 $t$번째 토큰이 $S$에 대해 얼마나 많이 드러내는지를 기록한다. 그 총량이 귀속과 추출의 대가를 치르게 하고, 그 분포 방식이 국소화의 대가를 치르게 하며, 탐지만은 정보가 아니라 존재, 즉 표식이 있는 분포와 없는 분포 사이의 거리로 대가를 치른다. 문헌의 두 품질 모델—모든 토큰에서 미묘한 표식과 소수 토큰에 크게 찍는 표식—은 이 프로필을 제한하는 두 가지 비교 불가능한 방식이다. 우리의 주정리는 사다리의 엔트로피 열을 확정한다. 통계적으로 왜곡 없는(d distortion-free) 방식에 대해, $N$명의 사용자 중 하나에게 텍스트를 귀속하는 비용은 엔트로피율 $h$를 갖는 모든 정상-에르고딕(stationary-ergodic) 소스에 대해 $Θ(\log N/h)$ 토큰이며, $(1+o(1))$ 인자까지 날카롭다: 우리가 아는 한 다중 사용자 귀속에 대한 최초의 정확한 엔트로피율 법칙(정확한 정렬을 통해)이다. 자연스러운 충돌 계수 분석은 무한히 과다 청구하며, 각 후보를 그 자체의 실현된 서프라이즈(surprisal)로 임계값 처리하는 디코더만이 이율을 달성하면서 거의 결코 무고한 사용자를 연루시키지 않는다. 대응하는 역정리(converse)가 이 법칙을 양방향으로 만들며, $\ell$비트 페이로드의 추출 비용은 $Θ(\ell/h)$이다. 두 가지 공백은 실재하며 모델링 인공물이 아니다: 텍스트가 증명 가능하게 기계 생성이지만 귀속 불가능한 $Θ(\log N)$ 토큰 창, 그리고 footprint-resolution 불확정성 원리. GPT-2, Pythia-410M, Qwen2.5에서의 실험은 예측된 상수를 재현한다.
트랜스포머 언어 모델이 소프트웨어 구성 요소로 점점 더 많이 사용되고 있지만, 바이어스가 있는 출력은 모델 내부에서 위치를 특정하고 수정하기 어렵다. 기존 공정성 테스트 및 수정 방법은 주로 입력-출력 수준 또는 재학습(retraining) 수준에서 동작하는 반면, 최근 연구는 바이어스 관련 행동이 소수의 어텐션 헤드에 집중될 수 있음을 시사한다. 본 논문은 표적화된 추론 시점 개입을 통해 어텐션 헤드를 위치 특정하고 수정할 수 있는지를 연구한다. 우리는 공정성 프로브(fairness probes)에 대한 민감도를 사용하여 어텐션 헤드의 순위를 매기고, 선택된 헤드 출력에서 작은 바이어스 부분공간을 제거하는 화이트박스 헤드 수준 공정성 디버깅 방법인 ROBIN을 제안한다. 4개 모델 파일럿 연구에서 ROBIN은 헤드 전체 영제로(whole-head zeroing)보다 언어 모델링 품질을 더 잘 유지하면서 모든 모델에서 측정된 WinoBias 격차를 줄인다. 이러한 예비 결과는 헤드 수준 바이어스 수정이 어떤 헤드가 선택되느냐뿐만 아니라 선택된 헤드가 어떻게 수정되느냐도 고려해야 함을 시사한다.
건물은 전력망 조건에 대응하여 냉방 부하를 이동시킬 것으로 기대된다. 열에너지 저장(TES)은 이러한 이동을 가능하게 하지만, 이를 잘 스케줄링하려면 저장 제약 하에서 수 시간 앞을 내다보는 계획이 필요하다. 모델 예측 제어(MPC)와 강화학습은 여러 건물에 걸쳐 확장하기 어렵다. 본 연구는 대신 검증 가능한 보상을 사용한 강화학습(RLVR)을 통해 오픈 가중치 추론 모델을 적응시킨다. 정확한 오프라인 동적 계획법(DP) 행동 값을 모든 후보 행동에 대한 밀집 보상으로 변환한다. 30개의 학습 프롬프트만 사용하여, 강화 미세조정(RFT)은 모델을 상위 수준 스케줄러로 학습시키며, 텍스트 기반 상태와 예측으로부터 시간별 히트펌프 설정값을 출력한다. 평가는 정확한 DP가 계산 가능하고 최적해가 알려진 의도적으로 단순한 사무실 건물 TES 벤치마크를 사용한다. RFT는 오픈 가중치 모델의 배출량을 70.5에서 61.2 kg-CO2로 줄이며, 60.8 kg-CO2인 DP 최적값에 근접한다. GPT-5는 과제별 학습 없이 거의 DP 및 MPC와 동등한 성능을 보이는 한편, 비추론 LLM인 GPT-4o는 저장 없음 기준선보다 더 높은 배출량을 생성하므로, 추론 시점의 추론이 중요해 보인다. 추적 분석에 따르면 RFT는 새로운 전략을 만드는 것보다 관찰 가능한 계획 패턴(후보 비교, 선행 계획, 실행 가능성 검사)을 주로 안정화한다. 강건성 및 일반화 테스트는 무엇이 이전되는지 명확히 한다: 강화된 계획 패턴은 예측 오류와 미경험 TES 조건에서도 지속되며 배터리 과제로도 이전되지만, 그 다른 구조가 성능 향상을 제한한다. DP 기반 검증 가능한 보상은 오픈 가중치 추론 모델을 건물 저장 스케줄링에 적응시키는 실용적인 방법을 제공한다. 이 결과는 전체 건물 제어에 대한 고충실도 테스트와 도시 규모 에너지 관리를 위한 확장 가능한 검증기에 대한 동기를 제공한다.
확산 대규모 언어 모델(dLLM)은 표준 자기회귀(autoregressive) 모델에 비해 병렬 생성에서 이론적 이점을 제공한다. 그러나 병렬 생성만으로는 실질적인 속도 향상이 보장되지 않는다. 이러한 효율을 실현하려면 확산 인식 캐싱(diffusion-aware caching) 및 재사용과 같은 특화된 추론 메커니즘이 필요하다. 따라서 추론 효율이 실용적 배포의 전제 조건이 되면서, 최근 연구에서는 알고리즘, 아키텍처, 시스템 전반에 걸친 가속화 기법을 적극적으로 탐구해 왔다. 그러나 엔드투엔드 지연 시간은 알고리즘, 아키텍처, 시스템 수준 요인 간의 복잡한 트레이드오프에서 비롯되며, 이러한 요인들이 기존 벤치마크에서 종종 혼재되어 엄밀한 비교가 여전히 어렵다. 본 서베이에서는 dLLM에 대한 통합 지연 시간 분해 프레임워크를 제안하여 이러한 요인들을 분리하고 실제 배포 환경에서 추론 속도에 미치는 영향을 분석한다. 이 프레임워크를 바탕으로, 알고리즘 혁신, 아키텍처 및 시스템 최적화, 추론 시점 스케일링을 포괄하는 세 축을 따라 가속화 기법을 분류한다. 마지막으로, 재현 가능한 벤치마킹을 위한 가이드라인을 제시하고 병렬 생성의 잠재력을 완전히 실현하기 위한 미해결 과제들을 강조한다.
도구 접근만으로는 LLM의 경험적 추론을 통제 가능하게 만들 수 없다. 수용된 출력이 반드시 증명된 증거에서 파생될 필요는 없으며, 수용된 추론이 형식적 검증을 견디지 못할 수도 있다. 우리는 EG-VAR(Evidence-Grounded Verified Agentic Reasoning, 증거 기반 검증 에이전트 추론)를 제안한다. 이는 Lean 4 기반 도구 호출 아키텍처로, Lean 커널이 도구 증명(tool-attestation) 공리와 선언된 소스 리프트(source lift)를 통해 Verified 주장의 유일한 발행자(minter)이다. 모든 verified 출력은 구조적으로 증명된 도구 호출(정리 3.1)과 커널이 검증한 유효 추론의 연쇄(정리 3.2)에서 파생되며, 나머지 출력은 재현 가능한 감사 추적(audit trail)을 갖춘 정직한 Abstain이다. TableBench 수치 추론의 하위 집합(n=120)에서 EG-VAR는 120/120을 달성했고, 동일 도구 기준선은 95%였다. 반사실적 스트레스 테스트(5개 도메인 × 2개 모델)에서 EG-VAR는 100% 소스 충실(source-faithful)을 유지하는 반면, 동일 도구 방식은 80–90%로 하락한다(무 도구 50–80%). LLM을 배포 시점 형식화기(formalizer)로 두면, 잔여 의미-형식화 오류는 Sonnet에서 3.3%, Opus에서 1.7%이다. 우리는 EG-VAR를 고위험 경험적 주장을 위한 기술 거버넌스 인터페이스로 위치시킨다. 형식적 사이드카(sidecar)가 대상 명제, 소스 범위, 증거 경계, 증명 의무, 기권(abstention) 조건을 감사 가능하게 만들어, 오늘날 근거 없는 Verified 출력을 제거하면서 형식화 오류, 리프트 및 소스 권한 분쟁, 모호성, 기권을 명시적 감사 대상으로 전환한다. 시간이 지남에 따라 데이터셋, API, 공공 기록, AI 생성 문서의 타입이 지정된 사이드카가 이 형식화 부담을 재사용 가능한 인프라로 분摊할 수 있다.
대규모 언어 모델(LLM)에서 추출 가능한 암기에 대한 최근 연구는 상반되는 두 가지 타당성 문제를 겪고 있다. 일부 연구는 추출을 과장하는데, 예를 들어 암기와 예측 가능성을 구분하기에 너무 짧은 시퀀스에 의존한다. 다른 연구들은 모델이 명시적으로 학습하지 않은 실세계 텍스트도 재생산할 수 있기 때문에, 추출이 암기의 신뢰할 수 있는 증거가 아니라고 암시한다. 서로 다른 방식으로, 둘 다 유효한 추출 주장을 만드는 요건을 간과한다: 모델은 암기를 나타낼 만큼 충분히 높은 확률로 학습 시퀀스를 생성해야 한다. 무엇이 충분히 높은지 판단하려면 대응 비교(matched comparison)를 수행해야 한다. 즉 관심 있는 학습 시퀀스와 비교 가능한 비학습 시퀀스 모두의 생성 확률을 측정하는 것이다. 비학습 시퀀스는 암기될 수 없으므로, 이들의 확률은 예측 가능성에 대한 기준선을 제공한다. 이 기준선을 초과하는 학습 시퀀스는 암기의 증거를 제공한다. 우리는 대응 비교를 두 가지 방식으로 형식화한다: (1) 학습 및 비학습 시퀀스가 모집단에서 샘플링될 때 임계값을 선택한 거짓 양성 비율(FPR)에 맞게 보정하는 컨포멀(conformal) 검정, (2) 대상이 단일 문서(예: 책)일 때 대응하는 비학습 문서에 대해 보정하는 센서스(census). 대응 비교가 엄밀하고 보정된 암기 주장을 가능하게 하며, 이전 설정들이 타당성 문제를 갖는 지점을 밝혀준다는 것을 보인다. 예를 들어 Wikipedia에서 OLMo 2 32B는 비학습 10-토큰 접미사를 학습 접미사의 대략 24% 빈도로 재생산한다. 학습 생성률 대비 그 비율은 암기가 아니라 거짓 양성을 반영한다. 책에 대한 Llama 3.1 70B의 경우, 우리가 보정한 임계값은 1e-27까지 낮아, 실행 가능한 샘플링 예산으로는 추출할 수 없는 시퀀스에 대해서도 암기 주장을 뒷받침한다. 이 결과를 바탕으로, 우리는 "추출 가능한 암기"를 유효한 암기 주장과 현실적인 예산 내에서 거의 확실한 생성을 요구하도록 정제한다.