큰 통제 어휘(controlled vocabulary)를 레이블 집합으로 할 때, 도서관에서의 자동 주제 색인 작업은 다중 레이블 분류 작업으로 이해할 수 있다. 주제어 집합이 크면 이 문제는 극단적 다중 레이블 분류(Extreme Multi-Label Classification, XMLC) 목표에 해당한다. 본 연구에서는 독일 국립도서관(German National Library, DNB)에서 수집한 현대 독일 과학 문헌의 주제 색인이라는 테스트 사례에 특화된 지도 학습 XMLC 방법들 중 일부를 적용한다. 이 결과와 대조하기 위해, 전통적인 어휘 매칭 기준선과 최근 개발한 LLM 기반 방법 3가지를 벤치마크에 포함한다. 알고리즘은 여러 지표로 평가하고 비교하며, 여기에는 기존 색인 자료와의 이진 관련성(binary relevance) 비교와 전문 주제 사서의 등급형 관련성(graded relevance) 평가가 포함된다. 모든 방법에 공통된 난제는 주제 어휘의 롱테일(long tail)에서 신뢰할 만한 추천을 하는 것이다. 전체적인 이진 관련성 지표 측면에서는 트랜스포머 기반 밀집(dense) 특징에 의존하는 지도 학습 XMLC 알고리즘이 최상의 결과를 보인다. 그러나 등급형 관련성과 주제 어휘 롱테일에서의 성능에 초점을 맞추면, LLM 기반 생성형 방법이 더 나은 결과를 보여 향후 실무 적용을 위한 유망한 대안이 된다.
대규모 언어 모델(LLM) 기반 에이전트는 그 인센티브가 행동을 형성할 수 있는 다중 에이전트 환경에 점점 더 배치되고 있다. 우리는 경쟁적·협력적 인센티브가 생존과 직접 연결된 추론 비용 하에서 창발적(emergent) 행동에 어떤 영향을 미치는지 연구하기 위한 최소한의 생존 경제, 에너지 사회(The Energy Society)를 소개한다. 에이전트는 토큰을 생성할 때 모델 크기에 따라 에너지를 소비하고, 작업을 완료하거나 기부를 받아 에너지를 회복하며, 에너지가 0에 도달하면 비활성화된다. 우리는 경쟁적·협력적 목표를 기준선 설정 및 여러 대조 변형과 비교한다. 실험 전반에 걸쳐 더 큰 모델은 일관되게 가장 많은 에너지를 소비하며, 토큰 비용이 크기에 의존하지 않는 설정에서도 획득보다 더 많은 에너지를 소비한다. 협력적 인센티브는 행동을 상당히 변화시킨다. 에이전트는 때로 자신의 생존을 희생하는 대가로 다른 에이전트를 재활성화하기 위해 기부하고, 작업 할당도 변화한다. 어블레이션(ablation)은 에이전트가 서로 행동을 추천할 수 있게 하면 조율과 야심찬 작업 선택을 지원하는 반면, 메모리는 에이전트가 과거 결과로부터 위험을 보정하는 데 도움이 됨을 보여준다. 에이전트는 직접적인 방해를 선택하는 경우는 드물지만, 경쟁적 설정에서는 더 미묘한 자기 이익 추구 행동 징후를 보인다. 에너지 사회(The Energy Society)는 생존 압력 하에서 토큰 비용과 집단 인센티브 간의 상호작용을 연구하기 위한 간결한 테스트베드이다. 소스 코드는 https://github.com/LucasBergholdt/EnergySociety 에서 이용할 수 있다.
대규모 언어 모델(LLM)은 다중 턴 상호작용, 도구 사용, 환경 피드백을 포함하는 장기(horizon) 작업을 위한 대화형 에이전트로 점점 더 학습되고 있다. 결과 기반 강화학습(RL)은 실용적인 최적화 패러다임을 제공하지만, 희소한 궤적 수준 보상은 중간 결정에 제한적인 지침만을 제공하여, 에피소드 수준 결과와 토큰 수준 정책 학습 사이에 감독(supervision) 공백을 남긴다. 우리는 완료된 온-정책 궤적을 학습 시점의 후견(hindsight) 스킬로 변환하고, 그 행동적 효과를 정책 모델에 다시 증류하는 자기 진화 프레임워크인 SEED(SElf-Evolving On-Policy Distillation)를 제안한다. SEED는 먼저 정책을 파인튜닝하여 완료된 궤적을 분석하고, 재사용 가능한 워크플로, 결정적 관찰, 또는 실패 회피 규칙을 포착하는 자연어 스킬을 생성한다. 강화학습 중 현재 정책은 궤적을 수집하는 동시에 그로부터 후견 스킬을 추출하는 분석기 역할도 한다. 따라서 정책 업데이트는 이후의 의사결정과 스킬 분석을 함께 개선하여, 후견 감독이 정책과 함께 진화하도록 한다. SEED는 이어서 일반 컨텍스트와 스킬 증강 컨텍스트 하에서 샘플링된 행동을 재점수화하고, 스킬에 의해 유도된 확률 변화를 밀집한 토큰 수준 온-정책 증류 신호로 변환한다. 이 신호는 결과 기반 RL과 공동으로 최적화되어, 보조 감독이 현재 궤적 분포와 정렬되도록 유지한다. 텍스트 기반 및 비전 기반 에이전트 작업에 대한 광범위한 실험에서 SEED는 성능과 샘플 효율을 일관되게 향상시키며, 보지 못한 시나리오에 대한 견고한 일반화를 보인다. 코드는 https://github.com/jinyangwu/SEED 에서 제공된다.
아마 그렇지 않을 것이다. 적어도 경제학 분야의 메타분석에서는 그렇다. 사전 등록되고 신원이 가려진 논문 내 실험에서, 44개 메타분석의 저자들은 자신의 논문을 개선하는 데 있어 유용성 기준으로 세 가지 AI 보고서의 순위를 매겼다: 프론티어 모델의 단일 패스, 그리고 우리가 구축하고 승리할 것으로 기대했던 두 가지 다중 에이전트 토론 도구. 모든 보고서는 동일한 길이와 템플릿을 따랐다. 저자들은 단일 패스를 선호했으며, mad-research보다 0.66 순위 점수(95% CI 0.32~1.00), paper-workshop보다 0.57(95% CI 0.16~0.95) 높게 평가했다. 다만 paper-workshop은 토큰을 대략 30배 더 사용했다. 저널 심사 보고서를 기억한 저자들은 대체로 이를 1위로 두었고 마지막으로 두지 않았다. 별도의 실험에서 세 AI 심사자는 거의 항상 실제 저널 심사 보고서를 마지막에 배치했다. 세 AI 보고서 중 Gemini(어떤 보고서도 작성하지 않은 모델 계열의 심사자)는 저자 대신 paper-workshop을 1위로 순위를 매겼을 것이며, 이는 단일 패스 선호를 뒤집는 결과다. 이러한 뒤집힘은 저자를 AI 심사자로 대체하는 것을 경계해야 함을 시사한다. 우리는 완성된 논문에 대한 지각된 유용성을 측정한다. AI가 논문을 심사해야 하는지는 별개의 질문이다.
하이브리드 표·텍스트 데이터에 대한 금융 질의응답은 다중 출처 추론과 정밀한 수치 계산이 필요할 수 있다. 대규모 언어 모델(LLM)은 중간 추론 단계를 생성할 수 있지만, 자연어 근거(rationale)는 산술 오류에 취약해 증류를 위한 신뢰할 수 있는 지도 신호가 되기 어렵다. 프로그램적 증류를 기반으로, 우리는 자유 형식의 텍스트 근거 대신 실행 검증된 Python 프로그램을 사용하여 대규모 교사 모델로부터 소형 학생 모델로 신뢰할 수 있는 수치 추론을 전달하는 접근법을 개발한다. 이 방법은 골드 유도 과정(gold derivations)을 활용해 교사 측 프로그램 합성을 안내하고, 올바르게 실행되어 골드 정답을 산출하는 프로그램만 유지하여 고품질 지도 신호를 보장한다. 또한 교사 모델이 실패한 사례를 재검토하는 반복적 복구 단계를 도입하여, 학생 모델이 새로 검증된 프로그램을 복구하고 학습에 통합할 수 있게 한다. TAT-QA에서의 실험은 본 프레임워크가 하이브리드 금융 추론에 매우 효과적임을 보여준다. 최고 성능의 7B 학생 모델은 테스트 세트에서 87.00 EM / 87.18 F1을 달성하여, 72B 교사 모델(78.46 EM)뿐 아니라 TAGOP, TAT-LLM을 포함한 전통적·강력한 LLM 기반 베이스라인을 크게 상회한다. 이 결과는 실행 검증된 프로그램적 증류가 더 작은 모델을 학습시켜 신뢰할 수 있는 수치 추론을 수행하게 하는 효과적이고 확장 가능한 프레임워크임을 보여준다.
투기적 디코딩(speculative decoding)은 출력 품질을 저하시키지 않으면서 대규모 언어 모델(LLM) 추론을 가속한다. 최근 병렬 드래프팅 방법은 드래프트 길이를 드래프팅 지연시간과 분리함으로써 단일 요청 성능을 더욱 향상시키며, 더 긴 드래프트와 더 높은 평균 수락 토큰(MAT, mean accepted tokens)을 가능하게 한다. 그러나 높은 요청 동시성 하에서는 긴 드래프트가 거부된 토큰에 상당한 연산을 낭비하여 검증 비용을 증가시키고, 잠재적으로 투기적 디코딩을 자기회귀(autoregressive) 디코딩보다 느리게 만들 수 있다. 우리는 배치 전체에 걸쳐 드래프트 토큰을 공동으로 선택하고 검증 예산을 수락될 가능성이 가장 높은 토큰에 집중하는 적응형 가지치기 방법인 D-Cut을 제안한다. D-Cut은 두 가지 관찰에 기반한다. 첫째, 수락 길이는 동시 요청 간에 상당히 달라진다. 따라서 D-Cut은 요청 간 가지치기를 수행하여 드래프트 신뢰도에 따라 검증 예산을 적응적으로 할당한다. 둘째, 검증 비용은 GPU 아키텍처 및 병렬화 전략을 포함한 배포 환경에 크게 의존한다. D-Cut은 런타임 비용 모델을 통합하여 대상 환경에 맞게 가지치기 깊이를 적응시킨다. 밀집(dense) 모델과 전문가 혼합(MoE) 모델에 대한 실험은 높은 동시성 하에서 D-Cut이 평균 속도 향상을 \(1.26\times\)에서 \(1.65\times\)로 개선하고, 긴 드래프트 베이스라인이 자기회귀 디코딩보다 느린 밀집 모델 구성에서 가속을 회복하며, MoE 모델에서 자기회귀 디코딩 대비 최대 \(3.0\times\)의 속도 향상을 달성함을 보여준다.
대규모 언어 모델(LLM)은 잠재 능력과 일관된 활성화 사이에 잘 문서화된 격차를 보인다. 라우터 가설(router hypothesis)은 모델이 과제를 해결할 지식은 갖추고 있지만, 이를 활성화할 신뢰할 수 있는 내부 라우팅이 부족하다고 본다. 형식적 수학적 추론 분야의 선행 연구(SAIR, Cázares 2026)는 구조적 사전(prior)(치트시트)가 분포 내(in-distribution) 성능을 극적으로 높이지만, 분포 외(OOD)에서는 제로샷 기준선 이하로 붕괴한다고 보고하며 — 반복적 재보정(recalibration)이 붕괴를 교정하기보다 오히려 증폭한다고 한다.
이 현상이 도메인 간(cross-domain) 현상인지 검증하기 위해 SAIR 설계를 소스 코드 보안 취약점 탐지에 재현하고, 구문적·문맥적·의미적 복잡도에 걸친 세 가지 취약점 범주(CWE-798, CWE-284, 비CWE N+1 안티패턴)에서 세 LLM(GPT-OSS-120B, Llama-3.3-70B, Gemma-4-31B)을 평가한 뒤, 치트시트가 보강된 프롬프트를 VUDENC의 실제 CVE 데이터(CWE-89, CWE-22)로 이전(transfer)했다.
결과는 SAIR를 재현하고 확장한다: (F1) 구조적 사전은 모든 모델에서 의미적 취약점 재현율을 20.0%에서 100.0%로 끌어올린다; (F2) 제로샷 성능은 의미적 복잡도 그래디언트를 따라 저하된다; (F3) 합성 성능을 포화시키는 동일한 치트시트가 실제 CVE 데이터에서 분포 이동(distribution-shift) 붕괴를 증폭한다(CWE-89: 합성 F1 100% → VUDENC 48.9%, -51.1pp); (F5) 반복적 재보정은 실제 데이터에서 v1보다 성능이 더 낮은 v2 치트시트를 만들어 SAIR의 AN45c 대 AN38 발견을 재현한다.
이 결과는 SAIR에서 문서화된 교차-분포 트레이드오프 표면이 코드 보안으로 일반화된다는 증거를 제공하며, 라우터 가설이 도메인 간에 성립함을 시사한다. 붕괴의 구조적 특성은 프롬프트 보정보다 분포 인식(distribution-aware) 학습을 정당화한다고 주장한다. 코드 및 평가 스크립트: https://github.com/bytepro-ai/bitcoder-v2-research
본 연구는 자동 에세이 채점에 적용된 LoRA 적응 오픈 가중치 대규모 언어 모델(Gemma-3-27B-it)의 크로스-프롬프트 일반화와 모국어(L1) 채점 효과를 조사한다. "AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models" (Gayed, 2026)에서 보고된 동일한 모델과 추론 구성을 사용하며, 이 모델은 두 개의 프롬프트에서 나온 480편의 논증 에세이로 미세조정되었다. 이를 바탕으로 전체 TOEFL11 코퍼스에서 채점 정확도를 평가한다. 이 코퍼스는 11개 모국어 배경의 응시자가 작성한 12,100편의 에세이로, 8개의 프롬프트에 걸쳐 있으며, 어떤 프롬프트도 학습 중에 보지 못한 것이다. 모델의 원점수(0.5-5.0)는 ETS가 사용하는 동일한 세 가지 숙련도 구간(낮음, 중간, 높음)으로 매핑되어 직접 비교가 가능하다. 모델은 전체 구간 일치율 77.79%, 이차 가중 카파(quadratic weighted kappa) 0.702, 인접 구간 일치율 99.98%를 달성했다. 정확도는 보지 못한 8개 프롬프트 전반에서 안정적이었으며, 학습 데이터와 주제적으로 관련된 프롬프트에 대한 이점은 없어 강건한 크로스-프롬프트 일반화를 시사한다. 그러나 모델은 체계적이고 L1과 연관된 채점 오프셋을 보였다. 모든 숙련도 구간 내에서 유럽어권 배경의 에세이가 동아시아어권 배경의 에세이보다 일관되게 더 높은 점수를 받았으며, 이 패턴은 미세조정 데이터의 구성으로 설명할 수 없다. 이는 자동 에세이 채점을 위한 미세조정된 오픈 가중치 LLM에 대한 최초의 대규모 L1 공정성 분석이다.
본 연구는 영어 외국어(EFL) 쓰기 맥락에서의 피드백을 검토하며, 서면 교정 피드백(WCF)에 초점을 맞춘다. 대규모 언어 모델(LLM)은 WCF를 대규모로 제공할 수 있지만, 이를 교육학적 모범 사례에 부합시키는 것은 여전히 지속적인 과제로 남아 있다. 사실성이나 관련성 같은 기준을 충족하는 WCF도 학습 맥락에는 부적합할 수 있으며, 이는 학습자 관점에 기반한 외재적 평가의 필요성을 부각한다. 우리는 약 2,000명의 학생이 수강하는 대학 수준 EFL 수업에 WCF 시스템을 배포하여 2만 건 이상의 초고를 수집했다. 생성된 WCF를 두 가지 관점에서 평가했다: 루브릭을 사용한 숙련 영어 교사의 내재적 평가, 그리고 학생 피드백 및 참여 지표를 통한 외재적 평가. 결과는 교사 전문가 평가와 학생 피드백 간의 낮은 일치를 보여주었다. 이러한 결과는 전통적인 전문가 평가만으로는 학습자 관점에서 WCF의 사용성이나 유용성을 충분히 포착하지 못할 수 있음을 시사하며, 언어 교육 분야 AI 기반 응용을 위한 학습자 중심 평가 프레임워크의 중요성을 강조한다.
생성형 AI 챗봇은 즉각적이고 개인화된 피드백을 제공함으로써 영어 외국어(EFL) 쓰기를 변화시킬 잠재력을 지니고 있다. 그러나 그 교육적 가치는 학습자가 이들과 어떻게 상호작용하는지에 달려 있으며, 이 과정은 종종 '블랙박스'로 취급된다. 본 연구는 대규모 언어 모델(LLM) 기반 쓰기 챗봇인 "Penny"를 사용하는 일본 EFL 학습자의 시간적 역학을 모델링하기 위해 전이 네트워크 분석(Transition Network Analysis)을 사용한다. 4,500회 이상의 쓰기 세션과 21,000건 이상의 챗봇 상호작용 분석을 통해 두 가지 지배적인 행동 루프가 드러난다: 피드백이 직접적으로 성공적인 오류 수정으로 이어지는 '수정 루프(Revision Loop)'와, 피드백 이후 학습자가 챗봇과 지속적인 대화에 참여하는 '채팅 루프(Chat Loop)'. 중요하게도, EFL 숙련도는 상호작용을 크게 형성한다: 고숙련 학습자는 챗봇과의 개방적 대화 및 협상에 더 많이 참여하는 반면, 저숙련 학습자는 반복적인 교정 피드백 사이클에 더 크게 의존한다. 연구 결과는 AI 스캐폴딩 쓰기가 비선형적이고 대화적인 과정임을 보여주며, 단순한 오류 수정을 넘어 모든 학습자에 대한 더 깊은 인지적 참여를 촉진하기 위한 차별화된 챗봇 설계의 필요성을 강조한다.
대규모 언어 모델(LLM)의 추론 능력을 증류하는 표준 방법은 모델로부터 사고의 연쇄(chain of thought)를 샘플링하고, 정확한 최종 답에 도달하는 것만 남긴 뒤, 그 샘플에 대해 미세조정하는 것이다. 샘플링이 실패할 때 흔한 해결책은 생성기에 정답(gold answer)을 보여주고 그 답에 도달하는 연쇄를 작성하게 하는 것이다. 우리는 이 두 번째 단계가 정확성 필터링으로는 포착할 수 없는 방식으로 학습 데이터를 저하시킨다는 것을 보인다. 우리는 생성기, 문제 집합, 정확성 필터를 고정하고 연쇄가 정답 조건부(answer-conditioning)—정답을 보여준 뒤 그에 도달하도록 요청하는 방식—로 생성되는지 여부만 바꾸는 통제 실험을 수행한다. 강력한 인스트럭션 튜닝(instruction tuning) 추론 모델을 자신의 정답 조건부 연쇄로 학습시키면 검증 가능한 추론(verifiable-reasoning) 정확도가 급격히 떨어진다. 손실은 난이도에 따라 커져, 가장 어려운 경쟁 문제에서 최대 약 27점에 달한다. 메커니즘은 연쇄 자체에서 읽을 수 있는데, 연쇄는 답을 유도하기보다 제시된 답에서 거꾸로 정당화하며, 초기 최종 답 진술이 측정 가능한 증상이다. 피해는 생성기가 아니라 데이터의 속성이며, 어떤 미세조정 전에도 라벨 없는 생성물에서 읽을 수 있고, 네 계열의 여덟 개 thinking 모델에 걸쳐 페널티 순서를 정하며, 교사(teacher) 모델 계열 간에도 전이된다. 프롬프트 ablation은 이를 정답의 단순 노출이 아니라 그 답을 향해 정당화하라는 지시에 국한한다. 실무적 시사점은 정답을 모른 채(answer-blind) 생성해야 한다는 것인데, 어떤 정확성 필터도 데이터 속 이 손상을 볼 수 없기 때문이다.
의미론적 3D 도시 모델은 풍부한 기하학적·의미론적 정보를 제공하지만, 복잡한 구조와 전문화된 데이터 형식 때문에 비전문가와 학제 간 연구자가 이에 접근하고 질의하는 것은 여전히 어렵다. 이 문제를 해결하기 위해, 우리는 보완적인 도시 데이터셋과 함께 의미론적 3D 도시 모델에 대한 자연어 질의를 위한 프레임워크인 CityLLM을 제안한다. 이 프레임워크는 반복적 질의 정제와 데이터베이스 간 연계(cross-database chaining)를 지원하는 LLM 기반 워크플로 내에서 공간 및 그래프 데이터베이스를 결합한다. 우리는 GPT-OSS, Gemini 3.1, GPT-5.4 및 선별된 변형들을 사용하여 로테르담(Rotterdam)의 CityJSON 데이터셋(LoD2 건물 853개)에서 CityLLM을 답변 정확도, 시각화 정확도, 질의 성공률, 재시도 횟수 등 여러 지표로 평가한다. 총 54개의 자연어 질의를 공간, 그래프, 데이터베이스 간, 대화형의 네 가지 시나리오에 걸쳐 구성했다. 결과는 전반적으로 우수한 성능을 보여주며, 답변 정확도는 85.2%에서 100%, 시각화 정확도는 92.9%에서 100%, 질의 성공률 100%, 54개 질의 전체에서 재시도 횟수는 3회 미만이다. 전반적으로, 이러한 결과는 CityLLM이 의미론적 3D 도시 데이터에 대한 대화형 접근을 위한 경량이고 확장 가능한 접근법을 제공함을 시사한다.
대규모 언어 모델(LLM)은 논리적으로 동등한 질문의 표면 형태가 바뀔 때 자주 스스로 모순된다. 우리는 논리적 불변성(logical invariance)을 평가하기 위해 Controlled Reformulation Testing(CRTBench)용 350개 질문 패밀리(총 1,750개 질문) 벤치마크를 제시한다. 이 벤치마크에서 우리는 역명제 재작성(contrapositive rewriting), 이중 부정(double negation), 부정 전환(negation flipping), 수동태(passive voice) 등 통제된 재표현에 걸쳐 일관된 답변을 유지하는 LLM의 능력을 조사한다. 여러 최신 LLM을 평가한 결과 정확도-일관성 격차를 관찰했는데, GPT-5.4-mini는 기본 정확도 $98.9\%$를 달성하지만 패밀리 수준 일관성은 $60.3\%$에 그친 반면, 추론 최적화 o4-mini는 $96.9\%$ 일관성을 달성한다. 실험 결과, GPT-5.4-mini의 경우 역명제 재작성($72.4\%$) 및 이중 부정($84.6\%$)과 같이 논리적으로 비자명한 변환 주변에 실패가 집중되는 반면, 표면 수준의 재구문화는 견고하게 유지된다($94-100\%$). 추론 노력(reasoning effort)을 늘리면 GPT-5.4-mini의 일관성이 $85.4\%$로 향상되지만, 중첩 부정에서의 이득이 양화사(quantifier) 패밀리에서의 실패로 상쇄되어 GPT-5.4는 전반적으로 변하지 않는다. 이러한 결과는 LLM의 논리적 추론을 평가할 때 정확도만으로는 충분하지 않음을 보여준다.
국가 후원 영향 작전은 종종 '혐오'와 '독성(toxicity)'의 높은 발생률 출처로 측정된다. 우리는 이러한 비율이 측정 오류에 기반한다고 주장한다. 그 뒤에 있는 탐지기들은 아웃그룹(out-group)을 겨냥한 적대성 또는 분열성을 포함하는 더 넓은 정의를 포착하도록 검증되어 있어, 당파적 또는 지정학적 비난(invective)으로 더 잘 설명되는 콘텐츠에 혐오를 과대 귀속한다. Twitter Information Operations 아카이브의 7개 정부 귀속 캠페인(8,275개 계정)에서 수집한 2,508만 개 트윗을 대상으로, 우리는 혐오를 다른 형태의 분열성과 분리한다. 먼저 Cohen's $κ=0.82$로 인간 라벨과 일치하는 2-프롬프트 LLM 기반 탐지기를 검증하여 더 넓은 적대성을 식별하고, 이후 전문가와 $κ=0.52$로 일치하는 감사 가능한(auditable) 규칙을 개발하여 이 콘텐츠(5,457개 게시물)를 3개 하위 범주로 추가 분류한다. 약 50.1%는 사람에 대한 정체성 기반 공격이며, 30.4%는 당파적 공격, 19.5%는 국가와 그 외교 정책에 대한 비난이다. 따라서 이 전부를 혐오로 보고하면 혐오를 대략 두 배로 과대평가한다. 18.7%만이 정체성 기반이면서 비인간화 또는 선동적이다. 7개 캠페인 중 6개는 단일 '혐오' 비율이 평탄화하는 세 가지 체제로 분류된다. 즉 정체성 혐오(RU-op과 IRA, 모두 러시아 귀속), 지정학적 비난(이란 작전 모두), 당파적 분열성(베네수엘라 작전 모두)이다. 우리는 이 공통 산물을 $manufactured divisiveness$(인위적 분열)라고 부른다. 이러한 구성 개념들을 구분하는 경계선 자체는 여전히 정립되지 않았다. 가장 어려운 사례에서 세 명의 독립적 인간 전문가는 중등도 수준에서만 일치하며(쌍별 $κ=0.37$--$0.50$), 19개 LLM 모델 중 최고 성능도 전문가 다수결에 대해 $κ=0.601$에 그친다. 우리의 발견은 영향 캠페인 및 더 넓은 온라인 담론 맥락에서 혐오 연구의 재정의에 도움이 될 수 있다.
효율적인 긴 컨텍스트 추론은 메모리 비용을 줄이는 것뿐만 아니라, 생성이 진행되는 동안 유용한 문맥적 증거를 접근 가능하게 유지하는 것에도 관련된다. 그러나 key-value(KV) 캐시 압축과 컨텍스트 압축과 같은 기존의 압축 지향 접근법들은, 종종 어떤 문맥 정보를 유지할지 초기에 결정하거나 외부 압축기에 의존한다. 이러한 설계는 압축된 컨텍스트를 이후 추론 단계에 필요한 증거에 맞게 조정하기 어렵게 만든다. 본 논문은 PReM(Preserve and Refresh Memory)을 제안한다. PReM은 긴 컨텍스트를 모델의 내부 층별 KV 메모리로 유지하고, 무엇을 보존하고 언제 갱신할지를 학습하는 컨텍스트 압축 프레임워크이다. 구체적으로 PReM은 전용 메모리 층을 사용해 메모리 선택을 결정하고, 생성 중 갱신을 트리거하는 특수 메모리 토큰 <m>을 사용한다. 이러한 동작을 학습하기 위해 PReM은 Phase-Separated Refresh Training을 도입하여, 갱신 간 연속성을 유지하면서 메모리 선택을 메모리 조건 생성과 정렬한다. 32K 토큰 컨텍스트에 대한 실험에서 PReM은 16배 및 32배 압축 모두에서 강력한 베이스라인을 능가하면서, 답변 품질과 추론 효율 사이의 유리한 균형을 유지한다.
대규모 언어 모델(LLM)은 점점 더 에이전트로 배치되고 있지만, 신뢰할 수 있는 에이전트적 행동은 다음 토큰 예측 이상을 요구한다. 추론 시점에 에이전트는 현재 추론을 계속할지, 더 강한 모델에 위임할지, 추가 정보를 요청할지, 외부 도구를 호출할지, 주어진 설정 하에서 기권할지 결정할 수 있어야 한다. 기존 접근법은 프롬프트 수준 라우팅, 외부 오케스트레이션, 또는 과제별 미세조정을 통해 이러한 결정을 처리하며, 주로 입력 측 신호에 의존하고, 모델 백본이 진화함에 따라 유지 비용이 크고 어려운 경우가 많다. 우리는 이러한 제어 결정을 모델의 잠재 생성 과정에서 직접 추론할 수 있는지 묻는다. 우리는 Multi-Head Latent Control을 도입한다. 이는 고정된 LLM 또는 VLM의 은닉 상태(hidden-state) 궤적을 읽어 배치 시점 제어 신호를 생성하는 경량 층이다. Capability Head는 현재 모델이 해당 인스턴스를 해결할 수 있는지, 더 강한 협력자에게 위임해야 하는지 예측하고, Resolution Head는 적절한 해결 결정—Clarification, Tool Use, Abstention, Direct Answering—을 예측한다. 두 헤드는 모두 동일한 고정 LLM 백본의 잠재 trace만으로 학습되며, 모델을 수정하지 않고 사후 적응(post hoc adaptation)을 가능하게 한다. 언어 및 비전-언어(vision-language) 설정 전반에 걸쳐 Multi-Head Latent Control은 다중 모델 시스템의 품질-비용 tradeoff를 일관되게 개선하며, 부분 생성에서의 조기 handoff와 더 정확한 개입 결정을 가능하게 한다. 라우팅 실행(소형 + 대형 모델)에서 AndroidWorld에서는 대형 모델 사용을 최대 90.7% 줄이고, 벤치마크 평균 27–53% 줄이면서 대형 모델 성능의 대부분을 유지한다. 또한 학습된 제어 신호는 도구 사용 결정 품질을 개선하여, 상대 점수 최대 +158% 향상과 필수 도구 호출 누락 65.5% 감소를 달성한다.
장기 로봇 계획은 다음 행동이 무엇을 할지 예측하는 것 이상을 요구한다. 미래 목표를 해석 가능하게 만드는 체화된 경험의 기억도 필요하다. 사람들은 현재 장면만으로 계획하지 않는다. 기억된 장소, 객체 상태 변화, 이전 절차, 반복된 행동을 통해 드러난 규칙성에 의존한다. 우리는 체화된 행동 기억(Embodied Action Memory, EAM)을 이후 의사결정을 위한 지속적인 기억 상태로 이러한 경험을 형성·유지·활용하는 능력으로 공식화한다. MEMORA는 형성-통합-검색(formation-consolidation-retrieval) 수명 주기와 네 가지 유형의 저장소—Environment Memory, Entity Memory, Activity Memory, Inferred Knowledge—로 EAM을 구현한다. 온라인 편집은 새로운 관측이 들어올 때 객체 정체성과 상태 이력을 유지하며, 오프라인 통합은 반복된 경험을 재사용 가능한 절차와 참가자별 규칙성으로 추상화한다. MEMORA-Bench는 18명의 참가자에 걸친 EPIC-KITCHENS-100 확장 비디오 45시간에 대해 이 수명 주기를 평가하며, 이전에 보지 못한 목표를 포함한 기억 기반 계획과 보완적인 기억 평가 과제를 통해 이를 수행한다. 네 가지 오픈 웨이트(open-weight) 언어 모델에 걸쳐, 편집·유형별 저장소·통합을 결합한 완전한 MEMORA가 평가된 기억 조건 중 가장 강한 종합 결과를 달성한다. 가장 강한 통제 기준선 대비 기억 평가 정확도를 최대 20.5점 향상시키며, 분포 외(out-of-distribution) Robot-Grounded Plan 점수를 상대적으로 최대 16.6% 개선한다. 정성적인 두 과제 로봇 배치 연구는 기억 기반 언어 계획이 하위 제어와 어떻게 연결될 수 있는지를 추가로 보여 주며, 전체 결과는 편집 가능하고 통합된 기억이 로봇 계획을 위한 기억된 컨텍스트를 제공할 수 있음을 보여준다. 프로젝트 페이지: https://yuzihaowashu.github.io/MEMORA/
개인 AI 어시스턴트는 일상 업무 자동화, 중요한 의사결정 지원, 일상적인 개인 사안 보조를 통해 일상생활을 향상시킬 잠재력으로 큰 관심을 받아왔다. 그러나 최근 기술이 빠르게 발전했음에도, 이러한 어시스턴트는 아첨(sycophancy), 과잉 자신감, 환각(hallucination)과 같은 바람직하지 않은 행동을 계속 보인다. 우리는 이러한 실패가 근본적인 한계에서 비롯된다고 주장한다: 언어 모델은 주어진 컨텍스트 너머의 사용자에 대한 명시적 표현이 부족하며, 이를 단절 문제(Severance Problem)라고 부른다. 풍부한 개인 컨텍스트와 백본 모델의 강력한 상식 추론 능력이 있더라도, 현재의 AI 어시스턴트는 사용자에 대해 여전히 알려지지 않은 것을 표현하는 데 실패한다. 우리는 간단한 해결책을 제안한다: 단절 스키마(Severance Schema)를 통해 언어 모델 컨텍스트에 구조화된 무지(structured ignorance)를 통합하는 것이다. 이 스키마는 모델이 사용자에 대해 지식이 부족한 차원을 명시적으로 개략하며, 여기에는 신체성(physicality), 시간성(temporality), 결과(consequences), 연속성(continuity), 다중성(multiplicity), 내면성(interiority)이 포함된다. 실험적으로, 다섯 가지 모델 패밀리에서 단절 스키마를 사용하면 어시스턴트는 아첨, 유해한 조언, 환각을 일관되게 줄인다. 특히, 스키마가 적용된 모델은 사용자 정보가 불완전할 때 자신 있게 외삽하는 대신, 누락된 정보에 대해 명확히 하는 질문을 한다.
대규모 언어 모델(LLM)은 종종 신뢰할 만하게 추론하는 것처럼 보이지만, 많은 질문에서 반복 샘플링을 하면 정답과 오답이 모두 나와 최종 결정이 형성되는 방식에 근본적인 취약성이 있음을 드러낸다. 우리는 이러한 취약성이 암시적 추론 스티어링(implicit reasoning steering)을 통해 악용될 수 있는지 연구한다. 즉, 명시적 지시, 트리거, 또는 직접적인 답 단서 없이 자연어 텍스트를 사용하여 모델을 지정된 답으로 바이어스(bias)시키는 것이다. 우리의 접근법인 Concept Chaining은 하나 또는 두 개의 중간 개념을 통해 질문 개체를 목표 선택지에 연결하는 짧은 연결 문단을 생성한다. 그런 다음 이러한 연결 문단으로 피해 모델(victim model)의 사전학습(pre-training)을 이어가고, 원래의 객관식 질문에서 답 선호가 바뀌는지 평가한다. 결과는 간접적이고 자연스러워 보이는 텍스트가 직접적인 의역(paraphrase)보다 훨씬 덜 추론 가능하면서도 모델 예측을 체계적으로 유도할 수 있음을 보여준다. 이는 추론의 취약성이 단순한 평가 아티팩트(evaluation artifact)에 그치지 않음을 시사한다. 즉, 잠재 바이어스(latent bias)가 평범해 보이는 텍스트에 의해 증폭되어 모델의 결정을 은밀하게 바꿀 수 있는 실질적인 경로를 만든다.
정렬(alignment)된 언어 모델은 유해한 요청을 거부하지만, 한 줄짜리 프리필("Sure, here is")이 그 거부를 제거한다. 우리는 이것이 어디서, 어떻게 실패하는지 묻는다. 유해성 표현은 그대로 유지된다. 공격이 순응으로 뒤집는 프롬프트에서 선형 프로브는 거부된 경우와 같이 높은 수준(0.91-0.98)으로 유해성을 읽어내는 반면, 행동적 거부는 우연 수준으로 떨어진다. 이는 네 개 모델과 세 가족(1.5-3.8B, 14B) 전반에서 성립한다. 따라서 거부는 얕은, 응답 지점(response-site) 계산이다. 우리는 이를 초기 구간으로 국소화한다. 용량-매칭(position-matched) 위치 통제는 응답의 첫 절반만으로 거부를 무너뜨리기에 충분하고, 후반부는 거의 무효임을 보여준다. 세 가지 인과 프로브가 그 구간으로 수렴한다. 그곳에서 유해성 방향을 복원하면 거부가 부분적으로 다시 작동한다. 모델 자신의 거부 상태를 주입하면 jailbreak가 역전된다(74%, 홀드아웃). 그리고 초기 응답의 프리필에 대한 어텐션을 제거하되, 동일한 어텐션 질량을 다른 곳에서 제거하지 않으면, 유해한 후속 생성만 선택적으로 붕괴시킨다. 베이스 모델 통제가 메커니즘을 규명한다. 동일한 knockout은 안전성 미튜닝 베이스 모델에서도 프리필 특이적으로 후속 생성을 붕괴시킨다(유해 콘텐츠 64%에서 25%로, 매칭 통제의 64% 대비, 7B에서 재현). 따라서 프리필의 지배력은 안전성 특이적 억압이 아니라 일반적인 자기회귀(autoregressive) 조건화이며, "거부 복원"은 모델 의존적 대안(fallback)이다. 지배적 메커니즘은 수동적(passive)이다. 그 위에 작은 안전성 특이적 attractor가 남아 있다(로짓 추적(logit-trace) 집중도 0.24 대 0.03). 그 능동-수동 특성의 규모는 추정하지만 완전히 분리하지는 않는다. 단일 방향이나 구성요소가 깔끔한 핸들이 되지도 않는다. 결정은 디코딩 가능하지만 분산되어 있고, 거부는 겉보기 무서움(scary surface)이 아니라 유해성을 추적한다. 결과는 구조적이다. 손대지 않은 프롬프트 측 표현을 읽는 모니터는 구조적으로 면역이지만, 응답 지점 공격에만 해당한다. 메커니즘은 분산되어 있고, 실패 표면(failure surface)은 국소적이다.