Transformers have dominated empirical machine learning models of natural language processing. In this paper, we introduce basic concepts of Transformers and present key techniques that form the recent advances of these models. This includes a description of the standard Transformer architecture, a series of model refinements, and common applications. Given that Transformers and related deep learning techniques might be evolving in ways we have never seen, we cannot dive into all the model details or cover all the technical areas. Instead, we focus on just those concepts that are helpful for gaining a good understanding of Transformers and their variants. We also summarize the key ideas that impact this field, thereby yielding some insights into the strengths and limitations of these models.
정렬(alignment) 학습에도 불구하고 배포 시점에 안전하지 않은 출력을 생성할 수 있는 대규모 언어 모델(LLM)을 위해, 외부 검증 모델의 안전성 신호를 리스크 제어(risk control) 기반으로 보정된 임계값으로 변환하는 단순한 실시간 온라인 모니터링 프레임워크를 제안한다. 수학적 추론 및 레드팀 테스팅 데이터셋 실험에서 이 단순한 설계가 순차적 가설 검정(sequential hypothesis testing) 기반의 고급 모니터와 경쟁력 있는 성능을 보이면서도 생성 과정 초기에 더 빠르게 위험을 감지함을 보였다.
ReContext는 대규모 언어 모델(LLM)이 긴 컨텍스트 내에 존재하는 관련 증거를 실제 생성 시 활용하지 못하는 문제를 해결하기 위해, 모델 내부의 어텐션 신호를 기반으로 질의 조건부 증거 풀을 재귀적으로 구성하고 최종 답변 생성 전에 이를 재생(replay)하는 학습 불필요 추론 방법을 제안한다. 8개의 128K 길이 장문 컨텍스트 데이터셋에서 Qwen3-4B, Qwen3-8B, Llama3-8B 모두에 대해 평균 정확도를 0.24에서 0.30으로 24.6% 향상시키며 모든 백본에서 최고 평균 순위를 달성했다.
명시적인 목표 없이 사회적 관계 구조만으로 대규모 언어 모델(LLM) 에이전트의 공개 발화가 달라지는지 연구하기 위해, 공개 채널과 비공개(off-the-record) 채널을 동시에 생성하는 이중 채널 토론 프레임워크를 도입했다. 10개 모델과 3가지 시나리오 실험에서 정렬 유도(alignment-inducing) 관계 맥락 하에 에이전트의 공개-비공개 응답 불일치율이 기준선 약 3%에서 최대 40%까지 상승했으며, 이는 사회적 구조가 명시적 지시 없이도 잠재적 목표(latent objective)를 창발시킬 수 있음을 시사한다.
EvoPolicyGym은 에이전트가 제한된 상호작용 예산 내에서 실행 가능한 강화학습(RL) 정책을 반복적으로 수정·개선하는 능력을 평가하는 벤치마크로, 단순한 최종 점수가 아닌 궤적 수준의 진단을 통해 자율적 정책 진화(Autonomous Policy Evolution) 과정을 측정한다. Core16 스위트(16개 환경) 실험에서 GPT-5.5가 가장 높은 종합 순위 점수를 기록했으며, Claude Opus 4.7은 MiniGrid 계열에서 최고 성능을 보였다.
Linux/bash 명령어 시험을 GPT, Claude Opus, Gemini, GLM 등 4개의 최신 대규모 언어 모델(LLM)로 자동 채점할 수 있는지, 인지적 복잡도와 운영 영향도를 결합한 4단계 분류 체계(taxonomy)를 적용해 전문 강사와의 일치도를 평가한 연구로, 루브릭 기반 프롬프트를 적용한 Gemini 3.0 Pro가 ICC(3,1) = 0.888로 가장 높은 인간-AI 일치도를 달성했으며 모델 선택보다 루브릭 품질이 채점 정확도에 더 큰 영향을 미치는 것으로 나타났다.
비직교 벽면과 불규칙한 경계를 갖는 비맨해튼(non-Manhattan) 실내 환경에서 텍스트 기반 3D 장면 생성이 어렵다는 문제를 해결하기 위해, SPG-Layout은 객체 분포의 통계적 사전 정보(spatial prior)를 강화학습 보상으로 활용하는 두 단계 학습 전략과 대형 가구를 우선 배치하는 계층적 레이아웃 전략을 결합한 프레임워크를 제안한다. 500개의 다양한 비맨해튼 환경으로 구성된 새 벤치마크 실험에서 기존 방법 대비 레이아웃 충실도와 물리적 타당성 모두에서 일관되게 뛰어난 성능을 보였다.
Steering and monitoring activations in Large Language Models (LLMs) are increasingly used for both safety and interpretability. Early work assumed behaviours are encoded along single linear directions, but recent findings suggest complex behaviours, such as the refusal to answer harmful queries, live in multi-dimensional subspaces. However, existing methods for extracting these subspaces are computationally expensive, which becomes prohibitive on reasoning models who produce long reasoning traces. By adapting the Recursive Feature Machine (RFM) algorithm -- which can be computed efficiently -- with a probe-informed initialization, we are able to identify the multi-dimensional refusal subspace in seconds, on reasoning (Qwen 3) and non-reasoning (Qwen 2.5) models. While RFM allows for faster subspace identification, it also showed better performances on the ablation task than its alternatives. More work is planned to better understand the relations between subspaces found by different methods. If confirmed, RFM could be a cheap and scalable complement to existing subspace-extraction methods in LLMs.
Coding agents are capable; human oversight is the bottleneck. Unconstrained agents introduce security risks, erode codebase scalability, and make human review increasingly costly. We argue that the same methods used for decades to manage large human engineering teams: access control, network policies, strict coding conventions enforced by tooling; transfer directly to coding agents, and are cheaper (in token) than recent agentic scaffolding. We sketch a start-to-end system on this principle, and report a controlled experiment in scalable oversight: a small reviewer (Gemma 4 e4b) inspects a Python codebase containing 11 inserted backdoors. Recall rises from 54.5% (unconstrained, no tools) to 90.9% (constrained substrate plus a ~200-LoC `docs` CLI), with substrate and tools contributing independently. We choose Python deliberately: substrate-level oversight gains are largest where the language gives the fewest guarantees by default; the principles extend to languages like Rust.
FPGA 기반 하드웨어 강제 시맨틱 조정 아키텍처를 제안하며, TB-CSPN(Topic-Based Communication Space Petri Net) 프레임워크의 조정 메커니즘을 FPGA 프리미티브에 매핑해 시간 동기화, 시맨틱 게이팅, 권한 제약을 소프트웨어가 아닌 하드웨어 수준에서 결정론적으로 강제한다. 안전 필수 실시간 자율 시스템에서 소프트웨어 기반 조정의 비결정성 문제를 해결하기 위해, 시맨틱 추론은 소프트웨어에 남기고 상호작용 규칙만 하드웨어에서 집행하는 3계층 아키텍처를 설계했다.
11,083편의 응집물질물리학 arXiv 논문 코퍼스에서 출발해 출판 수준의 원고를 자동 생성하는 대규모 언어 모델(LLM) 파이프라인을 제시하며, 에이전트가 연구 방향 구상, 출판된 참고문헌 재현을 통한 방법론 보정, 새로운 제일원리(first-principles) 계산 수행, 원고 작성을 순차적으로 자율 수행한다. 환각 문제를 해결하기 위해 문헌 앵커에 대한 수치적 대면을 구조적으로 강제하는 보정 체크포인트를 핵심 그라운딩(grounding) 메커니즘으로 도입하였으며, 신선한 컨텍스트 격리·분산 그라운딩·대립적 검토로 구성된 내결함성(fault-tolerant) 설계를 통해 교번자성(altermagnetism) 압자기(piezomagnetism) 분야에서 3가지 실질적인 물리 발견을 담은 원고를 생성하는 데 성공하였다.
Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.
온-폴리시 자기 증류(OPSD)가 long-CoT 추론 모델에 적용될 때 성능을 오히려 저하시키는 근본 원인을 분석한 결과, 교사 모델의 감독 신호가 문제 해결에 전이 불가능한 참조 답안 암기 성분에 지배되고 있음을 규명했다. 이를 해결하기 위해 참조 답안만으로 조건화된 교사를 활용해 비전이 성분을 제거하고, 점별 상호정보량(PMI)으로 전이 가능한 교정 신호만을 추출하는 Purified OPSD를 제안하여, 4개의 long-CoT 모델에서 표준 OPSD 대비 일관된 성능 향상과 반성적 추론 능력 보존을 달성했다.
기존 다중 에이전트 소프트웨어 개발 프레임워크에서 초기 단계의 오류가 하위 에이전트로 전파되는 환각 전파 문제를 해결하기 위해, UA-ChatDev는 토큰 수준 로그 확률 기반의 경량 불확실성 정량화 모듈과 단계별 임계값 보정을 통해 신뢰도가 낮은 에이전트 응답에 선택적으로 검색 증강(retrieval augmentation)을 적용한다. SRDD 벤치마크 실험에서 UA-ChatDev는 완전성, 실행 가능성, 일관성, 전반적 품질 지표 전반에 걸쳐 기존 단일 및 다중 에이전트 프레임워크를 일관되게 능가하며 코드 실행 신뢰성을 향상시켰다.
GPT 5.4, Claude Opus 4.7, Gemini 3.1 Pro을 대상으로 전문 임상의가 작성한 5가지 임상 추론 시나리오와 가중치 기반 루브릭(총 184개 기준)을 활용해 평가한 결과, Claude가 평균 0.47로 가장 높은 통과율을 기록했으나 세 모델 모두 임상적 우선순위 역전 현상을 보였다. 중요도가 낮은 weight-1 기준은 80~90%를 통과한 반면, 환자 안전에 직결되는 weight-5 핵심 기준은 32.4~41.7%에 불과했으며, 108개 핵심 기준 중 56개(52%)는 어떤 모델도 충족하지 못했다.
Inverse-KKT 구성 방식을 통해 실현 가능한 최적해와 쌍대 변수를 먼저 샘플링한 후 역방향으로 선형 프로그래밍(LP) 문제를 자동 생성하는 벤치마크 A²utoLPBench를 제안하며, 이 방식은 솔버 호출이나 인간 주석 없이 수학적으로 보증된 정답을 제공한다. 고정 데이터셋 대비 무한한 문제 공급, 난이도 파라미터 조정, 학습 데이터 오염 저항성을 갖추며, 번들된 solver-critic 에이전트 기준선이 MAMO complex에서 Claude Sonnet 4.6 기준 최대 +11.3pp 성능 향상을 달성했다.
HTTP, 어휘(lexical), 응답 시간 신호를 행동 모니터링하는 최초의 블랙박스 가드레일 탐지 방법론을 제안하며, 가드레일 존재 여부를 100% 정확도로 탐지하고 가드레일 차단과 대규모 언어 모델(LLM) 자체 거절을 평균 F1 98%로 구별한다. 이 접근법은 대상 시스템에 대한 사전 지식 없이도 가드레일이 차단하는 콘텐츠 범주를 식별하여, 현실적인 적대적 에뮬레이션 연구에서 공격 전략 선택의 정밀도를 높인다.
vLLM 기반의 음성 언어 모델(SpeechLM) 고처리량 추론 파이프라인을 제안하며, 다중 코드북 오디오 토큰의 지연 패턴 디인터리빙과 동기식 멀티-토큰 예측(MTP)을 자동회귀 디코딩 루프에 통합하고 GPU 내 음향 디코더를 직접 결합하여 엔드-투-엔드 파형 합성을 구현한다. 또한 Classifier-Free Guidance(CFG)의 조건부·비조건부 요청을 동일 연속 배치(continuous batch) 내에서 쌍으로 공동 스케줄링함으로써 CFG 적용 시에도 비CFG 처리량의 80%를 유지하는 효율적인 추론을 달성한다.
과학적 피트니스 코칭(SFC)에 특화된 대규모 언어 모델(LLM) 시리즈인 FitOne(8B, 32B)을 Qwen3 기반으로 구축하여, 지속적 사전학습·지도 파인튜닝·강화학습의 3단계 사후학습 파이프라인을 적용하였다. ACSM-EP 및 NSCA-CSCS 전문 자격시험에서 기반 모델 대비 최대 12.73% 향상된 성능을 달성하면서도 일반 역량을 유지함을 실험으로 검증하였다.
자율 AI 에이전트가 외부 지식을 활용할 때 출처, 버전, 무결성, 추적 가능성이 보장되지 않는 컨텍스트 거버넌스(context governance) 문제를 형식화하고, SHA-256 해시 체인 버전 이력, 결정론적 셀렉터 문법, MCP 기반 소스 노드, 감사 추적을 결합한 오픈 명세 및 참조 구현인 ContextNest를 제시한다. 실험 결과, 거버넌스 기반 선택이 BM25 검색 대비 답변 품질 통과율(97% vs. 93–90%)과 토큰 비용 측면에서 Pareto 우위를 보였으며, 밀집 벡터(dense+HNSW) 기반 검색의 비결정론적 문제(쿼리의 80%에서 mean Jaccard 0.611)도 해결함을 확인했다.