자기회귀 디코더는 평면적인 토큰 시퀀스를 출력하며 출력 세그먼트 간 계층적 제약을 강제할 수 없는데, 이 한계는 특허 청구항 생성에서 더욱 두드러진다. 여기서 청구항 집합은 깊이에 따라 범위가 단조적으로 좁혀져야 하는 종속성 포리스트(dependency forest)를 형성한다. 위상과 내용은 상호 의존적이다. 종속 청구항의 문구는 부모의 범위를 반영해야 하지만, 그 문구가 존재하기 전에 부모가 선택되어야 하므로, 사후 파싱(post-hoc parsing)이나 문법 제약 디코딩(grammar-constrained decoding)만으로는 충분하지 않다. 우리는 자기회귀 패스 내에서 위상을 예측하는 SPG(Structure-aware Patent Generation)를 제안한다. 포인터 헤드(pointer head)가 각 종속 청구항의 부모를 선택하며, 그 기울기는 깊이 적응형 범위 정규화(depth-adaptive scope regularizer)와 함께 학습 중 공유 디코더의 표현을 재형성한다. 두 번째 단계에서는 자체 생성된 결함 후보들에 대해 위반 가중 선호 목표(violation-weighted preference objective)를 적용하여, 등록 특허 말뭉치가 갖추지 못한 부정적 신호를 제공한다. HUPD-DCG에서 Llama-3-8B-Instruct 기반 SPG는 학습 보상이 전혀 지도하지 않는 정답 부모 링크의 79.0%를 복원하며, 동일 규모의 지도 기준선 대비 선행어 일관성을 0.292에서 0.478로 높였고, 전문가 평가가 이러한 개선을 뒷받침한다.
대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.
DoLa와 같은 대조 디코딩(contrastive decoding) 방법은 성숙한 층과 미성숙한 층의 출력 분포를 대조하여 대규모 언어 모델(LLM)의 사실성(factuality)을 향상시킨다. 그러나 DoLa의 동적 층 선택은 출력 어휘 분포의 발산(divergence)에만 의존한다. 본 연구에서는 내부 셀프 어텐션(self-attention) 메커니즘이 담고 있는 구조적 정보를 층 선택 신호로 활용하는 세 가지 어텐션 기반 전략인 Attention-JSD, Attention-Entropy-Max, Attention-Entropy-Min을 제안한다. TruthfulQA에 대한 실험 결과, 특히 Attention-JSD와 Attention-Entropy-Min을 포함한 제안 전략들이 원래 DoLa를 일관되게 능가함을 보여준다. 다중 답변 지표(MC2 및 MC3)에서 유의미한 향상을 관찰하였으며, 이는 어텐션 분포가 출력 어휘 분포보다 사실적 지식 해결에 더 민감한 신호를 제공할 수 있음을 시사한다.
추측 디코딩(Speculative Decoding, SD)은 draft-then-verify 패러다임으로 낮은 동시성 환경에서 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 주류 방법들은 다중 토큰 예측에 의존하여 예측 난이도가 누적되고 드래프트 지연이 드러나는 문제가 있다. 우리는 대상 LLM을 $n$개의 파이프라인 단계로 분할하여 단일 시퀀스의 $n$개 토큰이 병렬로 진행되도록 하는 추측 파이프라인 디코딩(Speculative Pipeline Decoding, SPD)을 제안한다. 파이프라인을 포화 상태로 유지하기 위해, 파이프라인 드래프트 모듈(Pipeline Draft Module, PDM)이 다중 깊이의 대상 특징을 집계해 다음 토큰을 예측하고 각 파이프라인 단계와 동시에 실행되어, 예측 난이도를 제한하고 수용률을 높이며 드래프트 지연을 숨긴다. 실험 결과, SPD는 중간 정도의 파이프라인 폭에서 EAGLE-3보다 더 높은 이론적·실제 벽시계 속도 향상을 달성하며, 더 공격적인 폭에서는 추가 이득의 여지가 남아 있다. 코드는 https://github.com/yuyijiong/speculative_pipeline_decoding 에서 제공된다.
대규모 언어 모델은 큰 어휘에 대한 비용이 큰 출력 층 계산으로 인해 추론 중 상당한 계산 병목을 겪는다. 우리는 각 디코딩 단계마다 작은 하위 어휘를 구성하기 위해 기하학적 상한을 사용하는 새로운 접근법인 CSV-Decode를 제안한다. 이는 정확한 top-$k$ 인증과 $\varepsilon$-인증 소프트맥스 근사라는 이중 정확성 보장을 유지하면서 효율적인 희소(sparse) 계산을 가능하게 한다. 우리 방법은 어휘 임베딩을 오프라인으로 클러스터링하고, 중심점(centroid)과 반경(radius) 상한을 사용하여 계산에서 안전하게 생략할 수 있는 토큰을 식별한다. 우리는 희소 GEMV 커널, 다중 GPU 샤딩, CUDA Graph 최적화를 갖춘 완전한 시스템 구현을 제공한다. 실험 결과는 분포 보장과 낮은 폴백(fallback) 비율을 유지하면서 전체 어휘 디코딩 대비 상당한 속도 향상을 보여준다. 코드 구현은 https://github.com/FastLM/CSV-Decode 에서 이용할 수 있다.
고충실도 3D 생성 모델링은 점점 더 잠재 확산(latent diffusion) 패러다임에 의존하고 있으며, 여기서 기반 3D VAE의 재구성 품질이 주요 병목이 된다. 기존 접근법은 크게 두 가지 패러다임을 따른다. 희소 복셀(sparse voxel) 기반 표현은 강력한 재구성 품질을 달성하지만 상당한 메모리 및 계산 오버헤드를 유발하는 반면, 집합(set) 기반 표현은 컴팩트하고 연속적이지만 잠재 희소성과 과도한 전역 평활화로 인해 일반적으로 충실도에서 뒤처진다. 우리는 MSVS-VAE를 제안한다. 이는 컴팩트함을 희생하지 않고 이러한 충실도 격차를 해소하는 계층적 집합 기반 VAE이다. 핵심 아이디어는 계층적 point-shuffle 업샘플링을 통해 앵커 VecSet 잠재 표현을 점진적으로 밀도화하여, 세밀한 기하 모델링을 위한 공간 용량을 늘리는 것이다. 밀도화된 계층으로부터 효율적으로 디코딩하기 위해, 전역 크로스 어텐션(cross-attention)을 AVS-Conv로 대체한다. AVS-Conv는 전체 잠재 집합이 아닌 지역 이웃 내에서 동작하는 기하 인식 지역 집계 연산자이다. 또한 다중 스케일 쿼리 디코딩을 도입하여 거친-세밀(coarse-to-fine) 잠재 특징을 융합한다. 거친 스케일은 안정적인 전역 컨텍스트를 제공하고, 세밀한 스케일은 국소화된 기하를 정제하여 과도하게 지역적인 수용 영역(receptive field)으로 인한 아티팩트를 줄인다. Objaverse, ABO, 실환경(in-the-wild) 벤치마크에 대한 광범위한 실험은 MSVS-VAE가 기존 집합 기반 및 복셀 기반 VAE를 일관되게 능가하며, 기존 집합 기반 방법 대비 약 10배 빠른 디코딩과 복셀 기반 베이스라인 대비 약 10배 높은 컴팩트함을 제공함을 보여준다.
현대 컴퓨터 비전(CV) 파이프라인은 여전히 분절되어 있으며, 텍스트-이미지 생성, 편집, 복원, 전통적인 인식(perception)과 같은 작업이 각각 별도의 모델로 처리된다. 우리는 단일 모델이 통합된 멀티모달 인터페이스를 통해 다양한 이미지 형태의 출력을 생성하는 통합 시각 생성(UVG)을 연구한다. 확산(diffusion) 기반 시스템은 뛰어난 품질과 제어 가능성(controllability)으로 UVG를 주도하지만, 반복적 샘플링으로 인해 상당한 추론 지연이 발생하여 실용적 배포를 제한한다. 이러한 한계를 해결하기 위해, 범용 멀티모달 언어 모델(MLLM)과 효율적인 next-scale 시각 자기회귀(VAR) 디코더를 결합한 프레임워크인 UniGen-AR를 제안한다. 이 설계는 MLLM 기반 조건화(conditioning)의 유연성을 유지하면서 VAR 모델의 샘플링 효율성과 잠재 공간 통합(latent unification) 특성을 활용한다. 우리 프레임워크에서 MLLM은 자유 형식의 지시와 제어 신호를 통합 시퀀스로 인코딩하며, 이는 VAR 디코더가 네 가지 계열에 걸친 15개 이상의 작업에 대해 이미지 형태의 출력을 생성하도록 안내한다. 실험적으로 UniGen-AR는 확산 기반 베이스라인 대비 최대 19배 낮은 추론 지연을 달성하면서 출력 품질을 유지하거나 개선한다. 우리의 ablation 연구는 VQ-VAE 토크나이저(tokenizer) 설계, 특히 codebook 크기와 계층 구조가 UVG에서 VAR 확장성(scalability)의 핵심 요인임을 추가로 밝힌다. 이 결과는 시각 자기회귀 모델링이 통합 시각 생성을 위한 설득력 있고 효율적인 백본(backbone)임을 입증한다. 프로젝트 페이지: https://zpbao.github.io/projects/unigenar.
오픈 월드 객체 검출(OWOD)은 검출기가 알려진 범주를 인식하고, 보지 못한 범주의 이름 없는 객체를 발견하며, 새로 주석이 달린 클래스를 점진적으로 학습해야 한다. PROB는 디코더-쿼리 공간에서 클래스에 구애받지 않는 확률적 객체성(objectness)을 모델링하여 미지 객체 발견을 개선한다. 그러나 시각적 객체성만으로는 객체 같은 쿼리가 어려운 알려진 인스턴스, 보지 못한 범주의 객체, 또는 배경 잡음에 해당하는지 판별할 수 없어, 알려진-미지(known-unknown) 결정 경계가 모호해진다. 우리는 MSPO를 제안한다. 이는 PROB에 작업 인식(task-aware) 알려진 범주 언어 사전(prior)을 보강하는 경량 의미 보정(semantic calibration) 프레임워크로, 검출기 아키텍처와 점진적 학습 프로토콜은 그대로 유지한다. 현재 알려진 각 범주에 대해 MSPO는 범주 속성, 시각적 외형, 전형적인 장면, 기능적 용도를 포괄하는 확장 텍스트 설명을 구성하고, 고정(frozen) CLIP 텍스트 인코더로 이를 인코딩한다. 디코더 쿼리 특징은 동일한 의미 공간으로 투영되어, 현재 알려진 범주 의미로부터의 지지(support)를 추정한다. 이 의미적 증거는 PROB의 시각적 객체성과 융합되어, OWOD를 개방 어휘(open-vocabulary) 분류로 바꾸지 않고 알려진/미지 예측을 보정한다. 중요하게, MSPO는 미래 범주 이름을 절대 사용하지 않으며, 평가 동안 모든 보지 못한 범주는 이름 없는 상태로 유지된다. M-OWODB 및 S-OWODB에서의 실험은 MSPO가 강력한 PROB 기준선의 주요 집계 지표를 개선하면서 경쟁력 있는 미지 재현율을 유지함을 보여준다. 또한 초기 미지 혼동 지표를 개선하고 PASCAL VOC 최종 mAP를 최대 2.7 포인트 향상시킨다. 이러한 결과는 표준 OWOD 설정에서 알려진 범주 언어 의미가 확률적 객체성에 대한 효과적인 보정 신호를 제공함을 보여준다.
장면 텍스트 인식(STR) 모델은 거의 전적으로 최대 25자의 단어 crop으로 학습되지만, 실제 배포(간판, 제품 라벨, 밀집 캡션)에서는 훨씬 더 긴 텍스트를 읽어야 한다. 본 논문은 그 실패를 진단한 뒤 이를 해소한다. 진단은 길이 초과 실패를 동시에 외삽하는 두 축(인코더의 너비 축과 디코더의 시간 축)으로 분리하고, 디코더 길이가 아닌 인코더 너비가 지배적인 실패 양상임을 보여준다. 표현 측면의 수정은 부분적인 완화만 가져온다. 학습 없는 rotary rescaling은 문자 오류율(CER)을 최대 2–4 포인트만 회복하고, 가중 미세조정 레시피는 표준 벤치마크 정확도를 개선하면서 6–8 포인트를 회복하지만, Long Text Benchmark(LTB)에서의 단어 정확도는 거의 0에 머문다. 이는 잔여 격차가 표현이 아니라 디코딩 메커니즘에 있기 때문이다. 그런 다음 수정되지 않은 단어 수준 체크포인트에서 추론 시점에 그 격차를 해소한다. 긴 이미지를 모델의 학습 너비에 맞춰 겹치는 crop으로 슬라이스하고, 각각을 독립적으로 분포 내(in-distribution)에서 디코딩한 뒤, 기하학 기반 앵커 편집 거리 정렬로 읽기 결과를 이어붙인다. 이 절차는 두 기본 체크포인트에 걸쳐 LTB에서 버킷 평균 단어 정확도 42.79–43.05%에 도달하며, 발표된 최신 기술(41.57%)과 맞먹고 가장 어려운 버킷에서는 11–12 포인트 앞선다. 일반 디코딩과 벽시계(wall-clock) 시간이 동등한 수준이며, 공개 PARSeq 체크포인트에 변경 없이 적용하면 47.11%에 도달한다. 청킹(chunking)을 적용하면 미세조정은 더 이상 도움이 되지 않는다. 디코딩 측면의 수정만으로도 목적에 맞게 설계된 아키텍처와 동등한 성능을 낸다. 진단 하네스와 구현을 공개한다.
기능적 자기공명영상(fMRI) 기반 실시간 폐쇄루프(closed-loop) 신경 피드백(neurofeedback)은 중요한 과학적·임상적 진전을 이끌어 왔다. 그러나 실시간 fMRI에 사용되는 분석 방법의 정교함은 fMRI 디코딩(decoding) 분야의 최신 기술(state-of-the-art)에 비해 뒤처져 있으며, 이는 주로 계산적 요인 때문이다. 대부분의 고급 디코딩 파이프라인은 실시간 처리 제약 범위 내에 들어가지 못하는데, 실시간 처리에서는 분석이 수 초 이내에 수행되어야 하고 세션 후반에 수집된 데이터를 활용할 수 없기 때문이다. 본 연구에서는 지각된 자연 이미지를 재구성하는 계산 집약적 최신 파이프라인(MindEye2)의 실시간 호환 적응 버전을 제시하고, 이 설정에서도 신뢰할 수 있는 세밀한(fine-grained) 디코딩이 여전히 가능함을 보여준다. 오픈소스 확장 가능 클라우드 기반 플랫폼 RT-Cloud를 사용하여 실시간 스캔을 수행했으며, 참가자에게 이미지가 제시된 후 수 초 이내에 단일 시행(single-trial) 시각 지각을 디코딩했다. 마지막으로 시뮬레이션 분석을 통해 오프라인에서 실시간 분석으로 전환할 때 성능 변화를 유발하는 요인들을 문서화했다. 본 연구는 이러한 강력한 fMRI 디코딩 파이프라인을 실시간 분석에 배치하는 것이 실현 가능함을 개념 증명(proof-of-concept)으로 제시하며, 과학적 발견과 임상 치료를 위한 뇌-컴퓨터 인터페이스(brain-computer interface) 활용의 길을 연다.
생성 모델이 독립적인 하류 분류기의 정확도를 향상시키는 데 유용한 합성 운동 상상(MI) 뇌전도(EEG) 시행을 제공할 수 있는지 조사한다. Zhou 운동 상상 데이터셋에서 통합 잠재 분류기를 갖춘 클래스 조건부 변분 오토인코더(CVAE)를 학습하고, 학습된 클래스별 사전분포를 생성기로 사용한다: 주어진 레이블에 대해 사전분포에서 샘플링하여 이를 레이블과 일치하는 합성 신호로 디코딩한다. 생성된 데이터의 공분산 행렬에 대한 제약은 공분산 구조의 보존을 장려하며, 모델은 일반 VAE 학습과 증강에 사용되는 생성 경로를 선명하게 하는 디코더 중심 단계를 번갈아 수행하는 스케줄로 학습된다. 두 가지 평가 프로토콜—사용자 내(within-user, 피험자 간 풀링된 60/20/20 분할) 및 사용자 간(cross-user, leave-one-subject-out, LOSO)—에서 학습 세트에 합성 시행을 추가하는 효과를 네 가지 대표적인 EEG 분류 파이프라인—선형 판별 분석(LDA)과 함께하는 공통 공간 패턴(CSP+LDA), 서포트 벡터 머신(SVM)과 함께하는 접선 공간(tangent-space) 특징(TGSP+SVM), 리만 평균까지의 최소 거리(MDM), EEGNetv4 기반 신경망(이하 EEGNet)—에 걸쳐 측정한다. 결과는 독립적인 증강 추출, 무작위 시드(사용자 내), 또는 leave-one-subject-out 폴드(사용자 간)에 걸쳐 집계되며, 불확실성은 시드/폴드별 평균에 대해 계산된 95% 신뢰구간(Student's t-분포)으로 보고된다. CVAE로부터의 합성 EEG는 실제 원시 EEG의 대체재라기보다는 클래스 구조화된, 공분산 유사 데이터의 원천으로서 가장 신뢰할 만하다: MDM의 점 추정치를 높일 수 있지만, 더 넓은 증강 주장은 보수적으로 남아 있다—관찰된 이득은 작고 분류기에 따라 다르다.
최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.
뇌-기계 인터페이스(BMI)는 뇌와 외부 장치 간의 직접적인 통신 경로를 제공하여, 인간이 보조 및 로봇 기술을 제어할 수 있게 하며, 재활, 인간 운동 기능 증강, 인간 중심 로봇 공학 분야에 적용될 잠재력을 지닌다. 그러나 신경 표류(neural drift)로 인해 BMI의 성능은 시간이 지남에 따라 저하되어, 특히 침습적 BMI(iBMI)의 장기적 실용성에 어려움을 초래한다. 기존 해결책은 두 가지 주요 한계를 갖는다: (i) 견고한 신경 표현(representation) 학습의 어려움, (ii) 신경 표류가 운동 파라미터(예: 속도, 방향, 속력)에 따라 달라진다는 점을 간과함. 이러한 한계를 극복하기 위해, 우리는 두 가지 핵심 혁신을 바탕으로 한 신경 디코딩 일반화 프레임워크인 자기지도 일관성 강화 분리 학습(SSCDL)을 제안한다. 먼저, 시뮬레이션된 신경 신호 교란과 함께 새로운 teacher-student 일관성 제약을 사용하여 신경 표류에 불변인 견고한 표현을 학습하는 백본 모델인 일관성 강화 신경 디코더(CND)를 설계한다. 다음, 신경 선호 이론(neural preference theory)에서 영감을 받아 운동 신호를 속도, 방향, 속력으로 분리하는 상보적 분리 일반화(CDG) 메커니즘 하에서 세 개의 전용 CND를 사용한다. 이 분리 학습을 통해 SSCDL은 다양한 신경 선호 관점에서 불변 신경 표현을 포착하여, 일간(cross-day) 일반화를 크게 향상시킨다. 광범위한 실험 결과, SSCDL은 최첨단 디코딩 성능을 달성하며, 높은 견고성과 일간 안정성을 보인다. 이러한 역량은 인간 중심 로봇 및 세밀한 보조 응용 분야에서의 장기 상호작용에 대한 강한 잠재력을 시사한다.
최근 연구는 소량의 오염된 데이터만으로 언어 모델을 미세조정해도 표적화된 오동작을 심을 수 있으며, 겉보기에는 무해한 데이터도 광범위하게 일반화되는 숨겨진 선호를 전달할 수 있음을 보여준다. 데이터 필터링, 무해한 데이터 혼합, 정규화와 같은 표준 방어 기법은 이러한 효과를 약화시키지만 제거하지는 못한다. 우리는 대신 중복성을 통해 견고성을 추구한다. 서로 다른 출처에서 여러 데이터셋을 수집하고 그들 사이에 공통적인 것만 학습하는 방식이다. 따라서 출처의 일부만 악의적이라면 오동작이 차단된다. 이 방어 전략을 구현하기 위해, 우리는 각 출처의 데이터셋으로 별도의 참조 모델을 미세조정하고 디코딩 시점에 다음 토큰 분포를 집계한다. 우리는 두 가지 합의 디코더를 제안한다. 하나는 각 출처가 부여하는 최저 확률로 모든 토큰을 상한으로 제한하는 토큰 단위 최솟값이고, 다른 하나는 출처들이 상반된 방향으로 이동하는 토큰에서 기본 모델 확률로 되돌리는 기본 모델 대비(base-relative) 변형이다. 또한 출처 간 부분적 지지와 동일한 의도의 서로 다른 표면적 표현을 허용하기 위해 정확한 합의를 완화한다. 통제된 포이즈닝 과제, 잠재 학습(subliminal learning), 창발적 정렬 불일치(emergent misalignment) 전반에 걸쳐, 합의 디코딩은 공유된 바람직한 행동을 보존하면서 출처 특이적 오동작을 억제하며, 합집합 학습(union training)과 가중치 평균화가 원치 않는 행동을 유지하는 경우도 포함한다.
자기회귀 언어 모델에서의 어텐션 붕괴(attention collapse) — 모델이 자기 강화적 attractor에 갇히는 반복적 토큰 루프로 나타나는 — 는 기존 디코딩 시점 휴리스틱이 근본 원인을 해결하지 못하는 지속적인 병리 현상이다. 우리는 인접 조건부 확률 구성을 통해 토큰의 관측 빈도와 코퍼스 사전 분포를 비교함으로써, 붕괴된 생성 패턴에서 발생하는 비정상적 신뢰도를 패널티하거나 보상하는 원칙적 프레임워크를 제시한다. 결과적으로 얻어지는 자기 정규화(self-normalising) 패널티 비율 $R=f(m,n,p)/f(np,n,p)$는 임의의 표준화가 필요 없으며, 근사 오차가 없는 폐형식(closed-form) 로짓 오프셋을 허용한다. 이 보정은 손실 그래디언트와 분리되며, 지수 이동 평균(exponential moving average)을 통해 고정된 출력층 바이어스에 누적되어, 표준 학습 파이프라인에 침습적인 수정 없이 이미 붕괴된 모델에 대한 수리 메커니즘으로 배포할 수 있게 한다. 1.5B 매개변수 모델에 대한 실험적 검증은 고정 바이어스 메커니즘이 이미 붕괴된 attractor에 갇힌 모델을 구출할 수 있음을 보여주며, 생성 품질을 유지하면서 2-gram 반복을 0.073에서 거의 0으로 줄인다.
대규모 언어 모델(LLM)의 스케일링은 그들의 성공을 이끌어 왔지만, dense Transformer는 용량과 연산을 결합한다. 모든 매개변수가 모든 토큰에 대해 활성화되므로, 모델 크기에 따라 학습 및 추론 비용이 선형적으로 증가하며, 모델이 조(兆) 매개변수 규모에 접근할수록 이는 중요한 병목이 된다. 우리는 FFN에만 적용하는 것이 아니라 LLM 파이프라인 전반에 걸친 MoE 스타일 혼합을 통해 용량을 확장하는 것을 목표로 한다. 기존 파이프라인 수준 접근법으로는 ParaScale이 있는데, 이는 가상 토큰과 병렬 스트림을 도입하지만 상당한 오버헤드를 발생시키고 동질화된 라우팅과 그래디언트 붕괴 문제를 겪으며, AltUp은 보조 예측 분기를 사용하지만 제한적인 적응성과 느린 수렴을 보인다. 우리는 MoE 스타일 혼합 레이어가 가변 커널 동적 합성곱으로 재공식화될 수 있음을 보인다. 여기서 각 expert는 $1{\times}1$ 합성곱 커널에 대응하고, 라우팅은 입력 조건부 커널 집계를 구현한다. 이 등가성을 바탕으로, 우리는 cMoLLM을 제안한다. 이는 완전히 미분 가능한 동적 합성곱을 통해 end-to-end 스트림 전반에 라우팅하는 합성곱 게이팅 Mixture-of-LLMs이다. FineWeb에서 학습한 GPT-2 스타일 모델에서 cMoLLM은 동일 연산량 하에서 언어 모델링 perplexity와 다운스트림 GLUE 및 SQuAD 정확도를 개선하며, ParaScale 및 AltUp 스타일 기준선 대비 더 나은 스트림 활용, 더 안정적인 최적화, 유리한 스케일링을 보인다.
새로운 언어 모델을 감사하려면 보통 내부 특징을 처음부터 다시 학습하고 재해석해야 한다. 우리는 참조 특징 아틀라스(reference feature atlas)를 제안한다. 이는 참조 패널(reference panel)에서 한 번 학습된 희소(sparse) 특징 라이브러리로, 새로운 대상 모델에는 선형 디코더(linear decoder)만 적합하여 연결된다. 이는 두 가지 상보적인 관점을 제공한다. 아틀라스 채널(atlas channel)은 이미 해석된 패널 특징 위에서 대상 모델을 읽어 모델 간 안정적인 좌표계를 제공한다. 잔차 채널(residual channel)은 아틀라스가 재구성하지 못한 부분에서만 특징을 학습하여, "참조 패널 밖(outside the reference panel)"을 명시적인 감사 신호로 만든다. 우리는 5개의 70억~90억(7-9B) 파라미터 규모의 인스트럭션 튜닝(instruction-tuned) 모델에 대해 leave-one-out 아틀라스를 학습하고, 홀드아웃(held-out) Mistral 및 Qwen 대상을 감사한다. 두 대상 모두에 주입된 세 가지 통제된 LoRA 은닉(hidden) 목표(objective)에 대해, 잔차 채널은 런타임(runtime)에 심어둔(planted) 메커니즘을 완벽히 제어 가능하게 만들면서 대응되는 대조군(matched controls)은 영향을 받지 않게 하고, 두 대상 모두에서 심어둔 목표를 최상위 순위 잠재(latent)로 복원한다. Mistral에서는 대상별 SAE(per-target SAE)와 쌍wise(pairwise) crosscoder 베이스라인이 일대일(head-to-head) 벤치마크를 위해 재학습되는데, 두 베이스라인 모두 이를 달성하지 못한다. Qwen-2.5에서는 동일한 채널이 추가로 패널 상대적(panel-relative) 정치적 프레이밍(political-framing) 클러스터를 드러내며, 이를 스티어링(steering)하면 감사된 프레이밍 지표가 변화하는 반면 도메인 외(out-of-domain) 대조군은 변하지 않는다.
우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.
긴 컨텍스트 대규모 언어 모델(LLM)의 빠른 채택과 함께, 디코딩 과정에서 지속적으로 증가하는 KV 캐시가 핵심 메모리 병목이 되었다. 이 문제를 해결하기 위해, 우리는 계층적 중요도 인식을 통해 KV 캐시의 중복성을 활용하는 새로운 알고리즘-하드웨어 공동 설계 HiKV를 제안한다. 알고리즘 측면에서 HiKV는 두 가지 세분성에서 KV 캐시를 압축한다. 1단계에서는 고정된 예산 내에서 중요하지 않은 토큰을 제거하고, 2단계에서는 보존된 각 토큰의 중요한 요소만 추가로 로드하여, 단일 세분성에서는 달성할 수 없는 압축률에 도달한다. 아키텍처 측면에서, 우리는 각 단계가 요구하는 서로 다른 정렬 데이터 경로 사이를 전환하는 재구성 가능한 중요도 정렬기를 중심으로 한 전용 가속기를 개발하여, 최소한의 오버헤드로 하나의 회로에서 2단계 가속을 통합한다. 대표적인 LLM에 대한 평가에서 HiKV는 무시할 수 있는 1% 이내의 정확도 손실 범위에서, 기본 KV 캐시 기준선 대비 어텐션 연산에서 최대 7.95배의 속도 향상과 90%의 에너지 절감을 달성한다. 동일 정확도(iso-accuracy) 제약 하에서 HiKV는 최신 중요도 기반 방법들보다 외부 메모리 접근을 추가로 1.82~4.87배 감소시킴으로써 우수한 성능을 보인다. 이러한 이점은 시스템 면적에 단 8%만 추가하는 특화 하드웨어 구성 요소를 통해 가능하다.
가중치 공유 루프형 Transformer는 단일 블록을 재사용하여 파라미터를 줄이지만, 디코딩 시에는 여전히 각 순환 단계마다 별도의 K/V 캐시를 저장한다. 우리는 이 루프 인덱스 캐시가 매우 구조적임을 보인다. 고정된 토큰, 층, 헤드에 대해 K/V 벡터는 루프에 걸쳐 짧은 저랭크(low-rank) 궤적을 그리는 반면, 헤드 및 층 축은 훨씬 더 평탄하게 유지된다. 우리는 Looped Latent Attention(\lla{})을 제안한다. 이는 사후 학습 캐시 코덱으로, 압축된 K 및 V 잠재(latent)를 저장하고 어텐션이 이를 읽을 때에만 루프별 K/V 벡터를 복원한다. 기본 per-head 코덱은 순환을 압축하며, \lla{}-2D는 극한 압축 구간에서 헤드들을 하나의 잠재 표현으로 접어 넣기도 한다. 코덱은 교사(teacher) 활성화의 SVD로 초기화되며, 로짓 및 어텐션 출력 증류(distillation)로 정제된다. 동일한 캐시 예산에서 per-head \lla{}는 헤드 축 MLA, 층 간 공유, KV 양자화, 최종 루프 재사용보다 우수하며, 순환 캐시가 저랭크이지만 단일 상태로 안전하게 축소할 수 없음을 보여준다. 동일한 축 이점은 Ouro-2.6B-Thinking에서도 유지되며 Huginn-3.5B로 전이된다. 여기서 SVD 코덱은 디코더 독립 평가에서 $32\times$ 압축까지 거의 무손실을 유지한다. 캐시 축소는 정확하다. H200 1대에서 잠재 저장 경로는 4k 컨텍스트에서 $21.3\times$ 압축 시 측정된 Ouro-1.4B 배치 용량을 32개 시퀀스에서 768개 시퀀스로 증가시킨다. 마지막으로, MATH-500과 같은 긴 추론 롤아웃(rollout)에서, 학생이 생성한 접두(prefix)에 대한 온-정책 정제는 $4\times$ 압축에서 정확도를 0.43에서 0.66으로 높이며, 토큰 수준 오프-정책 증류와 비교할 때 무응답 생성을 줄인다.