기업 NLP에서 사용자 신뢰를 위해 견고한 설명이 점점 더 요구되고 있지만, 표현 기반 설명기가 불가능한 블랙박스 배포(API 전용 접근)라는 일반적인 경우에는 사전 배포 검증이 어렵고, 기존 연구는 설명이 실제 사용자 노이즈 하에서 안정적으로 유지되는지에 대해 제한적인 지침만 제공하며, 특히 조직이 인코더 분류기에서 디코더 LLM으로 전환할 때 그렇다. 이 간극을 메우기 위해, 우리는 leave-one-out occlusion 기반의 토큰 수준 설명을 위한 통합 블랙박스 견고성 평가 프레임워크를 제안하고, 여러 심각도 수준에서의 현실적인 교란(교환, 삭제, 셔플, 역번역) 하에서 상위 토큰 flip rate로 설명 견고성을 구체화한다. 이 프로토콜을 사용하여, 세 개의 벤치마크 데이터셋과 인코더 및 디코더 계열에 걸친 여섯 개 모델(BERT, RoBERTa, Qwen 7B/14B, Llama 8B/70B; 64,800건)에 대해 체계적인 교차 아키텍처 비교를 수행한다. 우리는 디코더 LLM이 인코더 베이스라인보다 상당히 더 안정적인 설명을 생성함을(평균 73% 낮은 flip rate) 발견했으며, 안정성이 모델 스케일에 따라 향상됨을(7B에서 70B로 44% 향상) 발견한다. 마지막으로, 견고성 향상을 추론 비용과 연관 지으며, 규정 준수가 중요한 애플리케이션에서 배포 전 모델 및 설명 선택을 지원하는 실용적인 비용-견고성 트레이드오프 곡선을 도출한다.
확산 대규모 언어 모델(dLLM)의 추론 효율은 두 가지 과제에 의해 제약된다. 양방향 어텐션은 효율적인 KV-cache 재사용을 막고, 정적 신뢰도 임계값으로 디코딩 병렬성을 높이면 생성 품질이 저하될 수 있다. 우리는 두 과제 모두 공통 현상에서 비롯된다는 것을 관찰한다. 토큰이 디코딩될수록 양방향 어텐션을 통한 문맥 통합으로 인해 토큰 표현이 디코딩 단계마다 드리프트(진화)한다. 이 통찰은 Polestar를 동기 부여한다. Polestar는 토큰 표현 드리프트를 통합 신호로 사용하여 두 과제를 함께 해결하는 학습 없는 추론 프레임워크이다. Polestar는 두 구성 요소로 이루어진다. Polestar-Cache는 드리프트를 통해 오래된 KV-cache 위치를 식별하고 희소 KV-cache 갱신을 수행하여 효율적 재사용을 가능하게 하며, Polestar-Commit은 급격한 드리프트 이벤트를 감지하여 커밋 준비가 된 토큰을 신뢰성 있게 식별한다. 여러 dLLM 계열에서 수학 및 코딩 벤치마크에 걸쳐 Polestar는 정확도-처리량 Pareto 프론티어에서 새로운 최고 수준을 달성하며, 기존 베이스라인 대비 최대 10.73% 정확도 향상, 최대 3.7배 높은 처리량, 순전파당 3.67 토큰의 높은 디코딩 병렬성을 달성한다.
소아 전자 건강 기록(EHR)은 발달 단계에 따라 구조화된 임상 궤적을 담고 있지만, 생성형 헬스케어 파운데이션 모델 관점에서 그 잠재력은 아직 거의 탐색되지 않았다. 본 연구에서는 TEDDY(Temporal Event Decoder for Disease in Youth)를 제안한다. TEDDY는 단일 소아 의료 기관의 160만 명 아동으로부터 수집한 약 7,300만 건의 ICD-10 진단 데이터로 학습한 184만 매개변수 디코더 트랜스포머이다. TEDDY는 종단적 진단 궤적과 내원 시점을 모델링한다. 예측은 내원 코드가 공개되기 전에 수행했으며, 최초 발생 사례로 한정했고, 성별 및 연령이 매칭된 대조군과 비교하여 평가했다. 16개 ICD-10 장(chapter)에 걸친 797개 질병 발병 예측 과제에서 TEDDY는 중앙값 AUC 72.0%를 달성했으며, 동일 데이터 기반 DenseNet(50.0%), CNN(57.2%), RNN(60.1%), LSTM(62.7%) 베이스라인을 96-99%의 과제에서 능가했다. 성능은 성별과 연령 전반에서 유지되었고, 유병률이 낮은 진단에서 가장 두드러졌다. 가장 희귀한 225개 질환 중 202개(90%)에서 95% 신뢰구간이 우연 수준을 상회했다. 예측 신호는 최초 기록된 진단보다 2년 이상 앞서서도 탐지 가능했으며, 제한 없는 분석에서 중앙값 AUC 59.7%, 고정 코호트 민감도 분석에서 64.4%였다. 천식 및 주의력결핍/과잉행동장애(ADHD) 벤치마크에서 AUC는 각각 79.3%와 84.7%였고, 매개변수 규모가 3자릿수 더 큰 범용 언어 모델을 포함한 최강 비교 모델의 62.7%와 71.7%를 상회했다. 내원 시점 예측은 365일에 걸친 제한 평균 생존시간(restricted mean survival time) 오차의 평균 절대값이 3.0일이었으나, 중앙값 및 장꼬리(long-tail) 재내원 간격은 여전히 보정되지 않았다. 이 결과들은 종합하여, 소아 진단 이력이 인구 규모 데이터나 수십억 매개변수 모델 없이도 광범위하고 희귀 질환 및 장기 예측 위험 예측을 지원하는 소형 생성 모델의 기반이 될 수 있음을 보여준다.
Dance Dance Revolution과 In the Groove은 노래와 이에 수반되는 안무(차트(chart)라고 부름)로 구성된 리듬 게임이다. 플레이어는 댄스 패드(dance pad)라고 불리는 장치에서 화살표를 눌러, 곡의 차트가 정한 박자에 맞춰 스텝을 밟는다. 수동 차트 생성 과정은 시간이 많이 소요되고 어려워 자동화에 대한 관심을 불러일으킨다. 우리는 DDR/ITG 차트 생성을 위한 새로운 트랜스포머 기반 아키텍처 ITGPT를 제안하고, 선행 연구와 비교하여 생성 정확도와 계산 비용 모두에서 상당한 개선을 입증한다.
깊이 재귀 트랜스포머는 가중치 공유 코어를 가변 횟수만큼 적용하며, 이전 연구는 재귀 횟수를 무작위화하여 학습하면 다양한 추론 깊이 범위에서 사용할 수 있는 하나의 체크포인트를 얻을 수 있음을 보여 주었다. 우리는 이러한 모델이 토큰마다 실제로 무엇을 계산하는지 묻고, 이를 직접 측정한다. FineWeb-Edu에서 학습된 135M급 모델에서, 재귀 상태는 토큰별 고정점으로 수렴한다: 평균 연속 출력 KL 발산은 두 번째 루프에서 3.9e-1에서 열여섯 번째 루프까지 8.5e-6으로 감소하며, 토큰별 상태 변화도 그에 따라 감쇠한다. 결정적으로, 이 수렴은 토큰 간에 균일하지 않다. 중앙값 토큰은 여섯 번째 루프까지 수렴하지만, 약 10%의 토큰은 학습 평균 깊이인 8에서도 계속 갱신되며, 평균 수렴 깊이는 토큰 유형에 따라 순서가 정해진다(공백이 가장 얕고, 내용어가 가장 깊다). 이 토큰별 변동이 본 논문의 핵심 대상이다. 우리는 이를 직접 읽을 수 있으며, 읽기가 예측을 학습하는 것보다 우수함을 보인다: 출력이 안정화되면 각 토큰을 중단하는 학습 없는 규칙은 4.94 평균 루프에서 균일 깊이 8 품질을 달성하며(평균 깊이 38% 감소), 평균 깊이 범위 전반에서 균일 깊이와 일치한다. 반면 동일 모델에서 수거한 수렴 레이블로 학습된 선형 라우터는 거의 전체 깊이를 필요로 하며 감소를 얻지 못한다. 이를 가능하게 하는 탄력성은 배경으로 여기서 재현된다(검증 손실은 1회 루프에서 3.80에서 8회 루프에서 3.20까지 단조 감소하며 32회 루프까지 안정적으로 유지된다). 우리는 실현된 속도 향상이 아니라 세 지점의 wall-clock 구간과 함께 평균 깊이를 FLOP 대리 지표로 보고하며, FLOP 매칭 동등성 주장은 하지 않고, 할당 결과가 단일 스케일과 시드에서 확립되었음을 명시한다. 전체 연구는 단일 RTX 4090에서 약 100 GPU-시간에 실행된다.
실시간 영상 생성은 빠른 디노이징만큼이나 빠른 디코딩을 요구하지만, 현재의 잠재 공간 영상 확산 모델은 3D 컨볼루션 디코더에 의존하며 고해상도나 긴 영상에서 느리고 메모리 사용량이 큽니다. 본 논문은 FlashDecoder를 제안합니다. 이는 잠재 표현을 프레임 단위로 픽셀로 디코딩하는 빠르고 메모리 효율적인 순수 트랜스포머 영상 디코더입니다. 각 단계에서 현재 프레임은 rolling KV cache를 통해 과거 프레임의 고정 크기 윈도우에만 어텐션합니다. 고정된 시간적 윈도우는 영상 길이와 관계없이 디코딩을 빠르게 유지하고 메모리를 제한하여 일정한 지연 시간의 스트리밍을 가능하게 합니다. 프레임이 순차적으로 처리되므로 명시적 어텐션 마스크 없이 시간적 인과관계가 강제되며, 최대 1080p 해상도에서 학습이 가능하고 컨볼루션 디코더의 재구성 품질과 동등합니다. Wan2.1 및 Wan2.2 잠재 공간에서 FlashDecoder는 재구성 품질 면에서 각 컨볼루션 디코더와 동등합니다(예: 1080p에서 PSNR 41.55dB vs. 41.49dB). 단일 H100 GPU에서 3.6~4.7배 빠르게 디코딩하면서 최대 11배 적은 메모리를 사용합니다. 아키텍처 인식 추론 최적화를 적용하면 속도 향상 폭은 12배까지 확대됩니다.
본 연구는 FilmGPT를 소개한다. FilmGPT는 비디오 몽타주, 즉 원시적이고 "보기 어려운" 영상 소스를 일관된 시네마틱 시퀀스로 바꾸는 과제를 해결하기 위해 설계된 자기회귀(autoregressive) 트랜스포머이다. 현대 대규모 언어 모델(LLM)의 언어 학습에서 영감을 받아, 우리는 대규모 영화 코퍼스에서 장문맥(long-context) 자기회귀 트랜스포머를 학습한다. 목표는 수작업으로 코딩된 규칙이 아니라 데이터로부터 영화의 "문법"을 암묵적으로 포착하는 것이다. 다른 생성 모델과 달리 FilmGPT는 새로운 비디오 프레임을 생성하지 않는다. 대신 추론 시점에, 영화로부터 학습한 통계적 패턴에 따라 입력 원시 영상에서 최적의 다음 샷을 선택하는 영상 제약(footage-constrained) 디코딩 알고리즘을 도입한다. 우리는 먼저 FilmGPT 자기회귀 모델을 표준 샷 시퀀스 순서 예측 벤치마크에서 다음 샷 예측에 사용하여 학습된 통계를 직접 평가하고, 이전 최고 성능(state of the art)을 능가한다. 그다음 사용자 연구를 통해 전체 영화 편집 과제에서 영상 제약 디코딩 알고리즘을 평가한 결과, FilmGPT 기반 편집이 이전 접근법을 크게 능가함을 확인한다. 마지막으로 FilmGPT를 자동 비디오 구간 트리밍부터 인간 개입(human-in-the-loop) 영화 편집까지 비디오 몽타주의 다양한 응용에 적용할 수 있음을 보여준다.
자연 세계에서의 내비게이션은 적응적 추론의 한 결과물이며, 생물은 노이즈가 있고 불완전한 감각 입력 스트림에도 불구하고 목표 지향적 행동을 유지한다. 이 능력의 핵심은 자유 에너지 원리(FEP)로, 지각은 뇌가 변분 자유 에너지(VFE)를 최소화하여 세상에 대한 정확한 내부 모델을 유지하는 생성 과정이라고 본다. 딥 신경망(DNN)은 생물학적 뇌의 강력한 유사 모델 역할을 해왔지만, 갑작스러운 감각 변화를 다루는 데 필요한 실시간 가소성은 일반적으로 부족하다. 본 연구는 강건한 시각 내비게이션에서 실시간 지각 적응을 위한 생물학적 영감 기반 프레임워크인 FEP-Nav를 제안한다. VFE를 예측 오차와 베이지안 서프라이즈로 분해한 구조에 영감을 받아, FEP-Nav는 손상되지 않은 감각 입력에 대한 내부 기댓값을 제공하는 하향식 디코더(Top-down Decoder)와, 편향된 특징 분포를 사전 통계에 맞게 조정하는 적응형 정규화(Adaptive Normalisation)를 결합한다. 재구성과 정규화를 그래디언트 기반 업데이트 없이 추론 중 해당 VFE 관련 항을 줄이는 근사 메커니즘으로 해석한다. 시뮬레이션 및 실제 시각 손상 환경에서의 실험은 FEP-Nav가 시각 손상으로 인한 성능 저하를 회복하며, 비적응 기준선과 강한 적응 방법보다 우수함을 보여준다. 이러한 결과는 변분 원리가 열악한 감각 조건에서 강건한 자율 행동을 위한 유용한 설계 관점을 제공할 수 있음을 시사한다.
수화언어는 수백만 명의 농인(Deaf) 및 난청인(hard-of-hearing)을 위한 주요 의사소통 수단이지만, 비디오 디퓨전 모델의 학습과 평가 비용이 높아 텍스트-수화자(text-to-signer) 비디오 생성은 여전히 비용이 많이 든다. 본 논문은 단일 NVIDIA L4 GPU에서 실행되는 짧은 수화 클립용 텍스트 조건부 디퓨전 모델인 Text2Sign을 제안한다. 동결(frozen)된 비전-언어(vision-language) 텍스트 인코더와 3D 인코더-디코더, 그리고 분해(factorized) 시공간(spatiotemporal) 어텐션을 결합하여 전체 비디오 어텐션의 비용을 줄이면서 동작 일관성(motion coherence)을 유지한다. 합성곱 전용 및 트랜스포머 스타일 백본, 동결된 사전학습 및 과제별 텍스트 인코더, 분해 어텐션 대 전체(full) 어텐션을 비교한다. 수화자 비중복(signer-disjoint) How2Sign 분할에서, 최고의 단기 실행 ablation은 검증 손실 0.0648에 도달하고, 장기 실행 체크포인트는 0.00999에 도달한다. 간소화된 평가 슬라이스에서, 후자는 guidance scale 5.0의 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 시간적 일관성 $1.0000 \pm 0.0000$을 달성한다. 32프레임, $64 \times 64$ 클립을 12.60초, 즉 초당 2.54프레임으로 생성하며, 추론 메모리 피크는 3.12 GB이다. 홀드아웃(held-out) 디노이징 감사(audit)는 프롬프트 민감도가 약함을 보여준다: 텍스트를 제거하면 후기 타임스텝(late-timestep) 손실이 0.9875에서 0.9891로 증가하는 반면, 섞인(shuffled) 프롬프트는 올바른 프롬프트와 유사한 성능을 보인다. 따라서 동결된 텍스트 조건화는 짧은 예산의 검증 손실을 개선하지만, 프롬프트별 분리는 여전히 제한적이다. 이 시스템은 저해상도의 짧은 클립에 한정되며 전문 언어학적 평가가 부족하므로, 완전한 수화언어 프로덕션 시스템이라기보다 단일 GPU 연구 기준선으로 보아야 한다. 코드는 https://github.com/xiaruize0911/text2sign 에서 이용할 수 있다.
동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.
현대의 자기회귀(autoregressive) 자동 음성 인식(ASR) 시스템은 디코딩된 토큰으로 타임스탬프를 출력할 수 있으며, 이를 통해 프레임 수준 정렬기나 추론 시 후처리 없이도 타임스탬프가 포함된 전사(transcription)가 가능하다. 본 연구에서는 이렇게 생성된 타임스탬프가 긴 비음성(non-speech) 구간에 걸쳐 드리프트될 수 있음을 보인다: 전사 결과는 그럴듯하게 보일 수 있지만, 디코딩된 시간 축이 실제 오디오에서 멀어진다. 우리는 자체 구축한 gap 및 long-gap 벤치마크를 사용하여, 타임스탬프를 생성하는 15개의 ASR 및 오디오-언어 시스템에 대해 이 비음성 유발 타임스탬프 드리프트를 연구한다. 단순한 타임스탬프 교정 미세조정은 정렬을 개선하지만 비대상 ASR 동작을 심각하게 저하시킬 수 있으며, 이는 망각 문제를 드러낸다. 우리는 REDDIT(REplay-based Distribution eDITing)을 제안한다. 이는 타임스탬프를 교정하면서 파국적 망각(catastrophic forgetting)을 방지하는 경량 2단계 사후 학습 프레임워크로, 먼저 비타임스탬프 토큰에 대해 동결된 기반 분포에 맞추면서 모델 자체의 리플레이된 디코더 컨텍스트 하에서 타임스탬프 목표를 편집하고, 이후 짧은 편집된 접두 문맥(edited-prefix) 정제 단계를 적용한다. 이 프레임워크에서는 VAD로 트리밍된 음성 구간과 삽입된 비음성 구간 및 알려진 연결 오프셋을 결합하여, 인간 전사본이나 인간 타임스탬프 어노테이션 없이 교정 지도 학습 신호를 구성한다. Whisper-tiny에서, 34.9시간의 목적별 교정 오디오를 사용하고 모델 파라미터의 1.6%만 업데이트하여, long-gap mIoU를 38.7%에서 95.0%로 높이고 mixed-gap 도메인 외 AAS를 2752 ms에서 223 ms로 줄이면서, CV-en MER을 41.3%로 유지하였다(일반 SFT 디코더 튜닝의 524.2%와 비교).
종단 종양 측정치, 중도 탈락 정보, 유전 공변량은 치료 반응에 대한 상보적 정보를 제공하지만, 이러한 데이터 소스를 단일 모집단 모델링 프레임워크 내에서 통합하는 것은 여전히 어렵다. 본 연구는 경험적 베이즈 변분 오토인코더(EB-VAE) 프레임워크를 종단 및 time-to-event 공동 모델링으로 확장하고 종양 성장 데이터에서 이를 평가했다. 이 프레임워크는 공변량 조건 경험적 베이즈 사전분포에 의해 정규화된 잠재 개인 효과를 사용해 개인 간 변이성을 표현하며, 디코더가 이러한 잠재 효과를 종양 부피 궤적으로 매핑한다. 정보성 중도 탈락(informative dropout)을 반영하기 위해 디코더에 위험도 모델을 추가하여 종양 성장과 탈락까지의 시간에 대한 공동 예측을 생성했다. 또한 완전 신경망형과 하이브리드 반-기계론적 디코더 공식화를 비교했으며, 유전체 공변량을 유전체 조건 사전분포 적응을 통해 통합했다. 하이브리드 디코더는 신경망 디코더에 필적하는 사전 예측 성능을 달성하면서, 이전에 보고된 비선형 혼합효과 추정치와 대체로 일치하는 치료 효과 매개변수를 복원했다. 공동 모델은 홀드아웃 개체에서 종양 부피 분포와 탈락 패턴을 모두 재현했으며, 유전체 조건화는 피부 흑색종 및 유방암 실험 모두에서 개인 수준 사전 예측을 개선했다. 안정성 선택(stability selection)은 BRAF, NRAS, NF1, MDM2의 변이를 포함해 여러 생물학적으로 타당한 유전 지표를 식별했다. 이러한 결과는 EB-VAE가 약력학적 응용에서 신경 동역학, 기계론적 구조, time-to-event 모델링, 고차원 공변량을 결합하는 유연한 확률적 프레임워크를 제공함을 보여준다.
강건하고 정확한 신경 디코더는 뇌-컴퓨터 인터페이스 및 폐루프(closed-loop) 실험과 같은 신경기술에 필수적이다. 최근 연구는 스파이크(spike) 수준에서 신경 데이터를 토큰화(tokenization)하면 다중 세션 사전학습(pre-training)을 용이하게 하고 최첨단 디코딩 성능을 달성함을 보여주었다. 그러나 현재 스파이크 기반 모델은 지도 학습(supervised learning, SL)에 국한되어, 행동 라벨이 쌍으로 제공된 데이터셋에서만 학습이 가능하다. 이 한계를 해결하기 위해, 우리는 마스크 오토인코더 기반 공동 학습(MOJO, Masked autOencoder-based JOint training)을 제안한다. 이는 마스크 오토인코딩을 통한 자기지도 학습(self-supervised learning, SSL)과 SL 목적 함수를 공동으로 활용하는 스파이크 토큰화 모델용 학습(training) 프레임워크이다. 우리는 도달 과제(reaching task) 중 원숭이 운동 피질과 시각 및 의사결정 과제 중 다중 영역 쥐 기록을 아우르는 세 개의 스파이킹 데이터셋에서 MOJO를 평가하였으며, 순수 SL로 학습된 모델보다 우수한 성능을 보였다. 이 개선은 라벨이 제한된 데이터로 학습할 때, 특히 새 세션에서 소량의 라벨 데이터만 사용 가능한 퓨샷(few-shot) 파인튜닝(fine-tuning)에서 두드러진다. SSL을 통합하면 더 해석 가능한 뉴런 표현이 형성되어, 해당 과제를 명시적으로 최적화하지 않았음에도 뇌 영역 분류(classification) 및 스파이크 통계 예측 성능이 향상된다. 또한 MOJO가 스파이킹 데이터를 넘어 음성 중 인간 피질전기도(electrocorticography)에도 일반화되며, 순수 SL로 학습된 모델을 계속 능가하고 연속 신호용으로 특별히 설계된 신경 기초 모델(neuro-foundation model, NFM)과 견줄 만한 성능을 달성함을 보인다. 전반적으로 스파이크 토큰화 모델에 SSL을 보강하면 라벨이 부족한 설정에서 성능이 개선되고, 다양한 과제와 종(species)에 걸쳐 라벨 없는 데이터를 활용할 수 있으며, 다른 신경 양식(modality)으로도 일반화된다. 이러한 결과는 NFM 학습 시 더 유연하고 확장 가능한 데이터 활용 방향을 제시한다.
금융 관측값은 연속적이고 이질적이며 노이즈가 많은 반면, 디코더 전용 next-token 모델은 보통 이산적 기호 입력을 중심으로 구축된다. 우리는 1시간 외환 바에서 다음 수익률의 확률적 모델링을 위한 디코더 전용 트랜스포머인 순서형 수익률 모델링을 위한 벡터 입력 자회귀 추론(Vector-Input Autoregressive Inference for Ordinal-Return Modeling, VAIOM)을 제안한다. VAIOM은 입력 표현과 출력 가능도를 분리한다. 연속 다변량 금융 이벤트 벡터는 입력에서 수치 구조를 보존하고, 다음 변동성 정규화 수익률 버킷에 대한 범주형 분포는 교차 엔트로피 학습과 가능도 평가를 지원한다. 선별된 0.9M Hybrid Continuous Input 모델은 연속 이벤트 특징과 범주형 자산 메타데이터, Mixture-of-Market-States 수익률 헤드, Gap·변동성 체제·Ordinal 보조 목적 함수, 및 전체 시퀀스 지도 학습을 결합한다. 모델과 전처리는 2024년 이전 Train 데이터로 적합되며, 모델은 2024H2 Validation에서 선택되고 두 2025 Test 기간에서 재적합 없이 평가된다. 세 개의 독립적 학습 시드에 걸쳐 모든 모델은 두 Test 반기 모두에서 고정 단일 바 LightGBM 기준선을 능가한다. 표준 체크포인트에서 LightGBM 대비 쌍(pair) 이득은 이벤트당 0.029 및 0.043비트이다. 검증 실험은 동일한 범주형 수익률 목적 함수 하에서 연속 입력이 이산 토큰 입력보다 우수하고, 전체 시퀀스 지도 학습이 마지막 위치 학습보다 우수하며, 통제된 비교에서 보조 표현 형성과 혼합 구조화 수익률 헤드가 수익률 가능도를 향상시킴을 보여준다. 뒷받침 용량 연구는 현재 코퍼스에서 평가된 가장 작은 완전 아키텍처 단계가 가장 높은 검증 가능도를 달성함을 밝힌다.
아날로그 회로 토폴로지 설계 자동화는 점점 더 다양하고 맞춤화된 애플리케이션 요구를 충족하는 데 필요한 광범위한 수동 노력을 줄이는 데 필수적이다. 최근 연구에서는 사전학습된 언어 모델에 시퀀스-투-시퀀스 미세조정을 적용하여 사용자 사양으로부터 회로 토폴로지를 한 번에 직접 생성하는 방법이 제안되었다. 그러나 이러한 원샷(one-shot) 생성 방식은 기하급수적으로 증가하는 탐색 공간과 제한된 학습 데이터셋 때문에 복잡한 회로를 생성하는 데 실패했다. 본 논문에서는 아날로그 토폴로지 생성을 위한 테스트 타임 스케일링(test-time scaling)을 가능하게 하기 위해 시뮬레이터 안내 Monte Carlo Tree Search(MCTS)와 트랜스포머 기반 디코딩을 통합한 검색 강화 프레임워크 EXPLORE를 제안한다. EXPLORE는 언어 모델 사전분포(prior)를 활용하고 높은 신뢰도의 구조적 토큰(token)을 건너뛰어, 검색 중 토폴로지를 변경하는 결정에 비용이 큰 시뮬레이터 예산을 주로 할당한다. 6-구성요소 벤치마크에서 0.01의 엄격한 허용 오차 조건에서 EXPLORE는 원샷 생성 12%, 샘플링-필터 기준선 33%에서 성공률을 65%로 끌어올리고, 동일한 검색 예산 하에서 샘플링-필터 대비 MSE를 20% 이상 낮췄다. 이 결과는 EXPLORE가 아날로그 토폴로지 생성을 위해 구조화된 테스트 타임 검색과 LM 디코딩을 통합한 최초의 프레임워크임을 보여 주며, LLM 기반 설계 자동화를 스케일링(scaling)하기 위한 실용적인 진전이다.
대규모 기초 모델(foundation model) 시대에 자율적으로 자기 개선하는 모델을 추구하는 연구는 점점 더 많은 관심을 받고 있다. 인간 뇌의 "깨달음(enlightenment)" 또는 "아하 순간(aha moment)" 개념에서 영감을 받아, 우리는 대규모 모델이 유사한 깨달음 현상—갑작스러운 능력 향상을 위한 잠재적 역량—을 보인다고 가설한다. 그런 다음, 우리는 대규모 모델을 위한 새로운 학습 없는(training-free) 사후 튜닝(post-tuning) 패러다임인 Enlightenment를 제안한다. 우리의 접근법은 가중치 업데이트 없이 핵심 모듈/레이어에 대한 shortcut을 수정하는 반면, 기존의 학습 없는 방법들은 주로 어텐션 가중치를 조작한다. 우리는 아키텍처별 두 가지 구체화를 도입한다: i) 대규모 언어 모델(LLM)의 경우, 초기 어텐션 head의 출력을 다른 모든 타깃 head에 연결하여 어텐션 가중치를 재보정하는 attention head-mixing shortcut을 제안하며, 이는 적응형 스케일링 계수 초기화 전략으로 조절된다. ii) 비전-언어(vision-language) 모델의 경우, 디코더 레이어의 잔차 연결(residual connection)에 경량 스칼라-변조 인자를 적용하여 정보 흐름을 조절한다. 광범위한 실험을 통해 Enlightenment가 사전학습된 네트워크의 잠재적 가능성을 효율적으로 발휘하며, 다양한 벤치마크와 모델에서 현저한 성능 향상을 가져온다는 것을 보여준다.
디코더에서 사용 가능한 인코딩된 3D 포인트 클라우드 기하학이 주어졌을 때, 우리는 다중 해상도 B-스플라인 투영 프레임워크에서 손실 속성 압축 문제를 연구한다. 목표 연속 3D 속성 함수는 먼저 중첩 부분공간 $\mathcal{F}^{(p)}_{l_0} \subseteq \cdots \subseteq \mathcal{F}^{(p)}_{L}$의 수열 위로 투영되며, 여기서 $\mathcal{F}^{(p)}_{l}$은 선택된 스케일에서 차수 $p$의 B-스플라인 기저 함수와 그 정수 이동에 의해 생성(span)되는 함수군이다. 투영된 저역통과 계수 $F_l^*$는 속도-왜곡(RD) 최적화 알고리즘을 순전파 신경망으로 가변 복잡도 언롤링하여 계산되며, 여기서 속도(rate) 항은 희소성을 촉진하는 $\ell_1$-노름이다. 따라서 투영 연산은 end-to-end 미분 가능하다. 선택된 coarse-to-fine 예측기에 대해, 계수는 더 낮은 해상도에서 더 높은 해상도로의 예측을 반영하도록 조정되며, 이 또한 데이터 기반 방식으로 최적화된다.
신경망을 이용한 연산자 근사에 관한 수학 분야가 급속히 성장하고 있는 점에 동기를 얻어, 우리는 폭넓은 클래스의 인코더-디코더 아키텍처와 다양한 입력 및 출력 공간에 대한 새로운 보편 연산자 근사 정리를 제시한다. 본 연구에서는 무한차원 노름 공간 또는 계량 공간 사이의 연속 연산자를, 컴팩트 집합에서의 균등 수렴 위상으로 근사하는 문제에 초점을 맞춘다. 연산자 학습(operator learning) 문헌의 표준 결과와 달리, 우리는 추가로 근사하는 인코더-디코더 아키텍처의 수열을 컴팩트 집합과 무관하게 선택할 수 있는 경우를 조사한다. 위상학적 관점에서, 컴팩트 집합에 독립적인 근사는 대부분의 관련 연산자 학습 프레임워크에서 엄격히 더 강한 성질임을 지적한다. 결과를 확립하기 위해, 우리는 인코더-디코더 아키텍처에 맞춘 입력 및 출력 공간의 새로운 근사 성질을 도입한다. 이러한 성질들은 입력 공간의 모든 컴팩트 부분집합에서 균등 수렴을 보장하는 보편 연산자 근사 정리를 증명할 수 있게 한다. 우리의 결과는 DeepONets, BasisONets, MIONets, 프레임(frame)에 기반한 아키텍처 및 기타 관련 접근법을 포함한 다양한 인코더-디코더 아키텍처에 대한 기존 보편 연산자 근사 정리들을 통합하고 확장한다. 본 프레임워크의 두드러진 특징은 노름 공간 설정을 넘어서는 계량 공간에도 적용된다는 점이다. 특히, 확률 측도의 $p$-Wasserstein 공간을 입력 또는 출력 공간으로, càdlàg 함수의 Skorohod 공간을 입력 공간으로 고려할 수 있게 한다. 이러한 일반성은 최적 수송(optimal transport)에서의 잠재적 응용 가능성도 열어 준다.
장면 텍스트 인식(STR)은 곡률, 회전, 원근 왜곡 등 텍스트 외형의 다양성 때문에 여전히 어려운 과제로 남아 있다. 최근 트랜스포머 기반 접근법은 성능이 좋지만, 일반적으로 텍스트 이미지의 2차원 공간 구조를 무시하는 1차원 위치 인코딩에 의존한다. 시각 트랜스포머를 위한 회전 위치 임베딩(RoPE)의 축 방향 2차원 확장은 존재하지만, 대체로 정방형이고 등방성인 이미지 내용을 가정하며 인코더 자기-어텐션(self-attention) 내에서만 회전을 적용한다. 장면 텍스트는 두 가정 모두를 위반한다. 크롭은 뚜렷이 비등방성(anisotropic)이고, STR 모델은 인코더-디코더 구조이므로 디코더는 크로스-어텐션(cross-attention)을 통해 쿼리를 인코더의 2차원 배치와 연관짓어야 한다. 우리는 2D-RoPE-STR을 제안한다. 이는 (1) 텍스트 종횡비에 맞춘 비등방성 행/열 차원 할당과 (2) 인코더-디코더 크로스-어텐션으로의 회전 결합(rotary coupling) 확장을 통해 축 방향 2D-RoPE를 이 설정에 맞게 조정하며, 자기회귀(autoregressive) 디코딩 단계가 2차원 배치에 따른 인코더 토큰에 어텐션할 수 있게 한다. 이는 이전 인코더 전용 공식화가 다루지 않았던 설정이다. 두 변경 모두 본질적으로 매개변수 추가 없이(parameter-free) 적용되며, 위치 인코딩 모듈 외의 구조적 재설계가 필요하지 않다. 또한 우리는 상대적 2차원 위치가 어디에서 왜 도움이 되는지 식별하는 진단 프로토콜(위치 인코딩만을 분리하는 통제된 ablation 쌍, 이미지 수준 net-win 불일치 분석, 인코더 어텐션 시각화)을 도입한다. 이는 읽기 순서가 수평 직선에서 벗어나는 곡선, 회전, 원근 왜곡 배치에서 해당된다. 6개의 표준 벤치마크(IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP)에서 성능 향상은 바로 이러한 불규칙 배치에 집중되며, ablation은 1D RoPE 및 2D 사인·학습 가능 대안과 각 설계 선택을 분리한다.
2019년 OpenAI는 기계 생성 텍스트 탐지를 돕기 위해 문법에 맞지 않고 절반은 망가진 GPT-2 출력 200만 개를 공개했다. 더 유창한 후속 모델을 만들어낸 정렬(alignment)은 보통 공학적 성과로 여겨지지만, 우리는 이를 대신 최적화 문화의 최신 표현으로 읽는다: 기술보다 오래된, 사전에 정의된 축을 따라 측정 가능한 향상이 가치의 문제를 모두 소진한다는 확신. 그 확신을 스택—사전학습, 디코딩, 선호 튜닝, 벤치마킹, 인터페이스—을 따라 추적하고, 감사 사회에서의 계보까지 거슬러 올라가면 한계에 이른다: 최적화 절차는 생성된 텍스트 조각이 얼마나 비개연적인지 측정할 수는 있지만, 그 비개연성이 오류인지 창조인지는 구별할 수 없다. 그 구별을 할 수 없는 절차가 그럼에도 불구하고 불과 5년 만에 정당한 언어의 프로토콜을 정할 권위를 맡게 되었다. 수세기 동안 학원과 교실, 문법과 시험관들이 지켜 오던 이 권위는 손실 함수, 보상 모델, 벤치마크, 시스템 프롬프트에게 넘겨졌다: 판단의 직무를 수행하지만 판단할 능력은 없는 장치.