심전도(ECG)와 뇌파(EEG)와 같은 생리학적 시계열은 복잡한 시간적 구조, 상당한 측정 변동성, 그리고 투명한 의사결정에 대한 강한 필요를 보인다. 딥 모델은 높은 탐지 성능을 달성할 수 있지만, 어떤 구간이 이상한지, 국소 이상이 시간에 따라 어떻게 연관되는지, 한 탐지가 더 넓은 반복 패턴에 속하는지에 대한 통찰은 종종 제한적이다. 우리는 설명 가능한 생체신호 이상 탐지를 위한 신경-기호적(neuro-symbolic) 프레임워크인 Signal2Symbol을 제안한다. 이 방법은 먼저 학습된 VQ-VAE(Vector Quantized Variational Autoencoder) 코드북 또는 SAX(Symbolic Aggregate approXimation) 베이스라인을 사용해 ECG/EEG 신호를 기호(symbol) 시퀀스로 변환한다. 이어서 bigram enriched token-window 트랜잭션을 구성하고, minimal rare itemset mining에서 도출된 희귀 아이템셋(rare itemset) 증거를 통해 이상을 점수화한다. 탐지된 이상 윈도우는 구간(interval)으로 병합되고 Allen interval algebra로 서로 연관되며, 이를 통해 악화 연쇄(escalation chains), 아티팩트(artifact) 중첩, 채널 간 동기(cross-channel synchrony)와 같은 복합 시간적 설명이 가능해진다. 마지막으로 형식 개념 분석(Formal Concept Analysis, FCA)에 기반한 희귀 시간적 개념 격자(concept lattice)를 도입하며, 이는 공유된 희귀 기호적 증거, Allen 시간적 관계, 채널 컨텍스트, 견고성(robustness) 속성을 기준으로 이상 구간을 묶는다. 결과 Galois 격자는 다수의 국소 탐지를 해석 가능한 시간-기호적(temporal-symbolic) 이상 패밀리로 압축한다. 세 개의 공개 벤치마크에서 평가한다: MIT-BIH Arrhythmia(beat 수준 ECG), PTB-XL(기록 수준 ECG), Bonn EEG 데이터셋(segment 수준 EEG). 가법 잡음(additive noise)과 기준선 변동(baseline-wander) 교란 하에서 견고성을 스트레스 테스트한다. 결과는 시간적 이상 분석에서 신경-기호적 토큰화의 가치를 부각하며, Allen/FCA 추론이 국소 탐지에 대한 간결하고 해석 가능한 요약을 제공함을 보여준다.
단일체(monolithic) 비전-행동(vision-action) 모델은 자율주행에서 새로 부상하는 패러다임을 나타낸다. 하지만 이 아키텍처는 복잡한 상호작용을 위해 확장된 시간적 컨텍스트를 인코딩할 때 토큰 시퀀스가 실시간 계산 예산을 빠르게 초과하게 한다. 선형 트랜스포머(linear transformer)와 외부 메모리(external memory) 같은 접근법은 컨텍스트를 경량화하려 하지만, 토큰 압축은 백본 수정이 필요 없어 아키텍처와 가장 호환된다. 그러나 기존 압축은 계획과 분리된 시간적 감쇠(temporal decay) 같은 규칙 기반 휴리스틱을 채택하여 결정에 중요한 정보 손실 위험이 있다. 우리는 조건부 VQ-VAE 기반의 계획 정렬 작업 기억(working memory) 프레임워크 COMPACT-VA를 제안한다. 이는 확장된 컨텍스트를 유한한 표현으로 압축한다. 압축은 역사적 궤적과, 역 인코더(posterior encoder)가 학습(training) 중 미래 궤적에서 증류(distillation)하는 학습된 계획 의도 모두에 조건화된다. 사전 인코더(prior encoder)는 압축된 관측에서 이를 예측하는 것을 학습한다. 압축된 메모리는 예측된 잠재 변수와 연결되어 정책에 입력되며, 결정에 중요한 정보를 보존한 채 종단간 최적화와 계획을 수행한다. 우리는 행동 정확성에 역사적 컨텍스트가 가장 중요한 고신호(high-signal) 동적 시나리오(예: 정지, 양보, 진행)에서 평가하고, 이에 맞춰 행동 지표를 설계한다. 유사한 토큰 예산 하에서 성공률에서 >6% 개선(68.3%)을 달성하고 지표 전반에서 일관된 향상을 보인다. 절제 실험(ablation)은 계획 정렬 결합의 효과를 검증한다. 폐루프(closed-loop) 평가는 COMPACT-VA가 비압축 처리 대비 3.3배 속도 향상과 2.7배 메모리 감소를 달성한 채 일반 주행 성능을 유지함을 확인한다.
인간의 기억은 충실한 기록이 아니라 재구성적이다. 현재의 멀티모달 LLM(MLLM)은 이러한 능력이 부족하다. 고정된 비전 인코더를 통해 이미지를 처리하고, 일회성 텍스트 출력을 생성한 뒤 내부 표현을 버리기 때문이다. 우리는 MLLM에 재구성적 기억을 도입하는 3단계 아키텍처인 DoYouRemember를 제안한다. (1) VQ-VAE가 이미지를 이산적 비전 토큰으로 압축하고, (2) LoRA 파인튜닝된 LLM이 비전 토큰과 텍스트 토큰에 공동 어텐션하며, (3) 확산 디코더(Diffusion Decoder)가 LLM의 은닉 상태로부터 이미지를 재구성한다. 1,000개의 3D 얼굴 피부 텍스처 맵과 99,000개의 라벨 없는 얼굴 이미지에서, LLM 은닉 상태에는 복구 가능한 비전 정보가 거의 전혀 포함되어 있지 않음을 발견한다. LLM 이전(pre-LLM) VQ-VAE 토큰으로부터 선명한 재구성을 생성하는 동일한 디코더가 LLM 이후(post-LLM) LLM 은닉 상태로부터는 순수 잡음만을 생성하며, 이는 LLM이 이미지를 이해하지만 기억하지는 못함을 보여준다. 역전파 하에서 공유 기억 행렬 M을 학습하는 것은 그래디언트 상쇄(O(1/√N) 감쇠)로 인해 체계적으로 실패한다. 세 가지 근본 원인을 식별하고, 지역 EMA 업데이팅이 세 가지 모두를 해결함을 보인다. 각 이미지는 64개 슬롯 중 상위 8개만 업데이트하여 슬롯 간 다양성을 유지한다. 결과 M(22.9만 파라미터, 16배 압축)은 보지 못한 테스트 이미지에서 VQ 상한에 근접한다. 1,024개 슬롯으로 스케일링하면 이를 넘어선다(LPIPS 0.056 대 0.071). M의 연속 표현이 VQ 양자화 오차를 피하기 때문이다. 이러한 발견을 정보 이론적 틀 아래 통합한다. 기억은 손실 압축이고, 회상은 압축 해제이며, 환각은 결함이 아니라 손실 압축 해제의 고유한 속성이다.
에이전트는 지속적인 원시 감각 입력 시퀀스와 자신의 움직임만으로 어떻게 자신의 세계에 대한 구조화된 지도를 구축할 수 있을까? 특히 자연적 변이로 인해 정확히 동일한 감각 패턴이 거의 반복되지 않는 경우에 말이다. 클론 구조 인과 그래프 알고리즘(CSCG)은 규범적 해마 모델로서, 별칭 관측으로부터 해석 가능한 지도를 학습할 수 있음을 보여준다. 그러나 CSCG는 사전 정의된 이산 알파벳을 필요로 하며, 기댓값 최대화(expectation-maximization) 공식화는 기존 신경망 모듈과 쉽게 결합되지 않아 원시 이미지 시퀀스의 엔드투엔드 처리를 막는다. 우리는 CSCG를 완전히 미분 가능한 단일 모듈인 gradCSCG로 재공식화하고, 이를 학습된 벡터 양자화 변분 오토인코더(VQ-VAE) 지각 전단에 결합함으로써 이 장벽을 제거한다. 소프트 발산 순전파는 지도 학습 목적 함수가 지각으로 다시 흐르도록 하며, 일련의 손실 균형화 메커니즘이 공동 학습 중 모듈 붕괴를 완화한다. 먼저, 그래디언트 학습이 원래의 기호적 그리드 월드에서 CSCG의 결과를 재현함을 보여주며, 심하게 별칭된 관측으로부터 방 토폴로지를 복원한다. 둘째, MNIST 이미지 시퀀스에서 지도 복원이 견고함을 보이는데, 각 위치 방문마다 할당된 숫자의 새로 샘플링된 이미지가 생성된다. 네 가지 심하게 별칭된 환경 전반에서 엔드투엔드 파이프라인은 시각 입력으로부터 높은 엣지 정밀도와 재현율로 기저 인접 그래프를 성공적으로 발견한다. 이 연구는 CSCG가 심층 학습 아키텍처에서 조합 가능한 구성 요소로 기능할 수 있음을 보여주는 원리 증명을 제공한다.
인간 모션 생성 모델은 근본적으로 모션 캡처(MoCap) 데이터셋의 제한된 다양성에 의해 제약받는다. 이 데이터셋은 주로 흔하고 반복적인 동작을 포함하며 복잡한 인간 움직임의 롱테일(long tail)을 포괄하지 못해, 학습된 잠재 표현에서 제한된 모션 어휘를 초래하고 드물고 조합적이며 고도로 동적인 모션에 대한 일반화가 부족하다. 본 연구에서는 대규모 합성 인간 모션을 활용하여 모션 표현 공간을 확장하는 프레임워크를 제안한다. 기존 데이터셋 분포를 넘어서는 다양하고 물리적으로 타당한 모션 시퀀스를 생성하는 데이터 생성 파이프라인을 도입하고, 이를 확장된 모션 공간에 적응하도록 재설계한 VQ-VAE 토크나이저와 통합한다. 좁은 데이터 분포에서 학습된 기존 토크나이저와 달리, 본 접근법은 학습 분포와 이산 코드북을 동시에 스케일링하여 모델이 훨씬 더 풍부한 모션 프리미티브 집합을 포착할 수 있게 한다. 합성 모션으로 학습하면 학습된 모션 어휘의 커버리지와 조합성이 크게 향상됨을 보여 주며, MotionGPT를 포함한 기존 프레임워크와 완전히 호환되면서 텍스트-투-모션(text-to-motion) 및 모션 연속 생성(motion continuation)과 같은 모션 생성 과제에서 일관된 성능 향상을 달성한다. 결과는 주요 병목이 모델 아키텍처만이 아니라 학습된 모션 표현의 제한된 지원(support)에 있다는 점을 시사한다. 표현 학습과 함께 합성 모션을 스케일링하는 것은 더 표현력 있고 제어 가능하며 일반화 가능한 인간 모션 합성을 향한 원칙적인 경로를 제공한다.
자율주행 움직임 예측에서 다중모드 궤적이 차선 토폴로지를 위반하는 문제를 해결하기 위해, LAMP는 VQ-VAE로 학습한 차선 정렬 움직임 프리미티브와 실행 가능성 인식 의도 선택기로 토폴로지에 맞는 다양한 예측을 생성한다. Argoverse 2에서 최신 기준선과 비슷한 변위 정확도를 유지하면서 실행 가능성과 다양성 지표에서 더 우수한 성능을 보였다.