수상돌기(dendritic) 구획의 서브임계(subthreshold) 다이나믹스가 암묵적으로 온라인 최소평균제곱(LMS) 알고리즘을 구현한다는 구조적 통찰을 바탕으로, 단일 레이어 스파이킹 신경망(SNN) 아키텍처 DendriCL을 제안하여 추론 시 가중치를 완전히 동결한 채로 Garg-2022 문맥 내 학습(ICL) 벤치마크를 해결한다. DendriCL은 기존 SNN 기반 모델들이 태스크 차원 d≥20에서 실패하는 반면 d∈{5,…,50} 전 범위에서 안정적으로 동작하며, 선형 프로브로 첨단 막전위에서 참조 LMS 궤적을 R²=0.93으로 복원해 어텐션이나 깊은 아키텍처 없이도 ICL이 가능함을 입증한다.
ReContext는 대규모 언어 모델(LLM)이 긴 컨텍스트 내에 존재하는 관련 증거를 실제 생성 시 활용하지 못하는 문제를 해결하기 위해, 모델 내부의 어텐션 신호를 기반으로 질의 조건부 증거 풀을 재귀적으로 구성하고 최종 답변 생성 전에 이를 재생(replay)하는 학습 불필요 추론 방법을 제안한다. 8개의 128K 길이 장문 컨텍스트 데이터셋에서 Qwen3-4B, Qwen3-8B, Llama3-8B 모두에 대해 평균 정확도를 0.24에서 0.30으로 24.6% 향상시키며 모든 백본에서 최고 평균 순위를 달성했다.
선형 어텐션(linear attention)과 상태 공간 모델의 고정 크기 순환 상태가 오래된 연관 기억을 덮어쓰는 손실 문제를 해결하기 위해, 뇌의 보완 학습 시스템(CLS) 이론에서 영감을 받아 델타 룰 상태에 유한 크기의 정확한 KV 캐시를 추가하는 HOLA(Hippocampal Linear Attention)를 제안한다. HOLA는 캐시에 저장할 토큰을 별도 모듈 없이 β·‖e‖(델타 룰의 잔차 크기) 기반 놀라움 신호로 선택하고, 분리된 RMSNorm-γ로 날카로운 검색을 수행하여 340M 파라미터 기준 Wikitext 퍼플렉서티를 27.32에서 22.92로 낮추며 풀 어텐션 Transformer++를 능가하고 32k 토큰 길이의 RULER needle-in-a-haystack 검색에서도 강인한 성능을 보인다.
Memory for a long-horizon LLM agent is a contract about what each future decision is allowed to see. The simplest contract appends past observations, tool calls, and reflections to every prompt, which makes prior context easy to access but also turns it into a jumbled mixture in which the effect of any single memory component is hard to isolate. We introduce and instrument an alternative bounded contract: every decision is made from a fresh user message assembled by typed retrieval, with no raw cross-decision transcript appended. The prompt thus stays bounded across runs of any length, and any single layer can be ablated in isolation. We instantiate the contract in Slay the Spire 2, a closed-rule stochastic deck-building game whose runs require hundreds of tactical and strategic decisions. A public online benchmark of frontier LLMs on the same game reports zero wins at the lowest difficulty across five configurations, and the developer-reported human win rate at the same difficulty is 16%; the task is hard but not saturated. Within our harness, a fixed-A0 ablation shows the largest observed difference when triggered strategic skills are enabled: the no-store baseline wins 3/10 games and adding the skill layer 6/10. At this sample size the comparison is directional rather than statistically decisive (Fisher exact p\approx0.37); a cross-backbone probe and public accumulating-context baselines are reported as operational comparisons rather than controlled tests of the contract variable itself. We release a reproducible testbed: 298 completed trajectories with condition tags, frozen memory/skill snapshots, prompt records, and analysis scripts -- an agent design and a validated, reusable methodology for studying how explicit memory layers shape long-horizon LLM-agent decisions.
Maven은 긴 문맥 추론에서 모델이 증거를 단순 추출하는 데 그치지 않고 동적으로 추가(add)·연결(link)·삭제(drop)하는 상태 전이를 보상하는 강화학습 프레임워크로, 편집 가능한 증거 메모리와 정답 조건부 증거 상태 가치 함수를 GRPO에 결합한다. Llama 및 Qwen 모델로 LongBench v2, LongReason, RULER 벤치마크에서 평가한 결과, 최종 답변만 보상하는 방식과 증거 식별 기반선 대비 일관된 성능 향상과 낮은 방해 증거 잔류율을 달성했다.
사전학습된 텍스트-투-비디오 확산 트랜스포머를 문맥 내 컨디셔닝(In-Context Conditioning) 방식으로 적용한 ICDepth 프레임워크를 제안하며, 노이즈 오염을 방지하는 SAND-Attention과 DINOv2 기반의 기하학적 정밀도를 강화하는 SRFM을 핵심 구성요소로 도입했다. 경쟁 생성 모델 대비 6~13배 적은 80만 프레임만으로 학습하면서도 다수의 벤치마크에서 최고 성능을 달성하고, 야간·수중·안개 환경 등 다양한 도메인에 대한 강력한 제로샷 일반화를 입증했다.
비전-언어 모델(VLM)이 깊이 지각 단서를 얼마나 활용하는지 평가하기 위해, 9가지 그림 깊이 단서를 개별 제어한 37K 이미지와 147K 질문 쌍으로 구성된 O3-D 데이터셋을 구축하고 12개 모델을 평가한 결과, 모든 모델이 우연 수준(47~56%)을 넘지 못했으며 강한 언어적 편향(language bias)이 확인되었다. 사고의 연쇄(CoT)나 문맥 내 학습(ICL)도 성능을 유의미하게 개선하지 못해, 정적 이미지 데이터만으로는 깊이 이해에 불충분할 수 있음을 시사한다.
온-정책 자기 증류(OPSD)에서 발생하는 특권 정보 누출(privileged information leakage) 문제를 해결하기 위해, DemoPSD는 교사-학생 분포 간 불일치(disagreement)를 측정하여 각 토큰 위치에서 역방향-KL 중심점 타깃(reverse-KL barycenter target)으로 혼합 비율을 적응적으로 조절하는 새로운 자기 증류 프레임워크를 제안한다. SciKnowEval 4개 과학 분야 실험에서 DemoPSD는 GRPO와 SDPO를 능가하면서 35–97% 높은 학습 엔트로피를 유지하고, 분포 외 벤치마크 GPQA에서도 강건한 일반화 성능을 보였다.
주석 없는 자기 증류(annotation-free self-distillation)의 한계를 극복하기 위해, 내부 뉴런 활성화 패턴을 활용하여 학습 데이터 선택(Neuron Consensus)과 교사 컨텍스트 구성(Neuron Overlap)을 동시에 안내하는 Neuron-OPSD 프레임워크를 제안한다. 특화 도메인 벤치마크에서 기존 주석 없는 기준 방법 대비 도메인 내 성능 향상, 교차 도메인 일반화 유지, 캘리브레이션 붕괴 완화를 달성했다.
기존 능동적 퓨샷 학습(AFSL) 방식이 예측 엔트로피나 외부 임베딩 기반 출력 수준 신호에 의존해 모델 내부 동태를 간과하는 문제를 해결하기 위해, NeuFS는 LLM의 FFN 뉴런 활성화 패턴을 직접 활용해 샘플을 표현하고 다양성 확보와 환각(hallucination) 가능성 높은 샘플 우선 선택을 동시에 수행하는 이중 기준 선택 전략을 제안한다. 세 가지 데이터셋에서의 실험 결과, NeuFS는 추론 및 텍스트 분류 작업 모두에서 기존 AFSL 기준선을 능가하며, 내부 뉴런 활성화가 외부 임베딩보다 더 효과적인 선택 신호임을 검증하였다.
분자 대규모 언어 모델(LLM)이 화학 공간을 진정으로 일반화할 수 있는지 검증하기 위해, Graph Edit Distance(GED)로 제어된 구문 유효 구조 변형을 생성하는 Molecular Perturbation 프레임워크를 도입하여 모델의 매니폴드 정규성을 분석하였다. 단 하나의 구조적 편집만으로도 성능이 크게 저하되는 취약성이 확인되었으며, 구조적으로 유사한 분자를 기반으로 예측을 수행하는 In-Context Tuning(ICT)이 이러한 취약성을 부분적으로 완화하고 신뢰 영역을 확장할 수 있음을 보였다.
사전학습된 대규모 언어 모델(LLM)을 후보 프로그램 제안 분포로 활용하고 검증 집합 오차로 최적 프로그램을 선택하는 LLM-PV를 제안하여, 열거 탐색의 지수적 계산 비용과 경사도 기반 학습의 표본 비효율성을 동시에 해소한다. 패리티, 패턴 매칭, 소수 판별 등 알고리즘 과제에서 LLM-PV는 소수의 레이블 예시만으로 정확한 규칙을 복원하고 훈련 시퀀스 길이를 크게 초과하여 일반화하는 반면, SGD 기반 트랜스포머와 문맥 내 학습(ICL) 등 기존 방법들은 훈련 데이터에는 적합하나 길이 일반화에 실패한다.
테스트 타임 트레이닝(TTT) 연구가 퍼플렉서티(perplexity) 등 로컬 프록시 지표로 평가되지만, 이는 배포된 어시스턴트의 메모리·개인화·사후학습 주장을 뒷받침하기에 불충분하다는 문제를 지적하며, 주장 수준에 따라 증거를 계층화하는 행동 평가 프레임워크를 제안한다. Qwen3/LoRA 진단 실험에서 프록시 손실 감소와 정답 NLL 개선이 나타나더라도 자유 형식 재현(free-form recall)은 0을 기록해 프록시 지표와 실제 배포 행동 간의 측정 가능한 격차를 실증했다.
대규모 언어 모델(LLM)의 페르소나 벡터(persona vector)가 프롬프트 조건화, 그래디언트 기반 파인튜닝, 추론 시간 활성화 조정 등 서로 다른 유도 레짐(regime)에서 동일한 내용을 지칭한다는 암묵적 가정이 실제로는 성립하지 않음을 Qwen3-4B-Instruct 및 Mistral-7B-Instruct-v0.2 실험을 통해 네 가지 경험적 근거로 반박한다. 이를 바탕으로 표현 내용의 동일성 단위는 벡터 단독이 아닌 (vehicle, regime) 쌍이어야 한다는 레짐-색인 개별화(regime-indexed individuation) 이론을 제안하며, Beckmann & Butlin의 세 후보 입장이 동일한 지시체를 두고 경쟁하는 것이 아니라 각 레짐 내에서 유효한 서로 다른 대상을 기술함을 보인다.
퓨샷 예시 선택 시 리랭킹이 항상 성능을 향상시킨다는 통념에 반해, 리랭킹이 오히려 성능을 저하시킬 수 있음을 밝히고 모델의 불확실성에 따라 리랭킹 적용 여부를 동적으로 결정하는 Training-Free Gated Reranking을 제안한다. 8개의 LLM과 16개의 NLU/MT 태스크 실험에서 계산 비용을 15%~80% 절감하면서 평균 성능을 최대 2% 향상시켰다.
설득 과제에서 다중 에이전트 토론(MAD) 시 발생하는 누적 오류(compounding errors)의 주요 원인으로 표준 검색-증강 생성(RAG)의 의미적 누수(semantic leakage)를 규명하고, 이를 해결하기 위해 전략을 이산적 범주형 병목(discrete categorical bottleneck)을 통해 라우팅하는 TS-RAG(Taxonomic Strategy RAG)를 제안한다. TS-RAG는 제로샷 교차 도메인 평가에서 표준 의미 검색이 실패하는 상황에서도 추상적 논리의 전이를 크게 향상시키며, 경량 모델이 파라미터 상위 모델을 상대로 승률을 70.5%에서 78.5%로 높이는 "능력 브릿지" 역할을 수행함을 입증했다.
대규모 어노테이션이나 전문가 설계 사전 지식 없이 비디오 이상 탐지(VAD)를 수행하기 위해, 다중 추론 궤적에서 그룹 상대적 의미 이점을 추출해 언어적 이상 경험 사전 지식으로 정제하는 언어적 상대 정책 최적화(LRPO)를 제안한다. LRPO는 파라미터 업데이트 없이 일반 경험과 시나리오 경험을 컨텍스트에 주입해 모델 출력을 조정하며, XD-Violence, UCF-Crime, UBnormal 벤치마크에서 튜닝 없는(tuning-free) 설정 기준 기존 최신 방법들을 크게 능가했다.
학습이나 도구 없이 검색된 이미지-레이블 쌍을 시각적 사고의 단위로 활용하는 프레임워크 ReVisIT을 제안하며, 구조화된 클래스 정의, 쿼리별 멀티모달 예시 검색, 교번 사용자/어시스턴트 턴 주입을 결합해 문맥 내 학습(ICL)을 수행한다. Qwen3-VL-30B-A3B에 ReVisIT을 적용하면 VL-ICL Bench에서 4-샷 98.5%를 달성해 72B LLaVA-OneVision SOTA(98.7%)와 동등한 성능을 약 1/2.4 파라미터 수로 달성했으며, Bongard-OpenWorld에서 GPT-4.1 대비 26.1포인트 향상을 보였다.
비전-언어 모델(LVLM)의 멀티턴 시각적 지시 미세조정(VIT) 학습과 싱글턴 벤치마크 평가 사이의 불일치로 인해 발생하는 시각적 어텐션 감퇴와 문맥 과적합 문제를 해결하기 위해, 동일한 이미지에 대한 언어 태스크를 다양한 크기의 클러스터로 확률적으로 그룹화하는 StochasT를 제안한다. 또한 균형 라틴 방격(Balanced Latin Square) 기반의 벤치마크 비의존적 평가 메커니즘을 도입하여 다양한 문맥 의존성 환경에서 LVLM의 강건성을 측정하고, 실험을 통해 싱글턴과 멀티턴 모두에서 성능이 향상됨을 입증한다.
비전-언어 모델(VLM)의 문맥 내 추론을 활용한 개인화 객체 위치 추정(POL) 방법인 IPLoc이 쿼리 이미지에 항상 대상 객체가 존재한다고 가정해 실제 환경에서의 거짓 양성(false positive) 문제를 야기한다는 한계를 지적하며, 이를 해결하기 위해 대상 객체가 없는 쿼리 이미지를 거부하는 새로운 과제인 개인화 객체 식별 및 위치 추정(POIL)을 정의하고 자가 생성 쿼리(self-posed query)를 통해 위치 추정과 식별을 단일 자기회귀 생성 프레임워크로 통합한 IPLoc-ID를 제안한다. IPLoc-ID는 IPLoc에 필적하는 위치 추정 성능을 유지하면서 부정 쿼리에 대한 거짓 양성 검출을 대폭 억제함을 실험적으로 검증하였다.