On Computational Modeling of Sleep-Wake Cycle
원문 초록
Why do mammals need to sleep? Neuroscience treats sleep and wake as default and perturbation modes of the brain. It is hypothesized that the brain self-organizes neural activities without environmental inputs. This paper presents a new computational model of the sleep-wake cycle (SWC) for learning and memory. During the sleep mode, the memory consolidation by the thalamocortical system is abstracted by a disentangling operator that maps context-dependent representations (CDR) to context-independent representations (CIR) for generalization. Such a disentangling operator can be mathematically formalized by an integral transform that integrates the context variable from CDR. During the wake mode, the memory formation by the hippocampal-neocortical system is abstracted by an entangling operator from CIR to CDR where the context is introduced by physical motion. When designed as inductive bias, entangled CDR linearizes the problem of unsupervised learning for sensory memory by direct-fit. The concatenation of disentangling and entangling operators forms a disentangling-entangling cycle (DEC) as the building block for sensorimotor learning. We also discuss the relationship of DEC and SWC to the perception-action cycle (PAC) for internal model learning and perceptual control theory for the ecological origin of natural languages.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PIEFS: 학습 가능한 스케일링을 갖춘 물리 정보 기반 고유함수 특징
PIEFS: Physics-Informed Eigenfunction Features with Learnable Scaling
스펙트럴 방법(Spectral methods)은 데이터의 기하 구조로부터 표현을 구성하는 데 널리 사용되지만, 고정된 커널(kernel), 그래프 라플라시안(graph Laplacian), 또는 수동으로 선택된 특징(feature) 스케일링에 의존하는 경우가 많다. 우리는 수정된 디리클레 에너지(Dirichlet energy)를 기반으로, 스펙트럴 귀납적 바이어스(spectral inductive bias)를 갖춘 지도 학습 신경 표현 학습 프레임워크인 PIEFS(Physics-Informed Eigenfunction Features with Learnable Scaling)를 제안한다. PIEFS에서 스칼라 좌표 맵은 경험적 그람 직교성(empirical Gram orthogonality), 지도 학습 선형 판독(supervised linear readout), 그리고 입력 그래디언트(gradient)가 학습 가능한 메트릭 $A(x)=Λ(x)U(x)$에 의해 변환되는 디리클레 패널티(Dirichlet penalty) 하에서 훈련된다. 대각 인수 $Λ(x)$는 비등방성 스케일링(anisotropic scaling)을 제어하고, 직교 인수 $U(x)$는 기븐스 회전(Givens rotations)의 구조적 곱으로 매개변수화된다. 이 구성은 고정된 감독 독립적 연산자(supervision-independent operator)의 고유함수가 아닌, 태스크 적응형 디리클레 정규화 좌표를 생성한다. 합성, 표 형식(tabular), 이미지 기반 벤치마크에 대한 실험은 항등(identity), 대각(diagonal), 회전-스케일링(rotation-scaling) 메트릭의 효과를 연구하고, 결과 좌표를 고전적 기준선(classical baselines) 및 NeuralEF와 비교한다. 결과는 PIEFS를 간결한 지도 학습 스펙트럴 표현 방법으로 지지하며, 최적화 안정성, 명시적 연산자 고유 문제(explicit operator eigenproblems)에 대한 검증(validation), 그리고 더 풍부한 메트릭 매개변수화를 향후 연구의 주요 방향으로 제시한다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.
에이전트 기호 탐색: 수작업 수식, 메시, 신경망을 넘어선 편미분방정식 해의 근사
Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks
수치 기법과 신경망은 비선형 편미분방정식(PDE)에 대한 이해를 변화시켰지만, 그 동역학을 설명하는 수학적 표현을 발견하는 일은 여전히 대체로 전문가의 몫이다. 본 논문은 코딩 에이전트가 알려진 PDE와 제공된 수학적 지식으로부터 명시적 근사를 구성하고 개선하는 에이전트 기호 탐색(ASYS)을 제안한다. ASYS는 미분 가능한 기호 프로그램에 대한 진화적 탐색을 경사 기반 피팅과 결합하며, 지배 방정식을 이용해 후보를 평가하고 수정을 이끈다. 특이 일반화 Constantin-Lax-Majda 프로파일에 대해 ASYS는 장이 특이 시점의 극한에 접근하는 속도를 결정하는 누락된 감쇠항을 추론하고, 프로파일을 중앙값 오차 $3.90\times10^{-5}\%$로 적합하는 기저를 구성한다. Fujita 폭발의 경우 확산과 반응을 분리하고 국소 응답을 유도하여, 제공된 공식의 오차를 55.5%에서 0.0879%로 낮춘다. Allen-Cahn 계면에 대해서는 14개 매개변수로 구성한 모델이 독립적인 시뮬레이션으로 확인된 모드 결합 법칙을 도출한다. 이러한 연구는 에이전트 탐색이 수학적 출발점을 정확하고 분석 가능한 근사로 발전시킬 수 있음을 보여준다.
추론의 기하학적 특징: 과제 난이도에 대한 스펙트럼적 관점
Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness
사고의 연쇄(CoT) 추론은 대규모 언어 모델(LLM)이 중간 추론 단계를 생성하여 복잡한 문제를 풀 수 있게 한다. 이러한 추론 사슬의 길이와 내용에는 많은 관심이 기울여져 왔지만, 그 내부 기하에 대해서는 훨씬 덜 알려져 있다. 우리는 트랜스포머 모델의 은닉 상태 공간에서 CoT 궤적의 기하를 연구하며, 각 추론 사슬을 $\mathbb{R}^d$ 상의 이산 곡선으로 형식화하고 스펙트럼, 위치, 운동학적 기하 범함수를 통해 특성화한다. 궤적 복잡도의 척도로 유효 차원 $d_\rho$를 도입하고, 더 어려운 과제일수록 더 큰 유효 차원을 보임을 실험적으로 보인다. 마지막으로 궤적의 운동학적 특징, 즉 평균 위치, 위치 분산, 초기 및 최종 은닉 상태, 평균 속도, 평균 속력, 속력 분산이 생성이 완료되기 전에 풀이의 정답 여부를 예측하는 데 사용될 수 있음을 탐구하며, 이는 향후 조기 종료 전략에 활용될 수 있다. 실험적으로 MATH500 데이터셋의 86개 수학 추론 문제와 세 가지 Qwen2.5 모델 규모(0.5B, 1.5B, 7B)에서 $d_\rho$는 각각 $0.90$, $0.94$, $0.96$의 난이도 예측 AUROC를 달성한다. 일곱 가지 운동학적 및 위치 특징은 생성된 토큰의 처음 $20\%$만으로 정답 여부를 예측하며, 규모 전반에서 AUROC는 $0.77$에서 $0.88$ 사이이다. 이러한 정답성 특징은 보류된 질문 간에도 전이되어, 모델의 내부 추론 궤적의 형태가 과제 난이도와 풀이 품질 모두를 들여다볼 수 있는 원리적 창임을 확립한다.
타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크
Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis
우리는 두 클래스가 공유된 반경 생성자 $g$를 갖는 타원형 분포일 때의 이진 분류를 연구한다. 이때 로그 우도비는 두 제곱 마할라노비스 반경의 가법 함수이며, 반경 링크는 $\varphi=\log g$이다. 가우시안 클래스에서는 $\varphi$가 아핀이며 규칙은 이차 판별분석(QDA)으로 환원되고, 그렇지 않으면 베이즈 링크는 항등이 아니다. 이 링크를 스플라인 평활기로 적합하는 대신, 우리는 반경의 클래스 내 분포로부터 그 족을 유도하고 유한 분수 거듭제곱 사영을 추정한다. 반경 분포로부터 링크가 식별 가능하며, 플러그인 추정량이 유한 적률 조건에서 $\sqrt{n}$-일치성과 점근 정규성을 가지고, 유도된 분류기가 반복된 시브(sieve) 극한에서 점근적으로 베이즈 최적임을 증명한다. $d\ge2$이고 비중첩 클래스 모수인 경우, 항등 링크는 아핀(가우시안) 생성자에서만 충분하다. 이 브리지, GAM 소속, 그리고 이 이분법의 아핀 방향은 Lean 4에서 검증되었다. 우리는 Ghosh et al. (2025)의 전역 마할라노비스-GAM을 동일한 입력 예산으로 mgcv REML 스플라인을 사용해 재구현하여 비교한다. 두 UCI 벤치마크에서 유도된 링크는 적합된 GAM과 대등하다. 세 자산군의 금융 시계열 여섯 개에서, 시간 의존성을 존중하는 검증을 사용하면 적합된 GAM보다 유의하게 나쁜 경우가 없으며, CAD/USD에서는 더 낫고 나머지 다섯 개에서는 대등하다. 꼬리가 가장 두꺼운 세 시계열(원유 $[+0.023,+0.069]$, S&P 500 $[+0.039,+0.125]$, JPY/USD $[+0.009,+0.047]$)에서는 QDA를 능가하고 나머지에서는 대등하다. 닫힌 형태의 기준값을 갖는 속도 시뮬레이션은 $\sqrt{n}$ 속도를 재현하며, 공분산 이질성 하에서 QDA의 위험 하한과 유도된 링크의 소멸하는 초과 위험을 대비하여 보여 준다. 따라서 유도된 링크는 평활 모수 선택 없이도 조정된 GAM에 필적하며, 생성자가 가우시안에서 벗어나는 경우 QDA를 개선한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.