AI 안전성에서 학습된 행동의 지속성을 이해하려는 동기는 특이 학습 이론에서 연구되는 평형 기하에 대응하는 동역학적 측면의 탐구로 이어진다. 본 논문은 이러한 지속성을 특이 우물 사이의 전이를 통해 분석한다. 실해석적 퍼텐셜의 두 컴팩트 연결 영성분 사이에서 일어나는 저온 랑주뱅 확산에 대한 아이링-크라머스 공식을 정립한다. 우물은 특이하거나 고립되지 않을 수 있으며, 유일한 최소화 관문은 비퇴화 지표 1 안장점이다. 여기서 관문은 모든 최소화 경로와 만나는 포함 관계 기준 최소 집합으로 이해한다. 경계 관문 구성을 통해, 이 포함 최소 관문의 유일성은 모든 최소화 경로가 안장점을 지나고 그러한 경로 하나가 소통 수준과 오직 그곳에서만 만나는 것과 동치임을 보인다. 컴팩트 반해석적 위상수학은 고정된 안장점 근방 바깥에서 분리 함수를 제공하며, 해석적 모스 좌표는 먼저 온도를 0으로 보낸 뒤 그 근방을 줄임으로써 일치하는 용량 상계와 하계를 제공한다. 고정 에너지 추정과 작은 공에 대한 퍼텐셜 이론적 항등식은 결정론적 시작점에 대한 균일성을 제공한다. 주도 상수는 하위 수준집합 부피 계수, 감마 인자, 안장점 헤세 행렬로 표현된다.
표류하는 스트림에서의 재귀 추정기는 목표를 추적할 수 있도록 오래된 데이터를 충분히 빠르게 잊어야 하지만, 동시에 잡음을 평균화할 수 있을 만큼 느리게 잊어야 한다. 사전 고정 릿지 회귀에서 이 상충 관계는 닫힌 형태의 스펙트럼 분해를 허용하며, 각 고유 방향은 끌림 가중치 $s_i = \rho / (\mu_i + \rho)$로 데이터 해와 사전 분포 사이를 보간한다. 앵커를 $k$ 스텝마다 갱신할 때, 이동 좌표계 오프셋이 유한 주기 평형으로 수렴하며, 이 평형은 순수 누수 경로보다 명시적인 $\Delta_k(s)$만큼 뒤처지는 대신 추정 분산을 $\Psi(s, r_k)$배만큼 줄임을 보인다. 주기 평균 위험을 최소화하면 $\omega^* = (4\nu^2 \Sigma / c')^{1/3}$, $c' = \sigma^2 d_{\mathrm{eff}}(\rho)$, 그리고 플러그인 강도 $\rho^* = \sigma^2 / (n\delta^2)$를 얻는다. 랜덤 행렬 결정론적 등가는 두 법칙을 유한 차원으로 확장하며 앵커를 $\rho_{\mathrm{eff}} = \rho (e^{\zeta q} - 1) / (\zeta q)$로 재정규화한다. 이는 고정된 작동점에서 시뮬레이션과 5% 이내로, 방법 자체의 작동점에서는 13% 이내로 일치하며, 랭크 결손 모집단은 활성 부분공간으로 정확히 환원된다. 그 결과인 방법 SPAR는 잔차로부터 윈도우와 강도를 온라인으로 보정한다. 27개 구성 격자에서 보정된 윈도우는 발산 없이 표류 시 열리며, 격자 기본값은 시간 단위 전력 스트림과 BCI IV 2b로 전이된다. 핵심 대수, 갱신 사슬, 후회 한계는 Lean 4로 형식화되었다.
기전적 신호 전달 네트워크를 임상 연구에 통합하는 것은 정밀 종양학의 초석이 되었다. 이러한 네트워크는 세포 내의 복잡한 생화학적 상호작용을 포착함으로써 단순한 유전체 돌연변이를 넘어서는 질병 진행의 기능적 지도를 제공한다. 따라서 환자의 특이적 신호 전달 모델 개발은 개별 질병 프로파일을 더욱 세밀하게 표현할 수 있게 해 주므로 중요한 의의를 지닌다. 이러한 맥락에서 환자 코호트 간의 유사점과 차이점을 식별하기 위해 그래프 기반 경로 구조를 비교할 수 있는 견고한 방법론에 대한 요구가 커지고 있다. 이러한 비교는 임상적으로 의미 있는 하위 집단을 식별하고 새로운 바이오마커를 발견하는 데 필수적이다. 표준 그래프 커널은 수학적으로 엄밀하지만 이러한 목적에는 지나치게 일반적인 경우가 많다. 이들은 유전자 신호 전달 네트워크에 특유한 특징을 포착하지 못하는 경우가 잦아 군집화 성능이 최적에 못 미친다. 본 논문에서는 기전적 신호 전달 네트워크를 위해 설계된 도메인 특화 그래프 커널을 제시한다. 일반적인 접근과 달리 우리의 방법은 생물학적 제약과 유전자 상호작용 패턴을 커널 정식화에 명시적으로 반영하여, 위상 구조와 기능적 거동 모두를 더 정확하게 특성화할 수 있게 한다. 유방암 데이터셋에서 질병 하위 유형 분류를 지원하는 능력에 초점을 두고 그 성능을 평가한다. 결과는 우리의 접근이 환자 층화에 효과적으로 기여할 수 있음을 시사한다.
인과 매개 분석은 처치 효과를 매개변수를 통한 간접 경로와 그 밖의 과정을 통한 직접 경로로 분해한다. 표 형식 파운데이션 모델은 문맥 내 학습을 통해 분류와 회귀를 수행하며, 인과 매개 분석에 사용되는 조건부 평균과 성향 점수의 추정값을 제공한다. 이러한 추정값으로 신뢰구간을 구성하려면 여러 교란 함수를 적합하고 결합하는 과정에서 발생하는 불확실성을 고려해야 한다. 우리는 사전 학습된 표 형식 파운데이션 모델을 교란 함수 예측에 맞게 적응시키고, 그 예측을 교차 적합된 영향 함수 추정량으로 결합하는 상각 추론 프레임워크인 MediPFN을 소개한다. 별도의 헤드는 간접 효과가 알려진 시뮬레이션 표로부터 추정량의 표준화된 오차의 분위수를 학습한다. 이어서 지도 미세조정, 대칭화, 독립적인 보정을 거쳐 신뢰구간을 산출한다. 우리는 표준적인 가정 하에서 결과 구간의 포괄 확률 경계를 증명한다. 여러 실험에서 MediPFN은 여러 비교 방법보다 명목 수준에 더 가까운 포괄 확률을 달성한다. 또한 불확실성 정량화의 계산 비용을 줄여, 동일한 조건의 비교에서 부트스트랩보다 59.1배 빠르게 실행된다.
베이지안 최적화는 재료과학의 능동 학습 루프에서 널리 사용된다. 가우시안 프로세스는 사실상 표준 대리 모델 계열이지만, 과제에 따라 커널을 선택해야 하며 복잡한 관계를 모델링하는 용량이 부족할 수 있다. 표 형식 파운데이션 모델(TFM)은 맞춤형 커널이나 하이퍼파라미터 튜닝 없이도 정형 데이터에 대한 예측 과제에서 최첨단 성능을 보이는 모델로 최근 부상하였다. 본 연구에서는 두 가지 TFM인 TabPFN과 TabICL을 두 가지 표준 재료과학 벤치마크에서 즉시 사용 가능한 대리 모델로 평가하고, 가우시안 프로세스, 랜덤 포레스트, CatBoost를 아우르는 다수의 베이스라인과 비교한다. 연구 결과, TFM은 능동 학습을 위한 과제별 학습이나 GP 커널 선택 없이도 두 벤치마크 전반에서 경쟁력이 매우 높은 대리 모델임을 확인하였다. 이러한 결과는 소재 발견의 능동 학습을 위한 대리 모델로서 TFM을 더욱 발전시킬 필요가 있음을 시사한다.
본 논문은 이중/편향 제거 머신러닝을 사용하여 패널 추정치의 강건성과 인과적 해석을 검토한다. 기본 처치 설정은 2018년 미국 은행 규제이다. 공통 처치 시점 하에서 식별과 교란 모수 제약을 규명하고, 지정된 "within" 및 "first-difference" 점수의 정확한 은행 수준 표현을 도출한다. 시뮬레이션은 패널 모형 변환에 따른 설정 편향과 더 약한 중첩 조건에서의 추론을 평가한다. 실증적으로 추정치는 자산 규모 분류와 이전 성장률에 따라 달라진다. 이전 성장률 조정은 네 가지 머신러닝(ML) 모형 전반에서 중첩 가중 추정치를 낮추며, 이중 강건 추정치는 적합된 성향 점수와 집중된 가중치에 의존한다. 두 은행 집단 모두 완화 혜택을 받았으므로 노출의 차등 효과를 추정한다. 이 결과는 설정 문제, 그리고 함수 형태 강건성과 인과적 식별 사이의 관계를 부각한다.
시계열 경로의 조건부 생성은 확률적 모델링의 핵심 문제로, 현실적이면서도 외부 맥락에 반응하는 미래 궤적을 시뮬레이션하는 것을 목표로 한다. 이는 금융과 경제학에 직접 응용된다. 신경 확률미분방정식은 연속 시간 확률 동역학과 학습 가능한 드리프트 및 확산 함수를 결합하여 이 과제를 위한 자연스러운 프레임워크를 제공한다. 그러나 조건부 설정에서 목표 상태를 직접 모델링하는 것은, 특히 목표 변수와 조건 변수가 강한 수준 의존성을 갖거나, 학습 데이터가 제한적이거나, 차원이 다를 때 불안정할 수 있다. 우리는 목표를 학습된 조건부 앵커와 확률적 잔차로 분해하는 잔차-앵커 신경 SDE 아키텍처를 제안한다. 앵커는 맥락에 의존하는 기준선을 포착하고, 신경 SDE(Stochastic Differential Equation)는 이 기준선 주변의 잔차 동역학을 모델링한다. 이러한 분리는 확률 동역학의 부담을 줄이며, 스프레드 기반 표현을 더 일반적인 조건 설정으로 일반화한다. 우리는 조건부 금리 시나리오와 시계열 파운데이션 모델과의 비교를 포함한 실제 금융 시계열에서 이 접근법을 평가한다. 결과는 제안한 모델이 그럴듯한 조건부 경로를 생성하고, 경쟁력 있는 점 예측 정확도를 유지하며, 보정된 불확실성 추정을 제공할 수 있음을 보여 준다.
독립성 학습은 통계적 추론과 기계 학습의 근본이지만, 단일 관측 기록만 있을 때 검정을 통해 전체 시계열 간의 독립성을 학습하는 것은 여전히 어렵다. 기존 보장은 흔히 구조적 가정이나 혼합 가정에 의존하며, 정상성과 에르고딕성만으로는 일치 검정이 불가능하다. 본 연구에서는 두 과정의 공통된 지속적 진동 주파수를 나타내는, 공유되는 비자명 쿠프만 고유값이 결정하는 클래스 수준의 경계를 규명한다. 이러한 고유값이 공유되지 않을 때, 우리는 시프트 기반 순위 보정을 유한 윈도 의존성 증거와 데이터 적응형 임계값으로 확장하여, 정량적 혼합 가정 없이 유한 표본 위양성 제어를 갖는 결정론적이고 약일치적인 검정을 구성한다. 반대로, 어떤 (무작위화 가능한) 검정도 모든 독립적인 결합 완전 에르고딕 법칙에서 위양성 확률을 0으로 수렴시키면서, 공유되는 비자명 고유값을 갖는 모든 종속적인 결합 완전 에르고딕 법칙을 일관되게 검출할 수는 없음을 보인다. 이 불가능성은 공유 점 스펙트럼이 임의의 하나의 지정된 무리 고유주파수가 생성하는 순환군과 정확히 일치하는 경우에도 이미 성립하며, 이는 전체 과정 독립성의 보편적 학습에 대한 스펙트럼 장애물을 규명한다.
Model selection and hyperparameter tuning pose a central challenge in off-policy evaluation (OPE) because estimation errors in fitted $Q$-functions and occupancy ratios cannot be directly evaluated using held-out transition data. Existing Bellman-residual-based validation methods often require auxiliary regressions, while many minimax-based methods require optimization over separate critic classes. We propose pairwise Bellman validation (PBV), a family of penalized Bellman tournament methods that reduces validation to computing held-out sample averages. PBV constructs critics from pairwise candidate differences, on the log scale for occupancy ratios, and selects the candidate with the smallest worst-case penalized score. This construction approximates oracle critics given by $Q$-function errors and log ratios of candidate to true occupancy ratios, whose Bellman and adjoint Bellman moments control estimation error. Critic penalties account for approximation error under candidate-class misspecification. We establish finite-sample oracle inequalities relative to the best available candidate, even under candidate-class misspecification. For $Q$-function selection, unweighted PBV avoids importance weighting but requires a coercivity condition on a quadratic form induced by the Bellman operator. Importance-weighted PBV (IW-PBV) uses marginalized importance weighting to exploit Bellman contraction under the target-policy occupancy measure, avoiding this condition. For occupancy-ratio selection, adjoint PBV (A-PBV) exploits KL contraction of the adjoint Bellman operator to obtain oracle guarantees under the offline data law. On Hopper and DeepOPE, unweighted PBV is competitive with LSTD-Tournament, often achieving higher accuracy on Hopper, while importance weighting can further improve performance under controlled overlap.
자연 직접 효과와 간접 효과는 교차 세계 개입 반사실을 통해 정의된다. 본 연구는 역추적(backtracking) 반사실에 기반한 대안적 구성을 제안한다. 처치나 매개변수에 개입하여 구조 방정식을 변경하는 대신, 역추적 조건부 분포를 사용하여 원하는 처치-매개변수 제약을 만족하는 대안적 외생 상태를 구성한 뒤, 변경되지 않은 구조 방정식을 그 상태에서 평가한다. 이를 통해 역추적 직접 효과와 간접 효과, 그리고 역추적 총효과가 얻어진다. 마찬가지로 모집단 개입 효과도 이에 맞게 적응시킨다.
우리는 $\mathbb{R}^n$에서 $\mathbb{R}^m$으로의 모든 연속 함수를 컴팩트 부분집합에서의 균등 수렴 위상에서 근사할 수 있는 심층 신경망의 최소 너비를 연구한다. 활성화 함수가 연속이고 단조라고 가정할 때, 실사영공간 $\mathbb{RP}^{n-1}$이 $\mathbb{R}^n$으로의 매끄러운 몰입을 허용하면 항상 최소 너비가 최소한 $n+\min\{n,m\}$임을 보인다. 그 결과로서, $n$이 2, 3, 4, 7 또는 8이고 $1\le m \le n$일 때 ReLU 신경망의 최소 너비는 $n+m$이며, 이는 Hanin-Sellke와 Hwang의 결과를 확장한다.
본 연구는 생물학적 시스템의 시스템(Bio-SoS) 패러다임 내에서 다중 스케일 바이오공정 모델을 위한 편향 인식 디지털 트윈 보정 및 제어 프레임워크를 개발한다. 디지털 트윈은 확률 미분방정식(SDE) 모델로 표현되며, 준우도 추정과 수반 민감도 분석을 이용하여 희소한 관측치로부터 보정된다. SDE 생성자 기반 모멘트 전개는 절단에 의해 유발되는 매개변수 편향을 규명하고, 순방향-역방향 수반 방정식은 보정 불확실성이 가치 함수와 정책 성능으로 전파되는 정도를 정량화한다. 그 결과로 얻은 매개변수 오차 분포는 2차 가우시안 평균 목적함수를 통해 정책 지향적 데이터 획득과 불확실성 인식 정책 최적화를 모두 뒷받침한다. 본 연구는 결과적인 탐색 기준의 점근적 거동을 규명하고, 최적화된 정책 하에서의 물리 시스템 성능을 도출한다. 이러한 아이디어를 구현하기 위해, 모델 매개변수를 갱신하고 정보량이 높은 실험을 선택하며 제어 정책을 최적화하는 작업을 동시에 수행하는 Actor-Simulator 알고리즘을 개발한다. 수치 연구에서는 최신 기준 방법 대비 보정 정확도, 표본 효율, 제어 성능이 향상됨을 보인다.
대규모 언어 모델(LLM)은 분류기로 점점 더 많이 사용되지만, 그 결정은 해석하기 어려운 불투명한 시스템으로 작동하므로 신용 평가나 의료 진단과 같은 규제 영역에서의 사용이 복잡해진다. 본 연구는 해석 가능한 분류를 위한 자연어 특징 정의(루브릭)를 반복적으로 발견하는 진화적 프레임워크를 제안한다. LLM은 후보 이진 특징을 생성하고 각 표본을 이들에 대해 평가하며, 그 결과 벡터는 로지스틱 회귀와 같은 투명한 분류기를 학습시키는 데 사용될 수 있다. 특징 집합은 분류 오류, 클래스별 활성화율, 특징 제거 점수에 의해 유도되어 여러 반복에 걸쳐 진화한다. 규제 영역을 대표하는 신용 위험 데이터셋을 포함한 세 가지 벤치마크에서 단발 LLM 루브릭, 진화된 루브릭, 직접 제로샷 LLM 분류를 비교 평가한다. 진화된 특징은 단발 루브릭 대비 평균 +2.9 pp 향상되고 세 과제 중 두 과제에서 제로샷 LLM 분류를 능가하면서 완전히 감사 가능한 결정 논리를 제공한다. 신용 위험 과제에서 제로샷 LLM은 단일 클래스에 강하게 편향되어 우연 수준(50.7%)의 성능을 보인 반면, 진화된 특징은 균형 잡힌 해석 가능한 예측을 달성한다. 중요하게도 이러한 실패는 전체 정확도에서는 드러나지 않으며 클래스별 감사에서만 나타난다. 분석 결과, 진화는 레이블 경계를 범주 이름만으로 추론할 수 없을 때, 또는 LLM이 신뢰할 만한 도메인 특화 추론 능력을 갖추지 못했을 때 가장 효과적임이 밝혀졌다.
제약 공정 특성화(process characterization)는 공정 매개변수의 변동이 제품 품질 규격 충족 능력에 어떤 영향을 미치는지를 규정하여 입증된 허용 범위(proven acceptable ranges)와 견고한 제조를 뒷받침하므로, 설계 기반 품질 관리(Quality by Design)의 핵심이다. 그러나 실제로 특성화는 여전히 요인 실험 계획법(DOE) 접근법에 크게 의존하고 있으며, 이 방법은 고차원 공간에서 다변량 합격/불합격 경계를 규명하는 데 비효율적이다. 베이지안 최적화(Bayesian optimization)가 공정 최적화를 변화시켜 왔음에도, 다목적 공정 특성화를 위한 적응형 방법은 여전히 부족하다. 본 논문에서는 다목적 공정 특성화를 위한 베이지안 능동 학습(active-learning) 획득 함수(acquisition function)인 JAREX(Joint Acceptable Region EXploration)를 제안한다. JAREX는 특성화를 결합 경계 학습(joint boundary-learning) 문제로 정식화하고, 여러 목적에 걸친 임곗값 기준을 동시에 만족하여 정의되는 결합 합격 영역(joint pass region)을 복원하도록 실험을 적응적으로 선택한다. JAREX는 낙관적 결합 실현 가능성 마스크(optimistic joint-feasibility mask)와 무작위 straddle의 다목적 확장을 결합하여, 결합 불합격 경계(joint edge of failure)에 샘플링을 집중한다. 벤치마크 연구 결과, JAREX는 전체 실험 예산 범위에 걸쳐 요인 DOE, 공간 충전 설계(space-filling designs), 그리고 목적별 탐욕적(greedy) 전략보다 결합 합격 영역을 더 정확하고 샘플 효율적으로 복원하는 것으로 나타났다. 배치 실험의 경우, 경계 식별 과제에서 높은 정확도를 유지하면서 반복적 공정 특성화 실험의 횟수를 절반 이상 줄인다. 오픈소스 obsidian 패키지로 구현된 JAREX는 적응적이고 데이터 효율적인 다목적 알고리즘 기반 공정 특성화를 위한 모듈형 프레임워크를 제공하며, 고차원 공간에서의 샘플 효율적인 범위 탐색(range finding)을 뒷받침한다.
LLM 백테스트에서 오염을 확인하는 표준적인 방법은 단순하다. 학습 시점 기준(cutoff) 전후의 점수를 비교하는 것이다. 우리는 이 검사가 정보를 주지 못함을 보인다. 주력 모델 네 개가 암기했을 수 없는 질문에서도 이 검사를 통과하지 못하는데, 점수가 매겨진 모든 질문이 해당 모델의 기준 시점 이후에 결과가 확정되었기 때문이다. 그 이유는 구조적이다. 모델은 기준 시점에 가까운 시기에 대해 정당하게 더 많이 알고 있으므로 최신성이 누출을 흉내 내며, 어떤 수동적 백테스트도 이 둘을 진정한 실력과 구분할 수 없음을 증명한다. 탐지뿐 아니라 측정에도 백테스트 외부의 정보가 필요하다. 우리는 이를 두 가지 형태로 제공한다. 알려진 기준 시점은 경계에서의 누출을 식별하고, 짝지어진 깨끗한 대조군은 전역적으로 누출을 식별하여 누출 보정 점수를 산출한다. 볼록 당김(convex-pull) 모형에서 누출은 군중을 놀라게 했고 학습이 잘 다룬 결과에 집중된다. 부분적 암기만으로도 전체 부풀림의 상당 부분이 발생한다. 누출을 심어 둔 쌍둥이 모델에서 추정량은 누출을 탐지하고 위치를 특정하며, 그 정도를 추적하고, 깨끗한 질문에서는 영(null)을 반환한다. 최첨단 모델에서는 추정량이 기준 시점에 국한된 하나의 특징적 신호를 탐지한다. 단순 격차가 양수인 모델 다섯 개에서는 시험한 경계에서 유의한 누출이 발견되지 않는다. 백테스트를 폐기할 필요는 없으며, 방어 가능한 하나의 기준이 필요할 뿐이다.
협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.
많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.
본 논문은 다중 환경 예측 문제를 다룬다. 환경이 잠재 변수의 분포를 변화시키는 반면, 관측된 공변량과 타깃을 생성하는 메커니즘은 해당 변수가 주어진 조건에서 안정적으로 유지된다고 가정한다. 예를 들어 병원이나 임상 코호트는 잠재적 환자 상태의 유병률이 서로 다를 수 있지만, 그러한 상태와 생리학적 측정값 및 결과 사이의 관계는 변하지 않는다. 여러 환경에서 얻은 데이터셋이 주어졌을 때, 이러한 문제에 대한 베이지안 모델을 정식화하고 이에 대응하는 변분 목적 함수를 유도한다. 이 목적 함수가 환경별 항과, 모델 구조에서 유도되는 추가적인 환경 간 균형 항으로 분해됨을 보인다. 경험적 베이즈 방법을 사용해 사전분포를 설정하고 이를 목적 함수에 통합한다. 이 목적 함수를 기반으로 사후분포 근사를 위한 상환(amortized) 변분 알고리즘을 개발하고, 학습된 잠재 변수를 사용하여 새로운 환경에서의 예측을 수행한다. 시뮬레이션과, 천문 소스 식별, 마이크로바이옴 기반 질병 탐지, ICU 패혈증 예측에 대한 실제 연구를 통해 본 접근법을 분석한다. 이러한 설정 전반에서 제안한 방법은 새로운 환경에서의 예측에서 기존 접근법보다 우수한 성능을 보였다.
기존의 안정성 가장자리(edge of stability, EoS) 분석은 이를 최적화의 전역적 속성으로 취급한다. 본 논문은 EoS가 선택적이기도 함을 보인다. 즉, 안정성 제약은 학습 분포의 부분집합들 사이에서 학습을 재분배하여, 일부 그룹에서는 진전을 증폭하고 다른 그룹에서는 억제한다. 동일한 학습 상태에서 EoS 영역에 진입하거나 이탈하는 분기 개입(branching intervention)을 사용하여 이러한 상충 관계를 인과적으로 입증하고, 그룹이 이득을 얻기 위한 두 가지 필요 조건을 규명한다. 첫째, 그룹의 집계 기울기가 헤시안의 최대 고유벡터와 정렬되어야 한다. 거리는 보존하되 방향을 무작위화하는 통제된 섭동으로 이 메커니즘을 분리하는데, 이 섭동은 정렬을 파괴하여 이점을 제거한다. 둘째, 그룹은 시간에 따라 소멸하지 않는 기울기 크기를 유지해야 한다. 교차 엔트로피 손실 하에서는 기울기 포화가 확신을 갖고 분류된 그룹들을 분리시켜, 기울기가 지속되는 출력 이상치(output-outliers)로 이점이 이동한다. 이러한 결과는 종합적으로 EoS가 안정성 경계로서만이 아니라 데이터 분포 전반에서 학습의 배분을 지배하는 메커니즘으로도 기능함을 보여 준다.
사고 연쇄(CoT) 추론은 추론 시점에 중간 추론 단계를 생성함으로써 대규모 언어 모델의 다단계 추론을 이끌어내는 데 널리 쓰이는 메커니즘이 되었다. 그러나 CoT 깊이에 따른 일반화의 스케일링 거동은 아직 잘 이해되지 않고 있다. 이 문제를 다루기 위해, 우리는 선형 회귀에서 인컨텍스트 가중치 예측을 위한 이론적으로 풀 수 있는 CoT 모델을 연구한다. 여기서 테스트 시점 추론은 가중치 파라미터 추정치의 반복적 개선으로 표현된다. 고차원 점근 조건에서 랜덤 행렬 이론의 도구를 사용하여, 추론 깊이, 사전 학습 데이터량, 컨텍스트 길이의 함수로서 일반화 오차에 대한 정확한 공식을 유도한다. 우리의 분석은 지수적 개선과 다항식적 개선, 포화, 과잉 사고를 구분하는 급격한 상전이를 밝히고, 최적 추론 깊이가 어떻게 스케일링되는지를 규명한다. 또한 더 깊은 추론은 충분히 풍부한 사전 학습과 인컨텍스트 정보가 있을 때 가장 효과적인 반면, 사전 학습이나 컨텍스트가 제한적이면 더 긴 추론이 오차 증폭이나 포화에 빠지기 쉬움을 보인다. 우리는 또한 완전히 학습된 선형 어텐션 및 소프트맥스 어텐션 모델에 대한 실험으로 이러한 예측을 검증한다. 우리의 결과는 테스트 시점 CoT 깊이가 일반화에 미치는 영향에 대한 통합적인 이론적 설명을 제공한다.