원문 초록
Machine learning (ML) algorithms are known to be opaque. We do not know the reasons for their predictions. The learning process leading to the prediction function is also opaque. We do not fully understand the time evolution of the weight values of neural nets (NN) and related dynamical phenomena. While prediction opacity is widely studied, learning opacity remains largely underexplored. This article studies learning opacity trough the lens of complex dynamical systems. We argue that NN learning is essentially a complex system and that learning opacity is due to dynamical complexity and the epistemological challenges that arise from it. We identify three key properties of training complexity -- sensitivity to weight initialization, feedback in gradient based optimization, and sensitivity to the training data -- and show how each contributes to learning opacity. As these properties are fundamental to the learning process damping or eliminating them would fundamentally alter how ML systems learn. Some sources of opacity in ML may hence be irreducible.
요약
신경망(NN) 학습 과정이 불투명한 이유를 복잡계 동역학의 관점에서 분석하며, 가중치 초기화 민감성, 경사 기반 최적화의 피드백, 학습 데이터 민감성이라는 세 가지 훈련 복잡도의 핵심 속성이 학습 불투명성(learning opacity)에 어떻게 기여하는지를 규명한다. 이 속성들은 학습 과정에 본질적으로 내재되어 있어 일부 불투명성의 원인은 근본적으로 제거 불가능할 수 있음을 논증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24953v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark
논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건
The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition
옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.
노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화
Private Decentralized Optimization with Noise Reduction and Bias Correction
프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.
FMOPF: AC 최적 전력 흐름을 위한 제약 인식 상호작용 사전 기반 잠재 플로우 매칭
FMOPF: Latent Flow Matching with Constraint-Aware Interaction Priors for AC Optimal Power Flow
AC 최적 전력 흐름(OPF)은 비선형 전력 평형 제약 하에서 최소 비용 발전 배치를 결정하며, 전력 시장 운영에서 하루에 수천 번 풀린다. 부하 조건에서 OPF 해법으로의 직접 매핑을 학습하면 이 계산을 가속할 수 있지만, 재생에너지 침투가 심화되면서 단일 최적 배치만으로는 더 이상 충분하지 않다. 운영자는 위험 정량화, 민감도 분석, 다목적 트레이드오프 평가를 위해 실행 가능한 근최적 해법 분포의 특성화가 필요하다. 지도 학습 신경망은 빠른 점 예측을 제공하지만 이 조건부 분포를 포착할 수 없다. 확산 기반 생성 모델은 원칙적으로 다양한 해법을 샘플링할 수 있지만, 원시 상태 공간에서 동작하는 기존 방법은 해법 품질이 저하되고 중간 규모 시스템 이상으로 확장하지 못한다. 우리는 근본 원인을 단일 모델 내에서 두 가지 서로 다른 과제가 혼재된 것으로 확인했다. 고차원 OPF 해법 매니폴드를 압축하는 것이 한 과제이고, 부하에서 그 매니폴드로의 조건부 매핑을 학습하는 것이 또 다른 과제이다. 본 논문은 잠재 플로우 매칭(latent flow matching)을 통해 압축과 생성을 분리하고, Constraint-Aware Interaction Prior Network를 통해 부하-상태 결합을 명시적으로 모델링함으로써 이러한 혼재를 해소하는 프레임워크인 FMOPF를 제안한다. 4개 IEEE 테스트 시스템에서의 실험은 FMOPF가 가장 효과적인 Newton-Raphson 웜 스타트(warm start)를 제공하고, 생성 방법 중 최저 꼬리 위험(tail risk)을 달성하며, 완전한 실행 가능성을 유지하면서 수백 개 버스(bus) 규모 시스템까지 확장 가능한 최초의 방법임을 보여준다. Ablation 연구는 잠재 생성 파이프라인이 물리적 실행 가능성의 필요 조건이며, 상호작용 사전(prior)이 후단 꼬리 위험 제어기로 기능함을 확인한다.
배포 시프트 하 위험 통제 N-1 열 사고 선별을 위한 감사 기반 선택적 검증
Audited Selective Verification for Risk-Controlled N-1 Thermal Contingency Screening under Deployment Shift
에너지 관리 시스템에서의 실시간 N-1 사고(contingency) 선별은 보증과 비용 사이의 트레이드오프를 수반한다. 모든 신뢰 가능한 정전(outage)을 전력조류(power flow)로 완전히 검증하는 것은 너무 느린 반면, 빠른 선형 민감도(linear-sensitivity) 기반 선별은 통계적 보증을 제공하지 않으며, 특히 제어기가 시스템을 낯선 운전 영역으로 유도할 때 불안전한 운전점을 조용히 통과시킬 수 있다. 본 논문은 Audited Selective Verification을 제안하며, 이는 최적화(optimization), 모델 예측(model-predictive), 또는 학습 기반(learned) 제어기 출력에 적용할 수 있는 위험 예산(risk-budgeted) 기반 선별 및 분류(triage) 층이다. 저비용 서로게이트(surrogate)가 건너뛸 정전을 제안하고, 온라인 감사(audit)는 각 윈도우마다 소규모 무작위 표본에 대해 전력조류를 수행하며, 보정된(calibrated) 임계값은 선택된 예산과 신뢰도에서 건너뛴 집합에 대한 열 위반률(thermal-violation-rate) 경계를 인증하고, 미검증 신뢰 부분집합에 대응하는 경계도 제공한다. 타당성은 서로게이트 정확도가 아니라 실제 검증과 감사에 기반하므로 임의의 배포 시프트(deployment shift) 하에서도 성립한다. 이는 위험 예산 기반 선별일 뿐, 정책이 모든 신뢰 가능한 사고를 검증하도록 요구할 때 결정적(deterministic) 검증을 대체하는 것이 아니다. 최대 1354 버스 규모의 3개 공개 송전(transmission) 시스템에서, 실현된 위반률은 예산 내에 유지되고, 표준 결정적 및 보정된 선별 방법은 시프트 하에서 불안전해지며, 본 방법은 실시간 운전점당 전력조류 연구를 29%에서 75%까지 절감한다.
에이전틱 AI를 위한 AI 네이티브 보험: 요율 산정, 인수심사 및 종단 간 자동화
AI-Native Insurance for Agentic AI: Pricing, Underwriting, and End-to-End Automation
에이전틱 AI는 자율 AI 시스템이 의사결정을 내리고, 도구를 호출하며, 외부 환경을 수정하고, 제3자 서비스와 상호작용할 수 있기 때문에 새로운 보험 과제를 야기한다. 본 논문은 에이전틱 AI 배포를 위한 인수심사, 요율 산정, 계약 설계를 위한 AI 네이티브 수학적 프레임워크를 개발한다. 배포는 자율성 수준, 운영 권한, 권한 노출, 거버넌스 성숙도, 의존성 집중도를 포착하는 위험 상태(risk state)로 표현된다. 이 프레임워크는 위험 상태를 사건 확률, 손실 심각도, 거버넌스 비용, 보험료, 공제액, 보장 배분, 정책 약정에 매핑하고, 참여(participation), 수익성(profitability), 인센티브 호환성(incentive compatibility) 제약 하에서 보험 계약 설계를 위한 최적화 문제를 공식화한다. 논문은 보험 가능성(insurability)의 구조적 특성을 정립하며, 여기에는 보험 가능 영역(insurability region)의 특성화, 노출 증가에 따른 실현 가능성의 단조적 악화, 거버넌스 인증 임계값이 포함된다. 보험은 또한 AI 배포에 대한 운영 비용이자 규제 메커니즘으로 해석된다. 의료 분야 사례 연구는 에이전틱 AI 시스템에 대한 계약 최적화, 민감도 분석, 자동화된 보험금 청구 처리를 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.