arXiv:2609.26811v1 cs.LG

드리프트 계약: 깊이에 강건한 로컬 학습을 위한 스펙트럼 업데이트

The Drift Contract: Spectral Updates for Depth-Robust Local Learning

Fabien Polly

제출 2026-09-24

한국어 초록

로컬 학습(local learning)은 전역 역전파(global backward pass) 없이 각 층(layer)을 자체 보조 손실(loss)로 학습(training)하므로 층 업데이트를 구조적으로 병렬화할 수 있게 합니다. 그러나 깊이가 깊어질수록 정확도가 저하되고 하이퍼파라미터가 취약하다는 두 가지 문제로 인해 비주류에 머물러 있었습니다. 본 연구에서는 기존에 연구되지 않았던 교집합 영역으로서, 층별 로컬 업데이트에 Muon 스타일의 스펙트럼 업데이트 기하학(스펙트럼 스텝 스케일링을 결합한 모멘텀 직교화)을 적용합니다. 로컬 선형 헤드를 갖춘 CIFAR-10 MLP 벤치마크(benchmark)에서, 로컬 Adam은 너비와 깊이 두 축 모두에서 재튜닝이 필요하고 깊이 48에서는 여전히 붕괴(깊이별 재튜닝 시 31.3%, 깊이 12 설정을 전이했을 때 19%, 반면 스펙트럼 업데이트는 변경되지 않은 설정에서 42.7%)하는 반면, 스펙트럼 업데이트는 단일 스텝 크기 설정만으로 테스트된 너비 128~2048 및 깊이 12~48 격자에서 최적의 값을 보였습니다. 5개의 시드와 너비 512에서 스펙트럼 업데이트는 로컬 Adam을 뚜렷한 마진(margin)으로 앞섭니다(48.9 +/- 0.5 대 46.6 +/- 0.3). 전향적으로 명시된 대조 실험을 통해 이러한 전이 성능과 대부분의 깊이 강건성이 그 위의 어떤 스텝 크기 규칙보다는 스펙트럼 기하학 자체에 기인함을 확인했습니다. 추가로 스텝 크기를 드리프트 계약(drift contract), 즉 lr = epsilon / RMS(input)으로 정형화하여, 현재 입력을 조건으로 각 층의 스텝당 가중치(weight) 유도 사전 활성화(pre-activation) 변화를 제한합니다. 이 계약은 해당 기준선(baseline)이 측정된 지점에서 최적의 고정 학습률(learning rate) 대비 약간의 성능 향상을 가져오고, 스텝 크기를 해석 가능하게 만들며, 표준 최적화(optimization) 도구가 제공하지 못하는 층별·입력 조건부 드리프트 한계를 제공합니다. 한 가지 부정적 결과도 보고합니다. 트렁크(trunk)에 RMSNorm과 가중치 감쇠(weight decay)가 포함된 경우 스펙트럼 업데이트의 안정성 이점은 로컬 학습이 아닌 전역 학습에 귀속되므로, 로컬 학습의 이점은 정확히 정규화(normalization)가 부재한 곳에 집중됩니다.

원문 초록

Local learning trains each layer with its own auxiliary loss and no global backward pass, which makes layer updates structurally parallel. Two problems have kept it marginal: accuracy degrades as depth grows, and hyperparameters are fragile. We apply Muon-style spectral update geometry (momentum orthogonalization with spectral step scaling) to per-layer local updates, an intersection not previously studied. On CIFAR-10 MLP benchmarks with local linear heads, a single step-size setting is the best value in our tested grids from width 128 to 2048 and from depth 12 to 48, while local Adam requires re-tuning along both axes and still collapses at depth 48 (31.3 percent re-tuned per depth, 19 percent with its depth-12 setting transferred, vs 42.7 percent for the spectral update at its unchanged setting). At five seeds and width 512 the spectral update leads local Adam by a clear margin (48.9 +/- 0.5 vs 46.6 +/- 0.3). Prospectively specified controls attribute the transfer and most of the depth robustness to the spectral geometry itself rather than to any step-size rule on top of it. We additionally formulate the step size as a drift contract, lr = epsilon / RMS(input), which bounds each layer's weight-induced pre-activation change per step, conditioned on its current input. The contract yields a small gain over the best fixed learning rate where that baseline is measured, makes the step size interpretable, and provides a per-layer, input-conditioned drift bound that standard optimizers do not offer. We report one negative result: with RMSNorm and weight decay in the trunk, the stability benefit of spectral updates accrues to global rather than local training, so the local advantage concentrates precisely where normalization is absent.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26811v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13471v1cs.NE공통 태그 Stochastic Optimization, Benchmarking

평가 예산이 제한된 최적화를 위한 REMBGO: CEC2022 벤치마킹 및 EAF-STATCOM 일반화

REMBGO for Evaluation-Limited Optimization: CEC2022 Benchmarking and EAF-STATCOM Generalization

메타휴리스틱(metaheuristic) 비교는 비용이 큰 공학 시뮬레이션이 감당할 수 있는 수준보다 훨씬 더 큰 평가 예산에서 보고되는 경우가 많습니다. 본 논문에서는 EMBGO를 평가 예산 인식형으로 개선한 REMBGO를 제시합니다. 본 연구의 기여는 특정 단일 연산자가 아니라, 부모 대비 이점이 제한된 함수 평가 예산 하에 집중되는 개체군 보존, 척도 정규화 탐험(exploration) 및 복구 메커니즘들의 통합에 있습니다. REMBGO는 CEC2022에서 실제 응용에 맞춘 주요 예산인 1040회 함수 평가를 바탕으로 평가되었으며, 통제된 가설군이라기보다는 예산 의존성을 특성화하기 위해 주변 예산 래더(budget ladder)를 기술적으로 보고했습니다. 구성 요소 제거(component-removal) 연구 결과 다중성 보정(multiplicity correction)을 통과하는 개별 메커니즘은 발견되지 않았으며, 이는 단일 연산자가 아닌 통합적 기여라는 점과 일치합니다. 이후 이 알고리즘은 EAF-STATCOM 제어기 튜닝에 적용되었고, 도출된 고정 게인 벡터는 재튜닝 없이 사전에 지정된 20개의 미확인 확률적 아크 실현($210$회 고정 게인 시뮬레이션, 모두 실행 가능)으로 전이되었습니다. 선택된 게인 벡터 주효과는 교차 검증(validation) 변량의 $3.6$--$5.8\%$만을 설명하는 반면, 상호작용 및 잔차는 약 $61.4\%$를 차지했으며, 매칭된 REMBGO-EMBGO 쌍체 차이는 부호 면에서 제어기에 따라 달라졌고 통계적으로 유의미하지 않았습니다. 따라서 REMBGO는 보편적으로 우수한 옵티마이저(optimizer)라기보다는 평가 예산과 함께 이점이 명시되어야 하는 자원 인식형 개선 기법으로 제시됩니다.

arXiv:2610.13675v1eess.IV공통 태그 Image Classification, Benchmarking

멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹

Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.

arXiv:2610.03193v1cs.CV공통 태그 Image Classification, Benchmarking

연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가

Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification

최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.