상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.
양성 과적합은 모델이 잡음이 섞인 훈련 데이터를 정확히 적합하면서도 일반화가 잘 이루어지는 현상이다. 본 연구는 표준 ReLU 활성화를 사용하는 유한 너비 두 층 신경망을 고정 차원에서 경사 흐름으로 훈련할 때 이러한 거동이 나타남을 증명한다. 우리의 데이터 독립적 초기화는 가우시안 가중치와, 처음에는 줄어드는 구면 캡에서만 활성화되는 뉴런을 결합한다. 균일한 구면 입력과 임의의 고정된 유계 조건부 응답 법칙에 대해, 훈련 위험과 초과 위험은 충분히 늦은 모든 시점에 걸쳐 균등하게 확률적으로 0으로 수렴한다. 또한 매개변수는 확률이 1로 수렴하면서, 초과 위험이 확률적으로 0으로 수렴하는 보간 극한으로 수렴한다. 표본 크기와 차원에만 의존하는 하나의 스케줄을 사용한다. 증명은 네트워크를 커널 흐름과 연결하며, 그 극한은 릿지 회귀와 훈련 잔차를 적합하는 국소화된 스파이크를 결합한 것이다. 표본 크기, 너비, 훈련 시간에 대한 명시적 경계를 제시한다.
관련된 원천 연구의 정보는 종종 목표 연구의 결과를 향상시킬 수 있다. 그러나 목표 연구와 원천 연구 사이의 분포 변화는 지식 전이의 효율을 심각하게 저해할 수 있다. 고차원 회귀 설정에서 기존 전이 접근법은 주로 모수 변화에 초점을 둔다. 본 논문에서는 모수 변화, 공변량 변화, 잔차 변화의 세 가지 유형의 분포 변화 하에서 지식 전이를 수반하는 고차원 분위 회귀에 초점을 둔다. 위의 세 가지 불일치를 다루기 위해 새로운 전이 가능 집합과 새로운 전이 프레임워크를 제안한다. 분포 변화가 존재하는 상황에서 제안 방법의 유효성과 우수성을 검증하기 위해 비점근적 추정 오차 상界와 원천 탐지 일치성을 확립한다. 또한 지식 전이를 포함한 통계적 추론을 위해 직교 편향 제거 접근법을 제안하며, 이는 더 정밀한 점근 결과로 이어진다. 광범위한 모의실험 결과와 실제 데이터 응용은 제안한 절차의 효과를 추가로 입증한다.
우리는 경사 흐름으로 학습된, ReLU 활성화 함수를 갖는 2층 완전연결 신경망을 이용한 최소제곱 회귀 문제를 연구한다. 첫 번째 결과는 일반화 결과로, 기저 회귀 함수나 잡음이 유계라는 것 외에는 어떠한 가정도 요구하지 않는다. 우리는 신경 접선 커널 영역에서 분석하며, 경사 흐름을 암묵적 정규화기로 간주하여 초과 위험을 추정 오차와 근사 오차로 분해함으로써 일반화 결과를 도출한다. 신경망 맥락에서 이러한 분해는 경사 하강법에 대한 새로운 관점이며, 균등 수렴의 함정을 피하는 데 도움이 된다. 본 연구에서는 또한 동일한 설정에서 학습된 신경망이 데이터에 과적합됨을 증명한다. 이 결과들을 종합하여, 임의의 회귀 함수에 대한 유한 너비 ReLU 신경망의 양성 과적합에 관한 최초의 결과를 확립한다.
대기 중 이산화탄소(CO$_2$)의 우주 기반 관측은 전 지구 탄소 수지를 제약한다. NASA의 궤도 탄소 관측위성 2호(OCO-2)는 고해상도 스펙트럼으로부터 CO$_2$의 칼럼 평균 건조 공기 몰분율(XCO$_2$)을 추정하지만, 운용 중인 반演 방법은 계산 비용이 크고 반演된 사후분포에 엄격한 가우시안성 가정을 부과한다. 우리는 상각된 확률적 추론을 통해 이 두 문제를 모두 해결하는 딥러닝 프레임워크를 제시한다. 실제 관측에 대한 참값이 없으므로, 보정된 순방향 모형 오차를 갖는 고충실도 OCO-2 시뮬레이션 앙상블에서 학습하고 평가하며, 동일한 복사휘도에 대해 편향 보정을 적용하지 않은 버전 10 운용 완전 물리 반演과 비교한다. 우리의 아키텍처는 각 스펙트럼 대역을 별도로 인코딩하고, Laplace 근사와 조건부 정규화 흐름을 사용하여 전체 CO$_2$ 칼럼 또는 그 요약량의 사후분포를 추정한다. 일단 학습되면 추론 비용은 관측 한 건당 분 단위가 아니라 밀리초 단위이다. 순방향 모형 불일치를 명시적으로 포함하는 시뮬레이션으로 학습한 우리의 반演은 우리가 고려한 두 데이터 분할 모두에서 XCO$_2$에 대해 운용 반演보다 더 정확하며, 프로파일에서는 경쟁력이 있다. 흐름 모형은 가우시안이 표현할 수 없는 비대칭 사후분포를 표현하며, 이 이득은 규모가 아니라 형태에 기인하고, 예측 밀도에서의 이점은 정확도 이점이 사라진 곳에서도 지속된다. 이러한 결과는 육지 전용 앙상블에서 운용 알고리즘의 한 가지 구성에 대해 확립된 것이다. 보류된 기준 관측과 보지 못한 두 달에서도 XCO$_2$와 밀도의 이점이 지속된다. XCO$_2$의 경우 2월 데이터에서 커버리지가 명목값에 가까우며, 보지 못한 달들에서는 명목값에 미치지 못하지만 운용 반演의 경우보다 훨씬 더 명목값에 가깝다.
행렬 $M\in \mathbb{R}^{m\times n}$이 주어졌을 때, 저랭크 행렬 완성 문제는 원소 집합 $\Omega\subseteq [m]\times [n]$로 지정된 소수의 원소만을 관측하여 $M$의 랭크-$k$ 근사를 $U\in \mathbb{R}^{m\times k}$와 $V\in \mathbb{R}^{n\times k}$에 대해 $UV^\top$ 형태로 찾도록 요구한다. 특히 본 연구는 실무에서 널리 사용되는 접근법인 교대 최소화 프레임워크를 살펴본다. Jain, Netrapalli, Sanghavi [JNS13]는 $M$의 행과 열이 비일관적(incoherent)이면 $n$에 대해 거의 선형인 개수의 원소를 관측하는 것만으로 교대 최소화가 행렬 $M$을 증명 가능하게 복원함을 보였다. 이후 표본 복잡도는 개선되었으나 [GLZ17], 교대 최소화 단계를 정확하게 계산해야 한다는 요구는 여전히 남아 있다. 이는 더 효율적인 알고리즘의 개발을 저해하며, 효율을 위해 갱신을 보통 근사적으로 수행하는 교대 최소화의 실제 구현을 설명하지 못한다. 본 논문에서는 더 효율적이고 오차에 강건한 교대 최소화 프레임워크를 향해 중요한 진전을 이룬다. 이를 위해 근사 갱신으로 발생하는 적당한 크기의 오차를 허용할 수 있는 교대 최소화의 분석적 프레임워크를 개발한다. 더욱이 제안하는 알고리즘은 표본 복잡도를 유지하면서 $\widetilde O(|\Omega| k)$ 시간에 실행되며, 이는 해를 검증하는 데 걸리는 시간에 거의 선형이다. 이는 $\widetilde O(|\Omega| k^2)$ 시간을 요구하던 기존의 모든 교대 최소화 접근법을 개선한 결과이다.
대규모 생의학 및 사회과학 데이터 분석에 널리 쓰이는 일반화 선형 혼합 모델(GLMM)의 확장 가능한 베이지안 추론을 위해, Fisher의 항등식을 활용한 주변 로그 가능도 그래디언트 추정에 기반한 확률적 그래디언트 MCMC(SGMCMC) 알고리즘을 제안한다. 데이터 서브샘플링과 그래디언트 근사에서 발생하는 분산 팽창을 사후 보정하여 전자 건강 기록 데이터 분석을 포함한 시뮬레이션 연구에서 기존 제어 변량 방법 대비 정확한 사후 불확실성 정량화를 달성하였다.
그래디언트 플로우 최적화를 랜덤 효과 모델(random-effects model)의 통계적 추론 문제로 재해석하여, 학습 시간을 분산 성분(variance component) 매개변수로 다루는 이론적 프레임워크를 제시한다. 이를 기반으로 REML(restricted maximum likelihood) 기반 조기 종료(early stopping) 규칙을 도출하였으며, UK Biobank 프로테오믹스 데이터 실험에서 검증 데이터 분할 없이도 경쟁력 있는 예측 정확도를 달성함을 보인다.
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
우울증은 전 세계적으로 장애의 주요 원인이지만, Patient Health Questionnaire-9(PHQ-9)와 같이 검증된 설문지는 종종 작성되지 않아 희소하고 편향된 데이터를 낳는다. AI 정신건강 애플리케이션 사용자는 기분, 수면, 기능 상태를 요청 없이도 자주 서술하며, 이는 증상에 대한 연속적인 기록을 만들어 낸다. 본 연구에서는 이러한 대화만으로 PHQ-9 점수를 예측한다. 많은 임상 언어 과제와 마찬가지로 레이블은 부족하고 불균형하다. 이를 해결하기 위해 Qwen 3.5 27B를 회귀 헤드와 함께 미세 조정하고, 3,111개의 정답 레이블을 최첨단 추론 모델과 반복적으로 학습된 중간 모델들이 생성한 의사 레이블로 증강하여, 점수가 더 균형 잡힌 5,524명의 사용자로 확장하였다. 보류된 422명의 사용자에서 모델은 MAE $= 3.98$, Pearson $r = 0.67$, 임상 기준(PHQ-9 $\geq 10$)에서 AUC $= 0.88$을 달성하였으며, PHQ-9 $\geq 3$부터 PHQ-9 $\geq 24$에 이르는 심각도 기준 전반에서 AUC가 $> 0.80$으로, 모델이 전체 임상 스펙트럼에 걸쳐 우울증 심각도를 포착함을 보여 준다. 이러한 결과는 자기 보고 없이도 수동적인 우울증 모니터링이 가능함을 뒷받침한다.
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.
트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.
가우시안 프로세스(GP) 회귀는 공학 및 과학 분야의 컴퓨터 시뮬레이션을 위한 대표적인 대리 모델링 도구이다. 그러나 시뮬레이션에 입력 변수가 지나치게 많으면 계산 비용이 높고 예측 정확도가 낮은 문제를 겪는 경우가 많다. 일부 시뮬레이션 모델에서는 출력이 ``활성 변수''라고 불리는 입력 변수의 작은 부분집합에 의해서만 유의하게 영향을 받을 수 있다. 우리는 이러한 활성 변수를 식별하여 GP 모델의 한계를 극복하고 시스템 이해를 높이는 최적 커널 학습 접근법을 제안한다. 본 방법은 원래 GP 모델의 공분산 함수를 각각 저차원 입력 변수 부분집합을 사용하는 커널 함수들의 볼록 결합으로 근사한다. 최적 설계 문헌의 Fedorov-Wynn 알고리즘에서 착안하여, 이 근사를 결정하는 최적 커널 학습 알고리즘을 개발한다. 효율적인 계산을 위해 ``실험 설계 및 분석'' 분야에서 차용한 효과 유전 원리를 도입한다. 여러 예제를 통해 제안 방법이 고려한 예제에서 유리한 계산 성능과 함께 경쟁력 있는 예측 및 변수 선택을 제공함을 보인다. 이는 대리 GP 회귀를 해석하고 복잡한 기저 시스템을 단순화하는 효과적인 해법이다.
표 형식 데이터에 대한 예측 기계학습용 파운데이션 모델은 최근 학계와 산업계에서 큰 주목을 받고 있다. 여러 분야의 연구 커뮤니티가 다양한 데이터셋과 과제에서 표 형식 파운데이션 모델을 점점 더 많이 평가하고 있다. 그러나 벤치마크 소프트웨어와 평가 프로토콜이 파편화되어 있어, 이러한 과제별·분야별 평가는 모델 연구자가 거의 접근할 수 없다. 그 결과 모델 연구자는 표준 벤치마크에 의존하는데, 이는 대부분 표 형식 파운데이션 모델이 이미 뛰어난 과제를 대상으로 정의되어 있다. 가장 어려운 시나리오는 제외되어, IID 데이터에서의 미미한 개선에 집중하고 더 폭넓고 까다로운 과제를 소홀히 함으로써 이 분야의 의미 있는 진전을 제한한다. 이를 극복하기 위해 우리는 다양한 과제 유형(IID, 시간, 그룹), 표본 크기와 특징 차원 규모, 다양한 특징 유형(텍스트 포함, 높은 카디널리티 포함)을 폭넓은 분야에 걸쳐 지원하는 표 형식 데이터용 최초의 통합 총체적 벤치마크 BeyondArena를 소개한다. 표준 벤치마크를 넘어선 통합 벤치마킹을 가능하게 하기 위해, 예측 기계학습용 표 형식 데이터셋을 큐레이션하는 파이썬 프레임워크이자 메타데이터 스키마인 DataFoundry를 소개한다. 11개 모델과 142개의 선별된 데이터셋에 걸친 결과는, 현재의 오픈소스 표 형식 파운데이션 모델이 최대 10만 행의 데이터셋에서 경쟁력이 있거나 뛰어난 반면, 그룹형 또는 대규모 데이터에서는 전통적인 트리 기반 모델과 딥러닝 모델이 여전히 우세함을 보여준다. BeyondArena는 표 형식 데이터의 가장 까다로운 과제를 위한 모델 연구를 이끌어, 진정한 파운데이션 표 형식 모델로 나아가는 진전을 가능하게 한다.
실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.
유전체 파운데이션 모델(FM)은 단순한 서열 조성을 넘어선 예측 정보를 제공하는가? 본 연구에서는 57개의 유전체 분류(classification) 데이터셋과 2개의 탐색적 유전자 발현 회귀 태스크에 걸쳐 정규화된 k-mer 빈도와 5개 DNA FM의 동결된(frozen) 표현을 비교 평가한다. 단순한 k-mer 피처는 대부분의 모델과 대등한 경쟁력을 유지한 반면, NTv3는 일관된 우위를 보였으며, 이러한 순위는 전역적으로 고정된 베이스라인, 다중 스케일 k-mer 베이스라인, 대안적인 다운스트림 프로브 전반에서 견고하게 유지된다. 추가적인 예측 유용성을 직접 검증하기 위해, 일치된 Random Forest 프로토콜 하에서 전역 6-mer 피처와 각 FM 임베딩(embedding)을 결합(concatenation)한 피처를 비교한다. NTv3는 57개 데이터셋 중 46개에서 성능을 향상시켰으나(평균 $Δ$MCC = +0.072), Caduceus는 더 작은 이득만을 제공했고 다른 모델들은 평균 MCC를 향상시키지 못했다. 또한 임베딩을 6-mer 빈도로부터 선형적으로 예측 가능한 성분과 릿지 잔차로 분해하여 선형적 복원 가능성이 다운스트림 유용성을 안정적으로 나타내지 못함을 발견했다. 정확한 6-mer 보존 셔플을 통해 태스크 관련 서열 순서 민감도를 추가로 규명했으며, 이는 NTv3에서 가장 두드러지게 나타났으나 순서 민감도 자체만으로는 예측 향상을 보장하지 않는다. 본 연구 결과는 조성 피처를 필수적인 대조군으로 확립하고 미세조정(fine-tuning) 능력에 대한 주장 없이도 동결된 유전체 표현의 부가가치를 평가하기 위한 상호보완적인 진단 방법을 제시한다.
최근 정형 데이터(tabular data)를 위한 딥러닝 모델이 많은 연구적 관심을 받고 있지만, 회귀 작업에서의 목적 함수(objective function) 선택은 여전히 충분히 연구되지 않은 자유도로 남아 있습니다. 여러 연구에서 표준 평균 제곱 오차(MSE)의 대안을 제시하고 있으나, 데이터셋, 백본 및 평가 프로토콜의 차이로 인해 실제적인 이점을 비교하기 어렵습니다. 본 연구에서는 광범위한 기존 정형 데이터셋 모음과 여러 신경망 백본 전반에 걸쳐 회귀 목적 함수를 체계적으로 재평가함으로써 이러한 격차를 해소합니다. 비교 결과, 제안된 많은 목적 함수가 적절히 튜닝된 MSE 기준선(baseline) 대비 제한적이거나 일관되지 않은 향상만을 제공하는 반면, 분위수 손실(quantile loss)은 테스트된 백본 전반에서 MSE 대비 일관된 종합적 성능 향상을 보이는 것으로 나타났습니다. 이어 우리는 이 강력한 목적 함수에서도 여전히 존재하는 한계를 밝혀냈습니다. 타깃 노이즈 수준이 서로 다른 영역들은 서로 다른 학습(training) 에포크에서 최적의 예측 성능에 도달할 수 있다는 점입니다. 결과적으로, 목적 함수가 이분산적(heteroskedastic) 타깃 분포를 표현할 수 있더라도 단일 전역 조기 종료(early stopping) 체크포인트는 불확실성 영역 간의 절충을 강제할 수 있습니다. 이러한 한계에 착안하여, 우리는 잠재적 해결책으로 입력 의존적 레이블 스무딩(label smoothing)을 사용하는 분위수 손실의 이분산성 인식 확장을 도입하였으며, 여러 백본에서 분위수 손실보다 향상된 성능을 거두었습니다. 전반적으로 본 연구 결과는 정형 딥러닝을 위한 회귀 목적 함수의 현대적인 실증적 그림을 제공하며, 불확실성 영역 간 최적 종료 시점의 차이가 전역 조기 종료의 효과를 어떻게 제한할 수 있는지를 강조합니다. 코드는 https://github.com/yandex-research/tabular-regression 에서 이용할 수 있습니다.
현재의 모든 예측(prediction)을 그대로 재현하는 메모리(memory)라 할지라도 다음 관측값으로부터 학습하는 방법은 잊어버렸을 수 있다. 우리는 정확한 누적 학습(cumulative learning)과 어텐션(attention)에 대해 이러한 구분을 규명한다. 제약이 없는 실수 특징(feature)과 레이블(label)을 가진 매끄러운 볼록 잔차 손실(smooth convex residual loss)에 대해, 고정된 차원의 연속적인 순환 상태(recurrent state)는 손실(loss)이 다항식(polynomial)일 때에만 정확히 존재한다. 일반적인, 가중치가 없는 관측값의 경우, 차수(degree) $D$는 정확히 $r=\binom{d+D}{D}-1$개의 좌표(coordinate)를 필요로 한다; 현재 예측자(predictor)가 하나로 고정된 히스토리(history) 사이에서도, 연속(continuation)을 위해 정확히 $r-d$개의 좌표가 여전히 필요할 수 있다. 다항식이 아닌 손실(nonpolynomial loss)은 이러한 동일 예측 히스토리(equal-prediction history)에 대해 무한한 요구사항을 가진다. 유계 스칼라 로지스틱(logistic) 예제는 임의의 유한 도함수(derivative) 제트(jet)를 고정한 후에도 이러한 장애(obstruction)를 유지한다. 리지 회귀(ridge regression)의 경우, 숨겨진 증거는 설계 행렬(design matrix)이다: 정확한 상태는 $dp+d(d+1)/2$의 비용이 드는 반면, 예측자(predictor)는 $dp$의 비용이 든다. 잘 조건화된(well-conditioned) 제로 예측 패밀리(zero-prediction family)에서, 최적의 $B$비트 압축(compression)은 임의의 무작위화된 코드(randomized code)를 사용하더라도 $d^{-1}2^{-2B/s_d}$ ($s_d=d(d+1)/2$) 차수의 평균 1회 업데이트 오차를 갖는다. 커널(kernel) 어텐션(attention)은 두 번째의 정확한 닫힘 분류(closure classification)를 제공한다. 이 결과들은 새로운 회귀(regression) 알고리즘을 제안하거나 학습된 모델(trained model)의 성능 향상을 주장하기보다는, 미래의 업데이트가 드러내는 것이 무엇인지를 규명한다.
정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.