PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10931v1cs.LG

기호 회귀에서 선택 압력으로서의 계수 보정

Coefficient Calibration as Selection Pressure in Symbolic Regression

밈틱 기호 회귀(memetic symbolic regression)에서는 후보 구조들이 계수 보정(coefficient calibration)을 거친 후 비교되므로, 보정 프로토콜 자체가 진화적 선택에 기여한다. 표준적인 중앙집중식 보정은 각 구조를 풀링된 샘플에서의 최적값으로 평가하며, 이 보정이 공변량 변화(covariate shift)에 대해 얼마나 안정적인지를 고려하지 않기 때문에, 적합이 샘플별 계수에 의존하는 구조를 선호하게 될 수 있다. 우리는 디리클레-싱크혼 상수 평균화(Dirichlet-Sinkhorn Constant Averaging, DSCA)를 제안한다. 이는 최적화 데이터를 서로 다른 공변량 분포를 가진 동일한 크기의 부분집합으로 분할하고, 각 후보를 모든 분할에서 독립적으로 보정한 다음, 그 결과로 얻어진 파라미터들의 평균값에서 평가하는 보정 전략이다. 우리는 올바르게 특정되고 식별 가능한(identifiable) 수식에 대해서는 DSCA의 중앙집중식 보정에 대한 초과 손실이 모집단 수준에서 사라지는 반면, 모형이 잘못 특정된(misspecified) 경우에는 분할별 보정이 풀링된 최적값으로 수렴하지 않을 때 이 초과 손실이 지속됨을 보인다. 합성 벤치마크와 10개의 실세계 데이터셋에서, DSCA는 음의 로그가능도(negative log-likelihood)와 아카이케 정보기준(Akaike information criterion) 및 베이즈 정보기준(Bayesian information criterion)에 의한 선택 하에서, 중앙집중식 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 및 레벤버그-마쿼트(Levenberg-Marquardt) 보정에 비해 함수 복원(functional recovery)과 정확도-복잡도 트레이드오프(accuracy-complexity trade-off)를 개선한다. 메커니즘 분석은 DSCA의 초과 손실을 일반화 격차(generalization gap)와 연관시키며, 이 효과가 반복적인 중앙집중식 피팅으로는 재현되지 않음을 보여준다. 이러한 결과는 통제된 이형(heterogeneous) 보정이 기호 회귀 탐색에서 보완적인 선택 압력의 원천을 제공함을 시사한다.

arXiv:2604.21549v2cs.AI

편향 없는 모델 기반 유병률 추정을 위한 다중 캘리브레이션

Multicalibration for Unbiased Model-Based Prevalence Estimation

불완전한 측정 장치(진단 검사, 분류기, 또는 대규모 언어 모델)를 사용하여 모집단 내 특정 범주의 유병률(prevalence)을 추정하는 것은 과학, 공중보건, 온라인 신뢰 및 안전 분야에서 매우 중요합니다. 표준적인 접근 방식들은 알려진 장치의 오류율을 보정하지만, 이러한 오류율이 여러 모집단에 걸쳐 일정하게 유지된다고 가정합니다. 본 논문에서는 공변량 변화(covariate shift) 상황에서 이러한 가정이 무너지며, 단순 평균이 아닌 입력 특징(feature)을 조건으로 캘리브레이션을 강제하는 다중 캘리브레이션(multicalibration)이 이러한 변화 하에서도 편향 없는 유병률 추정에 충분함을 보입니다. 표준 캘리브레이션 및 정량화 방법들은 이러한 보장을 제공하지 못합니다. 본 연구는 공정성에 관한 최근의 이론적 연구를 거의 모든 학문 분야에 걸친 유서 깊은 측정 문제와 연결합니다. 시뮬레이션을 통해 표준 방법들은 변화의 크기에 따라 증가하는 바이어스(bias)를 보이는 반면, 다중 캘리브레이션된 추정기는 거의 0에 가까운 바이어스를 유지함을 확인합니다. 본 논문에서는 주로 LLM에 초점을 맞추어 논의하지만, 이론적 결과는 모든 분류(classification) 모델에 적용됩니다. 두 가지 실증적 응용 사례인 미국 커뮤니티 설문조사(ACS)를 활용한 미국 주별 고용률 추정과 LLM을 활용한 4개국 정치 텍스트 분류를 통해, 다중 캘리브레이션이 실제 환경에서 바이어스를 크게 감소시킴을 입증하는 동시에, 타깃 모집단 간에 차이가 발생할 수 있는 주요 특징 차원을 캘리브레이션 데이터가 포괄해야 함을 강조합니다.

arXiv:2603.19186v3cs.LG

보정 정렬을 통한 공변량 불일치 하에서의 RCT 기반 처치 효과 추정 개선

Improving RCT-Based Treatment Effect Estimation Under Covariate Mismatch via Calibrated Alignment

무작위 대조 시험(RCT)과 관찰 연구(OS) 간 공변량 불일치 문제를 해결하기 위해, 각 데이터 소스의 특성을 공통 임베딩 공간으로 매핑하는 CALM(Calibrated ALignment under covariate Mismatch)을 제안한다. 결측 공변량을 직접 대입하는 기존 방식 대신 표현 정렬(representation alignment)을 활용하며, 51개 시뮬레이션 설정과 실제 데이터 연구에서 CALM-NN이 비선형 CATE 추정 시 기존 방법 대비 가장 큰 성능 향상을 달성했다.

arXiv:2601.15036v4cs.LG

인수분해 가능 결합 변이 재고찰

Factorizable joint shift revisited

인수분해 가능 결합 변이(FJS)를 범주형 레이블에서 일반 레이블 공간(분류 및 회귀 모두)으로 확장하는 분석 프레임워크를 제안하며, 이를 기반으로 기존 FJS 결과를 일반화하고 클래스 사전 확률 추정을 위한 EM 알고리즘의 레이블 분포 추정 확장을 제시한다. 또한 일반 레이블 공간에서 일반화 레이블 변이(GLS)와 FJS의 관계를 새롭게 재조명한다.

arXiv:2607.02722v1cs.LG

전기차 모터스포츠 파워트레인의 실험실-트랙 간 열 전이를 위한 가중 등각 예측

Weighted Conformal Prediction for Lab-to-Track Thermal Transfer in EV Motorsport Powertrains

고성능 전기차(EV) 파워트레인에서의 열 변동성을 예측하는 것은 어렵다. 내부 온도는 실험실 외부에서 거의 관측할 수 없으며, 실험실 주행 사이클로 보정된 모델은 실제 부하 조건에 배포될 때 성능이 저하된다. 우리는 이 실험실-트랙 간 전이 문제를 분포 무관(distribution-free) 불확실성 구간을 제공하는 등각 예측(conformal prediction)을 사용하여 연구한다. 우리는 자기상관 시계열을 위한 leave-one-out 부트스트랩-앙상블 등각 방법인 앙상블 배치 예측 구간(EnbPI; Xu & Xie, 2021)을 구현하고, 실제 CALCE 리튬이온 사이클러 데이터(A123 SP20 셀, FUDS 프로파일)에 대해 보정한다. 우리는 실제로 측정된 공변량 이동(covariate shift) 하에서 이를 평가한다: 두 번째 실제 CALCE 테스트 조건(45°C에서의 US06 고속도로 주행 스케줄). 비가중 EnbPI 구간은 분포 내에서 명목 95% 커버리지를 달성하지만(측정값: 95.00%), 이 실제 이동 하에서 70.13%의 실증적 커버리지로 저하된다. 우리는 확률적 도메인 분류기를 통해 밀도비(density ratio)를 추정하여, EnbPI의 앙상블 잔차와 밀도비 가중(Tibshirani et al., 2019)을 결합한 가중 EnbPI 절차를 제안한다. 이를 통해 커버리지가 72.42%로 회복되는데, 이는 완전한 해결책이 아닌 솔직하게 보고된 소폭의 개선이다. 우리는 추가적으로 보정된 모델을 비지도 분포 외(out-of-distribution) 진단으로서 실제 2023 포뮬러 1 텔레메트리(Monza 및 Silverstone, 드라이버 VER)에 적용한다. 공개 트랙사이드 텔레메트리에는 내부 열 채널이 존재하지 않기 때문에, 우리는 비지도 플래그 비율만을 보고하며(Monza에서 65.6%, Silverstone에서 58.0%, 분포 내 기준 비율인 5%를 훨씬 상회), 플래그와 제동/DRS 구간 사이의 일관성 없는 연관성을 언급한다. 우리는 등각 도메인 적응(conformal domain adaptation)이 이 문제에 있어 유망하지만 부분적으로만 해결된 도구임을 결론짓고, 정확히 어느 지점에서 한계가 있는지 상세히 기술한다.

arXiv:2406.13944v2math.ST

전이학습에서 최소-노름 보간자의 일반화 오차

Generalization error of min-norm interpolators in transfer learning

이 논문은 다양한 분포의 데이터를 활용할 수 있는 전이학습 환경에서 풀링된 최소-$\ell_2$-노름 보간의 일반화 오차를 규명한다. 최소-노름 보간자는 현대 기계학습 알고리즘의 암묵적 정규화 한계로서 자연스럽게 발생한다. 선행 연구들은 학습 중 테스트 분포의 샘플을 사용할 수 없는 경우의 분포 외(out-of-distribution) 위험을 분석해 왔다. 그러나 많은 응용에서 학습 시점에 제한된 수의 테스트 샘플이 이용 가능할 수 있으며, 이 경우 최소-노름 보간의 특성은 충분히 이해되지 않은 채로 남아 있다. 우리는 공변량 이동(covariate shift)과 모델 이동(model shift) 모두에서 풀링된 최소-$\ell_2$-노름 보간의 바이어스와 분산을 특성화함으로써 이 공백을 해소한다. 우리의 결과는 몇 가지 중요한 시사점을 제공한다. 모델 이동 하의 특정 경우에서, 신호 대 잡음 비(SNR)가 낮을 때 데이터를 추가하면 항상 성능이 저하됨을 보인다. 더 높은 SNR 수준에서는 이동-대-신호 비가 우리가 명시적으로 특성화한 임계값 아래로 떨어질 때 전이학습이 유익하다. 공변량 이동 하에서는, 소스 샘플 크기가 차원에 비해 작을 때 도메인 간 이질성이 클수록 위험이 감소하며, 그 반대의 경우도 성립함을 발견한다. 모델 이동 결과는 처음에 가우시안 설계에 대해 수립되지만, 보편성 논증을 통해 더 일반적인 설계로 확장된다. 보간 학습 너머로 우리의 기술적 도구의 더 넓은 적용 가능성을 보이기 위해, 풀링된 보간자를 초기화로 사용하고 타깃 데이터로 결과적인 바이어스를 보정하는 바이어스 보정 추정기의 위험을 특성화한다. 기술적 측면에서, 우리는 새로운 비등방성 국소 법칙과 Lindeberg 교환 논증을 개발하며, 이는 랜덤 행렬 이론과 보편성 분석에서 독립적으로 관심을 가질 수 있는 도구를 제공한다. 마지막으로, 우리의 결과의 유한 샘플 효과를 보여주는 시뮬레이션으로 이론을 보완한다.

arXiv:2606.28939v1cs.LG

ReGuide: 테스트 타임 가이던스에서 자기 개선 확산 정책으로

ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies

행동 복제(behavior-cloned) 확산 정책(diffusion policy)은 표현력이 뛰어나지만 공변량 시프트(covariate shift)에 취약하다는 문제가 있습니다. 시연된 상태에서 작은 이탈이 발생해도 이것이 누적되어 태스크 실패로 이어질 수 있습니다. 기존 방법들은 전문가 교정이나 합성 증강을 통해 학습 분포를 확장하거나, 학습된 모델의 가이던스를 이용해 고정된 정책을 테스트 타임에 조정하는 방식으로 이 문제를 해결합니다. 전자는 비용이 많이 들거나 가정에 의존적일 수 있고, 후자는 실행 후 교정된 궤적을 폐기합니다. 우리는 가이드된 롤아웃(rollout)을 재사용 가능한 온-정책 복구 데이터로 활용하는 자기 개선 프레임워크인 ReGuide를 소개합니다. ReGuide는 먼저 위상 조건부 가이던스(PCG, Phase-Conditioned Guidance)를 사용하여 교정 롤아웃을 생성합니다. 이 방법은 위상별 잠재 타겟(latent target)을 구성하고, 이탈했지만 복구 가능한 구간에서만 가이던스를 적용하며, 추정된 클린 액션(clean action)을 통해 가이던스를 수행하여 동역학 모델의 학습 분포에 맞춥니다. 성공적인 가이드 롤아웃은 현재 체크포인트를 파인튜닝하는 ReGuide-FT 또는 증강된 데이터셋으로 처음부터 재학습하는 ReGuide-FS를 통해 정책에 다시 흡수됩니다. 두 방법은 조합하여 반복 적용할 수도 있습니다. Robomimic의 Can, Square, Transport, Tool Hang 태스크에서 ReGuide는 기본 정책의 성공률을 $1.3$--$7.7\times$ 향상시키고, 테스트 타임 전용 설정에서 LPB를 능가하며, 동일 데이터 비교 실험(ablation)은 성능 향상이 추가 롤아웃 자체보다 가이드된 복구 데이터에서 비롯됨을 보여줍니다.

arXiv:2606.22259v1stat.ML

오규격(misspecified) 경우 공변량 이동 적응에서 Nyström 서브샘플링의 수렴 분석

Convergence Analysis of Nyström Subsampling in Covariate Shift Adaptation for Misspecified case

공변량 이동(covariate shift) 하 비지도 도메인 적응에서 목표 함수가 재생 커널 힐베르트 공간(RKHS) 밖에 있는 misspecified(저매끄러움) 경우에 정규화 Nyström 서브샘플링의 수렴성을 분석한다. Tikhonov 정규화와 Nyström 투영을 결합해 소스 조건, 유효 차원, 표본 크기로 표현된 초과 위험(excess risk) 상한을 제시하고, Radon-Nikodym 도함수가 미지일 때 오라클과 동일한 수렴 속도를 유지하는 데 필요한 최소 추가 표본 크기를 규명한다.