PyTorchKR Papers

최신 논문

총 2,138편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2310.11714v5cs.LG

커널 거리를 통한 생성 모델의 일관된 분산 순위 평가

Consistent Distributed Ranking of Generative Models via Kernel Distances

생성 AI 모델 후보군에서 최적의 생성기를 식별하기 위해서는 출력물의 충실도(fidelity)와 다양성(diversity)을 기반으로 생성 모델을 순위화하는 작업이 필요하다. 기존의 중앙 집중식 환경에서 모델 그룹의 순위를 매기려면 일반적으로 각 모델에 대한 표준 점수를 평가한다. 참조 기반 평가 점수의 선택 및 설계는 단일 확률 분포에서 참조 샘플을 추출하는 중앙 집중식 환경에서 광범위하게 연구되어 왔다. 그러나 분산 학습 컨텍스트를 포함한 실제 시나리오에서는 참조 샘플이 여러 클라이언트에 분산되어 있으며, 각 클라이언트는 이질적인 데이터 분포를 가질 수 있다. 본 연구에서는 클라이언트 간 이질적인 데이터 분포를 지닌 분산 환경에서의 생성 모델 순위화를 탐구한다. 우리는 널리 사용되는 커널 거리(KD) 평가 메트릭 계열에 초점을 맞춘다. 모든 커널 함수에 대해, 개별 클라이언트의 평균 KD 점수로 모델을 순위화하면 모든 클라이언트의 결합된 참조 데이터를 사용하는 중앙 집중식 KD 평가와 동일한 순서가 산출됨을 증명한다. 또한 프레셰 거리(Fréchet Distance, FD)를 포함한 다른 인기 메트릭으로 분석을 확장하며, 이 경우 개별 클라이언트 점수만으로는 정확한 모델 순위화에 충분하지 않을 수 있음을 보인다. 다양한 평가 점수를 사용한 분산 순위화에 관한 이론적 결과를 검증하기 위해 표준 이미지 데이터셋과 생성 모델을 대상으로 수행한 여러 실험의 수치 결과를 제시한다.

arXiv:2606.27288v1cs.AI

언어 모델 결합은 언제 도움이 되는가? 67개 프론티어 모델에 걸친 라우팅, 투표, Mixture-of-Agents의 공동 실패 상한

When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models

라우팅·투표·캐스케이드 등 구성 모델 답변을 선택하는 다중 LLM 오케스트레이션의 정확도는 모든 모델이 동시에 틀리는 비율 β에 의해 1−β로 상한이 걸리며, 통상 보고되는 쌍별 오류 상관 ρ는 β를 식별하지 못한다는 것을 67개 프론티어 모델 실험으로 보인다. 검증 가능한 과제에서는 강한 쿼리 수준 라우팅 없이 모델 결합이 단일 최고 모델을 거의 이기지 못하고, 이득은 모델 수를 늘리는 것이 아니라 서로 다른 질문에서 실패가 분산될 때 발생한다.

arXiv:2606.26852v1cs.AI

창고 최적화를 위한 문맥 인식 최적화 파이프라인 합성

Context-Aware Synthesis of Optimization Pipelines for Warehouse Optimization

수동 피커-투-굿즈(picker-to-goods) 창고의 주문 이행(order fulfillment)에서 품목 할당, 주문 배치, 피커 경로 계획 등 하위 문제를 분해해 다룰 때 적용 가능한 알고리즘을 찾고 유효한 최적화 파이프라인을 자동으로 구성·평가하기 어렵다는 한계를 CASOP(Context-Aware Synthesis of Optimization Pipelines)가 알고리즘 저장소, 의미론적 데이터·알고리즘 카드, 분류체계, 파이프라인 합성기·평가기로 해결한다. 네 가지 문제 클래스를 아우르는 7개 벤치마크 인스턴스 세트에서 1,063,044개의 유효 파이프라인을 도출해, 창고 문맥별 고성능 알고리즘 파이프라인 설계와 선택을 지원한다.

arXiv:2606.26836v1cs.AI

능력 프론티어: 벤치마크는 모델 성능의 82%를 놓친다

The Capability Frontier: Benchmarks Miss 82% of Model Performance

단일 모델·단일 실행 벤치마크가 이질적 데이터 환경에서 LLM 능력을 체계적으로 과소평가한다는 문제를 Capability Frontier로 정량화하며, 모델·생성물 간 최적 선택(오라클)과 편향 보정을 통해 16개 벤치마크·21개 LLM에서 오류율을 최대 82% 줄이고 동일 SOTA 정확도를 비용 85% 절감으로 달성할 수 있음을 보인다. 쿼리 주제 엔트로피가 높을수록 오라클 라우팅과 최고 단일 모델 간 성능 격차가 커져, 집합적 LLM 능력이 기존 평가보다 훨씬 크게 과소평가되었음을 시사한다.

arXiv:2606.26460v1cs.AI

auto-psych: 에이전트 주도 이론 발견과 실험을 통한 마음의 과학 자동화

auto-psych: Automating the science of mind using agent-driven theory discovery and experimentation

auto-psych는 계산 인지과학에서 중첩된 에이전트 루프로 확률적 인지 모델을 제안·적합·비판하고, 크라우드소싱 설문 실험을 설계·실행·분석해 인간 행동 이론을 자동 탐색하는 시스템이다. 동전 던지기 순열의 주관적 무작위성 판단 과제에서 합성 데이터의 정답 이론을 신뢰성 있게 복원했고, 세 차례 인간 실험에서 문헌 기반 이론보다 데이터 적합도가 높은 이론을 찾아 자동화된 데이터 수집과 이론 발견의 가능성을 보였다.

arXiv:2606.24715v2stat.ML

시계열 데이터셋에서 적절한 채점 규칙을 이용한 모델 선택: 평균 스케일 점수를 선호하라

Model selection with proper scoring rules on data sets of time series: prefer the mean scaled score

다수 시계열에서 확률적 예측 모델을 비교할 때 평균 스케일 점수와 평균 순위·승률 같은 집계 방식이 엇갈리는 이유는 점수 분포의 왜도(skewness)이며, 특히 테스트 세트가 짧으면 비평균 기준이 잘못 지정된 모델을 고를 수 있다. 평균 점수는 이 문제에 영향받지 않고 테스트 세트가 커지면 집계 기준이 같은 선택으로 수렴하며, M5 대회 데이터를 포함한 간헐적 수요 시계열 실험에서는 평균 스케일 점수가 더 신뢰할 만하고 스케일링 인수를 바꿔도 결정이 일관되게 유지된다.

arXiv:2606.25743v1cs.LG

Black-Box Assisted Regression: Phase Transitions and Minimax Optimality

고정된 블랙박스 예측기와 소량 라벨로 다운스트림 회귀를 학습할 때, 목표 함수와의 L_2 거리 δ에 따라 상위 리스크 min{δ², n^{-2β/(2β+d)}}에서 위상 전이(phase transition)가 일어난다는 유한 표본 최소최대(minimax) 특성을 제시한다. Safe Residual Estimator는 f_0 주변 잔차 보정을 학습하고 검증 손실로 보정 채택 여부를 선택해 negative transfer 없이 최소최대 상한을 거의 달성하며, 합성 데이터와 CLIP(CIFAR-100), Qwen3-8B(AG News) 실험으로 이를 확인한다.

arXiv:2606.25207v1cs.LG

ASAP: Agent-System Co-Design for Wall-Clock-Centered Auto HPO Research for ML Experiments

ASAP는 LLM을 단일 HPO 도구 대체가 아니라 다양한 유도 편향(inductive bias)을 가진 최적화기 풀을 매 라운드 통합·선택하는 Judge 에이전트로 쓰고, prefix-stable 프롬프트의 KV-cache 재사용, 추측 병렬(speculation parallelism), Self-Tuner로 LLM·도구 오버헤드를 ML 평가 시간 아래 숨겨 실제 wall-clock 기준 효율을 높인다. XGBoost·RandomForest부터 딥러닝·언어·단백질 Transformer까지 다양한 HPO 벤치마크에서 기존 방법보다 일관되게 우수한 성능을 보였다.

arXiv:2606.25039v1cs.LG

LLM-ACES: Closed-Loop Discovery of Dynamical Systems with LLM-Guided Adaptive Search

데이터로부터 상미분방정식(ODE)을 복원할 때 관측 불가 구분(identifiability gap)을 줄이기 위해, LLM-ACES는 대규모 언어 모델(LLM)이 연산자 사전을 제안해 기호 가설 공간을 나누고 후보 방정식 간 불일치로 궤적을 적응적으로 수집하는 폐루프(closed-loop) 탐색 프레임워크를 제안한다. ODEBench와 ODEBase 122개 ODE에서 중앙값 NMSE가 최저이며 기존 최신 기법 대비 수 orders of magnitude 우수하고, 기호 정확도 46.2%·52.4%를 달성하며 데이터 10분의 1로도 더 나은 성능을 보인다.

arXiv:2606.24996v1cs.LG

From Forecasting Leaderboards to Deployment Decisions: A Fail-Closed Certification Protocol

예측 리더보드의 상위 모델이 실제 배포 환경에서도 최적인지 검증하기 어렵다는 문제를 다루며, 알림 임계값·top-k 예산·전환 비용 정책 등 고정된 의사결정 인터페이스를 통과한 후에도 배포 측 성능 우위가 통계적으로 지지되고 반복 재현될 때에만 해당 모델을 배포 권고로 인증하는 fail-closed 인증 프로토콜을 제안한다. Traffic-Hourly 데이터셋에서 전환 마찰(switching friction)이 없을 때는 예측 승자와 배포 승자가 일치하지만 양의 마찰 하에서는 역전이 인증된 반면, 잠금 감사(locked native audit)에서 155건의 겉보기 역전 사례는 모두 인증 게이트를 통과하지 못해 과잉 주장을 차단했다.

arXiv:2606.24900v1cs.LG

On-Device Neural Architecture Search

배포 디바이스에서 직접 경량 신경망 구조 탐색(NAS)을 수행해 센서 실시간 데이터에 맞는 초소형 아키텍처를 찾는 near-sensor 컴퓨팅 방식을 제안하며, 사용자별 생체신호(HMI)와 지능형 고장 진단 등 개인·현장 적응에 활용할 수 있다. ISL·CWRU 데이터셋과 Raspberry Pi 4 검증에서 기존 대비 RAM 사용량을 각각 0.63배·0.44배 줄이면서 정확도는 5.96%p·0.2%p 높였다.

arXiv:2606.24381v1cs.CL

On the Stability of Prompt Ranking in Large Language Model Evaluation

대규모 언어 모델(LLM) 평가에서 랜덤 시드와 제한된 평가 부분집합 같은 조건 변화에도 프롬프트 순위가 안정적이라는 가정을 검증했으며, 세 개의 공개 가중치 LLM과 GSM8K·MMLU 두 벤치마크에서 전체 순위 상관은 중간~높은 편이지만 최고 성능 프롬프트는 자주 바뀌어 선택이 불안정함을 보였다. 이에 평균 성능과 분산을 함께 반영하는 하한 신뢰구간(LCB) 기반 안정성 인식 선택 전략을 제안했고, 불안정한 설정에서 견고성을 높이면서 안정적인 환경에서도 경쟁력을 유지했다.

arXiv:2606.24483v1eess.SP

Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

The deployment of unmanned aerial vehicles (UAV) as open radio units (O-RUs) in 6G cellular systems presents a promising opportunity to achieve scalable and adaptive network coverage. However, optimizing UAV trajectories in dynamic and unfamiliar environments remains a critical challenge, particularly due to the need for extensive retraining in each new scenario. In this paper, we introduce a novel UAV trajectory optimization framework that integrates enhanced continual transfer learning within the O-RAN architecture. The proposed system maintains a library of pre-trained models and employs a model selection mechanism to identify and transfer knowledge from the most relevant environments, minimizing adaptation time and improving efficiency. When no sufficiently similar model is available, a fallback model empowered by continuous refinements ensures baseline performance. The framework leverages real-world city maps and ray tracing techniques to enhance learning reliability and improve trajectory planning. Simulation results demonstrate that the proposed model selection-based transfer learning approach reduces convergence time by 44% to 56% compared to retraining from scratch, and up to 40% compared to traditional transfer learning without model selection.

arXiv:2606.24394v1cs.HC

Average Rankings Mask Per-Subject Optimality: A Friedman-Nemenyi Benchmark of EEG Motor-Imagery BCI Decoders

Electroencephalography (EEG) is the dominant non-invasive modality for brain-computer interfaces (BCIs), yet reliable decoding of motor imagery is hampered by inter- and intra-individual variability. A recurring claim is that one decoding pipeline, most often a spatial or Riemannian method, is broadly preferable. We test the weakest version of that claim under the most favourable conditions. Using the Mother of All BCI Benchmarks (MOABB) framework, we evaluated 1,056 decoding configurations (feature extractor x scaler x classifier), >340,000 subject-level model fits, across three public left-versus-right motor-imagery datasets (PhysionetMI, 109 participants; Cho2017, 52; Zhou2016, 4) and two frequency bands (8-15 Hz, 8-30 Hz). Every model is fit and tested within a single session of a single participant, the easiest regime, giving every pipeline its best chance. We apply the statistics standard for multi-classifier comparison: Friedman omnibus tests, Nemenyi critical-difference analysis and Wilcoxon signed-rank tests with effect sizes. Covariance tangent-space projection (cov-tgsp) and Common Spatial Patterns (CSP) are the strongest families, but their ordering is dataset-dependent and, on the largest and most heterogeneous cohort (PhysionetMI), statistically indistinguishable (Nemenyi p = 0.27; Kendall's W = 0.11). At the individual level the single best pipeline is optimal for only 35% of PhysionetMI participants, and nonlinear descriptors are best for roughly one third; matching pipeline to participant adds about seven accuracy points over the best fixed choice. The ranking is not an artefact of dimensionality, and classifier and scaler choices are secondary to the feature representation. Even in the easiest regime, no single pipeline dominates: a lower bound on the personalization problem and a quantitative case for participant-aware model selection rather than a universal decoder.

arXiv:2606.23575v1cs.LG

하이퍼파라미터를 풀어 구하고 탐색은 생략: 스플라인 회귀의 Kolmogorov-최적 스케일링 법칙

Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression

스플라인 회귀의 해상도 하이퍼파라미터는 Kolmogorov n-width와 PRESS 기반 leave-one-out 오차로 편향-분산 곡선을 해석적으로 균형 맞출 수 있어, 그리드 탐색 없이 최적값을 구할 수 있다. KORE 알고리즘은 두 파일럿 해상도만으로 닫힌 형식 해를 추정해 전체 탐색 대비 약 8배 적은 모델 적합으로 3-fold 교차검증·GCV·AIC·BIC와 맞먹는 성능을 보였고, 36개 실제 tabular 데이터셋 21개 방법 중 계산량 대비 정확도 1위를 기록했다.

arXiv:2606.23509v1stat.ME

분산인가 표준편차인가? 고차원 축소에서의 구 기하학과 전역 스케일 사전

Variance or Standard Deviation? Shell Geometry and Global-Scale Priors in High-Dimensional Shrinkage

고차원 축소(shrinkage)에서 공통 가우시안 스케일의 기본 사전을 분산에 평탄하게 두는 것과 표준편차(SD)에 평탄하게 두는 것은 영 근처 질량 배분과 고차원 구 기하학 때문에 서로 다른 위험 특성을 만든다. radial-power 벤치마크에서 SD-평탄 기본값은 약신호에서 1단위 점근적 이득을 주고 임계 구간에서는 우위가 바뀔 수 있으며 강신호에서는 분산-평탄과 2차까지 동등하고, 단일 전역 스케일 초사전과 유계 좌표 승수 혼합에도 SD 밀도의 영 근처 지수를 통해 같은 한계가 전달된다.

arXiv:2606.21512v1stat.ME

vine copula의 베이지안 모델 선택: 손실 기반 관점

Bayesian model selection of vine copulas: a loss-based perspective

다변량 통계 분석에서 vine copula는 복잡한 의존 구조를 잘 표현하지만 가능한 모델 수가 급증해 기존 베이지안 모델 선택은 계산 비용 때문에 낮은 차원에 국한된다. 손실 기반 모델 사전분포와 shotgun stochastic search를 결합한 프레임워크로 vine 구조, copula 계열, 매개변수를 함께 선택·추정해 희소성과 빠른 구조 선택을 가능하게 하며, 시뮬레이션과 EFT 포트폴리오 자산 수익률 적용에서 효과를 확인했다.

arXiv:2606.21080v1stat.ML

밀도비 사후분포 압축을 통한 예측변수 중복 하의 베이지안 모델 평균화

Bayesian Model Averaging under Predictor Redundancy via Density-Ratio Posterior Compression

예측변수 중복으로 베이지안 모델 평균화(BMA) 사후분포가 교환 가능한 다수 지지에 분산될 때, 베이지안 목표를 바꾸지 않고 지지 공간의 하드·소프트 영역으로 사후분포를 압축 보고하고 밀도비(density ratio)로 전체 변동·KL 왜곡 등 왜곡을 진단하는 프레임워크를 제안한다. 시뮬레이션에서 영역 보고는 주요 사후 정보를 유지하면서 더 짧고 명확한 요약을 제공하며, 정보가 과도하게 손실되면 밀도비 진단으로 이를 확인할 수 있다.

arXiv:2510.14656v2stat.ML

2단계 물리 정보 심층 학습과 통계적 혼합 모델을 이용한 계수 점프 불연속 편미분방정식 역문제

Inverse Problem for Partial Differential Equations with Jump Discontinuities in Coefficients by Two-stage Physics-Informed Deep Learning and Statistical Mixture Models

점프 불연속 계수를 갖는 편미분방정식(PDE) 역문제를 위해 이중 네트워크 물리 정보 신경망(PINN)으로 계수를 샘플링하고 베이즈 가우시안 혼합 모델(GMM)과 birth-death 마르코프 체인으로 계수 체제와 전이 후보를 추정한 뒤 구간별 상수 형식으로 제약 정제하는 2단계 물리 정보 심층학습 프레임워크를 제안한다. 다양한 PDE 수치 실험에서 기존 방법 대비 수용 가능한 계산 비용으로 계수 식별과 해 재구성의 정확성과 적응성을 확인했다.

arXiv:2210.01679v2cs.LG

순차 데이터 내 클러스터 탐지 및 평가

Detection and Evaluation of Clusters within Sequential Data

순차 데이터는 어디에나 존재하며, 행동·생물학적·물리적 과정과 같은 복잡한 과정에 대한 통찰을 얻기 위해 일상적으로 수집된다. 어려운 점은 이러한 데이터가 관측된 시퀀스 내부의 의존성을 갖을 뿐만 아니라, 관측값이 종종 고차원(high-dimensional)이고 희소(sparse)하며 노이즈가 많다는 것이다. 이는 모두 연구 대상인 복잡한 과정의 내부 작동을 가리는 어려움이다. 한 가지 해결책은 복잡한 과정의 (특성을) 기술하는 저차원 표현(low-dimensional representation)을 계산하는 것이다. 이 표현은 원래 과정에 대한 통찰을 얻기 위한 대리(proxy) 역할을 할 수 있다. 그러나 의존성 때문에 순차 데이터 내에서 이러한 저차원 표현을 찾아내는 것은 쉽지 않으며, 추정량의 일관성(consistency)을 보장하려면 시퀀스를 위해 특별히 설계된 알고리즘이 필요하다. 다행히 Block Markov Chain에 대한 최근 이론적 발전으로, 합성 순차 데이터에서 이를 증명 가능하게 수행할 수 있는 새로운 클러스터링 알고리즘이 등장했다. 본 논문은 실제 순차 데이터에서 이러한 새로운 알고리즘에 대한 최초의 현장 연구(field study)를 제시하며, 다양한 데이터 시퀀스 범위에서 클러스터링에 대한 광범위한 실증 연구를 수행한다. 우리는 실제 복잡한 과정의 희소 고차원 순차 데이터가 주어졌을 때, 이러한 알고리즘을 사용하여 실제로 유용한 저차원 표현을 추출할 수 있는지를 폭넓게 조사한다. 구체적으로, 동물 이동을 기술하는 GPS 좌표, 인간 DNA 가닥, 영어 텍스트, 금융 시장의 일일 수익률을 포함하는 데이터 시퀀스를 검토한다. 우리가 발견한 저차원 표현은 데이터의 순차 구조를 성공적으로 인코딩할 뿐만 아니라, 근본적인 복잡한 과정에 대한 새로운 통찰을 얻을 수 있게 함이 입증된다.