PyTorchKR Papers

최신 논문

총 2,138편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08940v1cs.LG

TSRouter: Dynamic Modality-Model Selection for Time Series Reasoning

시계열 추론은 실세계 문제 해결에 필수적이다. 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 모두 시계열 데이터에 대한 추론이 가능하지만, 그 능력은 상호 보완적이다. LLM은 시계열을 텍스트 시퀀스로 처리하여 정확한 수치 이해를 보존하지만 전역적 패턴 파악에 어려움을 겪는 반면, VLM은 시계열을 시각화함으로써 이러한 패턴을 효율적으로 포착하지만 세밀한 세부 정보를 손실할 수 있다. 또한 모델마다 태스크별 전문성과 추론 비용이 크게 다르다. 따라서 각 쿼리에 가장 적합한 모달리티와 모델을 동적으로 선택하는 것이 중요하지만, 이는 풍부한 문맥 신호를 지닌 태스크, 쿼리, 모달리티, 모델 간의 복잡한 상호작용을 모델링해야 하므로 어려운 과제이다. 이를 위해 우리는 그래프 기반 동적 라우팅 프레임워크인 TSRouter를 제안한다. TSRouter는 태스크, 쿼리, 모달리티, 모델 노드로 구성된 이종 그래프를 구축하여 쿼리 특성, 모달리티 속성, 모델 역량 간의 상호작용을 문맥화한다. TSRouter는 라우팅을 후보 점수화 문제로 공식화하며, 각 모달리티-모델 쌍을 사용자 정의 성능-비용 선호도에 따라 평가하여 최적 후보를 선택한다. 4가지 서로 다른 시계열 추론 태스크에 대한 종합적인 평가에서 TSRouter는 다양한 베이스라인 대비 16\%에서 46\%의 상대적 성능 향상을 달성하며 크게 뛰어난 성능을 보였다. 또한 TSRouter는 미학습 모델 및 새로운 태스크에 대해 강건한 제로샷(zero-shot) 플러그앤플레이 일반화를 보여주며, 비용 인식 최적화를 통해 연산 오버헤드를 줄이면서도 높은 성능을 유지한다. 코드는 https://github.com/tianyi-lab/TSRouter 에서 확인할 수 있다.

arXiv:2607.08665v2cs.LG

재샘플링인가 재라우팅인가? 대규모 언어 모델(LLM)을 위한 예산 인식 테스트 타임 모델 선택

Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models

쿼리별 예산 내에서 기존 모델을 재샘플링할지 다른 모델로 재라우팅할지를 동적으로 결정하는 온라인 정책(RoR)을 제안하며, 단위 비용당 추정 한계 정확도를 기준으로 예산을 배분한다. 11개 오픈 가중치 모델 풀과 4개 벤치마크에서의 재현 실험 결과, RoR 정책이 단일 라우터·best-of-K·캐스케이드 등 기존 기준선 대비 비용-품질 파레토 프론트에서 우위를 보였으며, 특히 모델 이질성이 높은 벤치마크에서 성능 향상이 두드러졌다.

arXiv:2508.11847v4stat.ML

소수의 선호도 데이터 제거만으로 상위 대규모 언어 모델 순위가 바뀔 수 있다

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

Chatbot Arena와 같은 주요 대규모 언어 모델(LLM) 순위 플랫폼이 Bradley–Terry 모델 기반 랭킹 시스템에서 극소량의 선호도 데이터 제거에 얼마나 취약한지를 평가하는 효율적인 방법(AMIP 기반)을 제안하며, 실험 결과 전체 데이터의 단 0.003%만 제거해도 Chatbot Arena 최상위 모델이 바뀔 수 있음을 보였다. 전문 어노테이터를 활용한 MT-bench 기반 순위는 크라우드소싱 방식 대비 현저히 견고하며, 인간 평가와 LLM-as-a-judge 평가 간 체계적인 민감도 차이는 관찰되지 않았다.

arXiv:2410.06329v4stat.ML

저랭크 확률 질량 텐서에 대한 베이지안 매개변수 및 모델 차수 동시 추정

Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors

결합 확률 질량 함수(PMF) 텐서의 저랭크 성분과 랭크(모델 차수)를 관측 데이터로부터 동시에 추정하는 새로운 베이지안 프레임워크를 제안하며, Dirichlet 사전 분포와 변분 추론(VI)을 활용해 교차 검증 없이 자동 랭크 탐지를 가능하게 한다. 합성 데이터 및 실제 분류·아이템 추천 데이터 실험에서 기존 방법 대비 추정 정확도와 계산 효율성 면에서 우수한 성능을 입증하였다.

arXiv:2607.08522v1cs.LG

테스트 중단 시점 추측은 그만: 적정 데이터만으로 효율적인 모델 평가

Stop Guessing When to Stop Testing: Efficient Model Evaluation with Just Enough Data

고정된 크기의 벤치마크가 모델 평가에서 효율성과 신뢰성 간 불균형을 초래한다는 문제를 해결하기 위해, 순차적 검정(sequential testing)을 기반으로 한 적응형 평가 프레임워크를 제안한다. 이 프레임워크는 한계 수익 감소 탐지 및 최소 탐지 가능 효과 크기 등 사용자 정의 중단 기준을 결합하여, Open VLM Leaderboard에서 통계적 유의성을 유지하면서 고정 크기 평가 대비 계산 비용을 최대 80%까지 절감함을 입증한다.

arXiv:2603.23318v2cs.LG

판별 모델을 위한 강건성 정량화: 새로운 강건성 지표와 동적 분류기 선택에의 적용

Robustness Quantification for Discriminative Models: a New Robustness Metric and its Application to Dynamic Classifier Selection

기존 강건성 정량화(robustness quantification)는 생성 모델과 특정 아키텍처 또는 이산 특성에 의존해 적용 범위가 제한적이었으나, 이 연구는 Constant Odds Ratio(COR) 퍼터베이션 기반의 새로운 강건성 지표를 제안하여 임의의 확률적 판별 분류기와 모든 특성 유형에 적용 가능하게 한다. 제안된 지표가 신뢰 가능한 예측과 그렇지 않은 예측을 효과적으로 구별함을 실험적으로 검증하고, 이를 동적 분류기 선택(dynamic classifier selection) 전략에 활용한다.

arXiv:2601.09071v2cs.LG

라쇼몬 집합의 예측 다중성 해소

Resolving Predictive Multiplicity for the Rashomon Set

라쇼몬 집합(Rashomon set) 내 모델들이 유사한 정확도를 가지면서도 개별 예측에서 불일치하는 예측 다중성(predictive multiplicity) 문제를 해결하기 위해, 이상치 보정(outlier correction), 지역 패칭(local patching), 쌍별 조정(pairwise reconciliation)의 세 가지 접근법을 제안한다. 여러 데이터셋 실험에서 제안 방법들은 경쟁력 있는 정확도를 유지하면서 불일치 지표를 크게 줄였으며, 조정된 예측은 단일 해석 가능한 모델로 지식 증류(distillation)하여 실세계에 배포할 수 있다.

arXiv:2607.05933v1cs.PF

Energy-Efficient GPU DVFS for Fine-Tuning of SLMs on Resource-constrained Embedded Devices

자원이 제한된 임베디드 GPU 플랫폼(NVIDIA Jetson AGX Orin)에서 소형 언어 모델(SLM) 파인튜닝의 에너지 효율을 높이기 위해 BERT 및 Pythia 변형 모델의 GPU 주파수-지연-에너지 특성을 분석하고, 해석 가능한 결정 트리(Decision Tree) 기반 DVFS 거버너 정책을 제안하였다. 제안된 ML 기반 GPU 주파수 선택 방법은 제약 없는 MAXN Mode 0 대비 평균 13.11%, 최대 26.73%의 에너지 절감을 달성하였다.

arXiv:2607.05461v1cs.LG

AdaStop: DNN 테스트 선택을 위한 비용 인식 조기 종료

AdaStop: Cost-Aware Early Stopping for DNN Test Selection

DNN 테스트 시 레이블링 예산을 사전에 정해야 하는 문제를 해결하기 위해, AdaStop은 한계 결함 발견율(marginal fault discovery rate)을 슬라이딩 윈도우로 추정하고 이 비율이 비용-편익 임계값 τ=c/v 아래로 떨어지면 레이블링을 자동 중단하는 프레임워크다. 다양한 데이터셋, 아키텍처, 선택 전략에서 실험한 결과, 전체 레이블링 예산의 9–31%만 사용하여 결함의 65–84%를 발견할 수 있음을 보였다.

arXiv:2607.03436v2cs.LG

라우팅 갭의 얼마나가 실제인가? 라우터-오라클 갭을 재현 가능한 전문가 이점과 단일 샘플 레이블 노이즈로 분해하기

How Much of the Routing Gap Is Real? Decomposing the Router-to-Oracle Gap into Reproducible Specialist Advantage and Single-Draw Label Noise

LLM 라우팅 벤치마크에서 보고되는 라우터-오라클 갭의 12~36%는 확률적 디코딩에 의한 단일 샘플 레이블 노이즈임을 수학적으로 증명하고, 나머지 대부분은 단일 커밋 라우터로 회복 가능한 진정한 전문가 이점임을 보인다. 이 회복 불가능한 노이즈 하한은 어떤 단일 커밋 라우터로도 포착할 수 없지만 테스트 타임 샘플링(best-of-K)으로는 회복 가능하다는 회복 가능성 비대칭(recoverability asymmetry)을 증명하며, 이를 측정하기 위한 다중 샘플 오라클 프로토콜을 공개한다.

arXiv:2607.05638v1cs.SE

EvalLoop: 비즈니스 AI 시스템의 평가 중심 반복 개선을 위한 방법론

EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems

EvalLoop는 대규모 언어 모델(LLM) 배포 시 평가를 정적 모델 선택이 아닌 반복적 시스템 개선을 위한 피드백 루프로 재정의하는 방법론으로, 차원별 지표 그룹화, 실패 모드 분류, 구조화된 반복 워크플로의 세 가지 메커니즘으로 구성된다. 영업 인텔리전스 브리핑 생성 사례 연구에서 환각(hallucination) 실패의 69%가 프롬프트 유발 해석 오류임을 진단하여 표적 수정을 통해 최고 모델 성능을 82.6%에서 94.6%로 향상시켰다.

arXiv:2607.04360v1stat.ML

조건부 생성 모델을 위한 최적 전문가 혼합 모델 평균화

Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models

조건부 생성 모델들을 밀도 함수 없이 샘플만으로 결합할 수 있는 최적 모델 평균화(model averaging) 프레임워크를 제안하며, 샘플 기반 최대 평균 불일치(MMD)를 기준으로 고정 가중치를 부여하는 StaticMA와 소프트맥스 신경망 게이트로 입력 적응형 가중치를 학습하는 전문가 혼합(MoE) 방식의 MoEMA를 개발한다. 표 형식, 이미지, 텍스트 등 다양한 모달리티 실험에서 MoEMA가 경쟁 기준선 대비 우수한 성능을 보였으며, 표본 내·외 점근적 최적성과 가중치 함수의 일치성에 대한 이론적 보장도 함께 제시한다.

arXiv:2507.06637v2stat.ML

적응적 차수 선택을 갖춘 경로 시그니처 로지스틱 회귀를 통한 준모수적 함수형 분류

Semi-parametric Functional Classification via Path Signatures Logistic Regression with Adaptive Order Selection

벡터값 함수형 데이터와 스칼라 공변량을 동시에 분류하기 위해 경로 시그니처(path signature) 이론을 활용한 준모수적 로지스틱 회귀 프레임워크 PSLR을 제안하며, 기저 함수 선택 없이 채널 간 의존성과 불규칙 샘플링에 강건한 표현을 제공한다. 핵심 기여는 페널티 경험적 위험 최소화 기준을 통한 데이터 기반 시그니처 절단 차수 적응적 선택으로, 비점근적 수렴 보장과 함께 합성 및 실제 데이터셋에서 기존 함수형 분류기 대비 일관된 성능 향상을 보였다.

arXiv:2303.08777v3stat.ML

분포 무관 편차 경계와 교차 검증 위험 추정을 통한 모델 선택 학습에서 도메인 지식의 역할

Distribution-free Deviation Bounds and The Role of Domain Knowledge in Learning via Model Selection with Cross-validation Risk Estimation

교차 검증(cross-validation) 기반 모델 선택을 통한 학습의 이론적 특성을 분포 무관(distribution-free) 프레임워크로 분석하고, 전체 학습 파이프라인에 대한 VC 차원 기반 편차 경계(deviation bounds)를 유계·비유계 손실 함수 모두에 대해 수립한다. 도메인 지식을 부분 순서 구조로 인코딩한 Learning Spaces 개념을 도입하여, 목표에 잘 맞는 후보 모델 집합과 효율적인 탐색 알고리즘을 결합하면 모델 선택 학습이 LASSO·릿지 회귀 등 표준 방법을 크게 능가할 수 있음을 고차원 선형 회귀 실험으로 검증한다.

arXiv:2607.04118v1cs.LG

LoRA 기반 외부 파라메트릭 메모리의 제로샷 라우팅을 위한 파라메트릭 메모리 디코딩

Parametric Memory Decoding for Zero-Shot Routing in LoRA-Based External Parametric Memory

LoRA 기반 외부 파라메트릭 메모리(EPM)의 제로샷 라우팅을 위해, 기존 방법들의 평가 분산 및 라우팅 신호 비일관성 문제를 해결하는 Parametric Memory Decoding(PMD) 프레임워크와 PMD-Bench 벤치마크를 제안한다. PMD를 기반으로 구현된 PMDRouter는 단일 베이스 모델 프리필의 응답 크기(magnitude)로 각 LoRA를 채점하며, PMD-Bench 실험에서 Task-LoRA 기준 최대 63.8점 향상을 달성하는 등 다수의 제로샷 라우팅 설정에서 최강 내부 신호 성능을 보였다.

arXiv:2607.03377v1cs.CL

대규모 언어 모델의 스펙트럴 시그니처

Spectral Signatures of Large Language Models

공개적으로 이용 가능한 대규모 언어 모델(LLM)의 급격히 증가하는 저장소는 모델 계보 추적, 라이선싱, 평가 등 대규모의 체계적 관리 및 정량화에 상당한 과제를 안겨준다. 그러나 LLM은 아키텍처, 규모, 학습 절차 면에서 폭넓게 차이가 있기 때문에 태스크별 벤치마크만으로는 이 상황에 충분하지 않다. 이 과제를 해결하기 위해, 우리는 Heavy-Tailed Self-Regularization 이론에 기반하여 LLM을 관리하고 정량화하는 스펙트럴 형상(shape) 기반 지표를 도입한다. 본 접근법은 가중치 경험적 스펙트럴 밀도(weight empirical spectral density)의 형상 정보를 각 모델의 컴팩트한 스펙트럴 시그니처로 활용한다. 이 시그니처는 사전학습된 모델의 내재적 속성을 포착하며 사후 학습 과정에서도 견고하게 유지되어 모델 수준의 분석에 적합하다. 또한 이 지표는 데이터 불필요(data-free), 계산 효율적, 스케일 불변(scale-invariant) 특성을 지녀 실제 대규모 분석을 가능하게 한다. 나아가, 우리는 주요 오픈소스 LLM 패밀리로 구성된 크고 다양한 모델 코퍼스를 구축하고, 이를 사용하여 모델 및 다운스트림 태스크 전반에 걸쳐 스펙트럴 및 비스펙트럴 지표를 체계적으로 벤치마크한다. 우리는 스펙트럴 시그니처가 모델 계보 추적, 유사 모델의 비지도 클러스터링, 모델 성능 정량화를 지원함을 보인다. 전반적으로, 제안된 스펙트럴 시그니처는 LLM 전반의 광범위한 성능 추세에 대한 의미 있는 프록시를 제공하여 대규모 모델 컬렉션의 효율적인 구성, 비교, 분석을 가능하게 한다.

arXiv:2607.02328v1stat.ME

모델 위험 예측을 위한 교차 감사 투영

Cross-Audit Projection for Model Risk Prediction

이진 분류에서 K-겹 교차 검증(CV)이 클래스별 위험 추정 시 경험적 추정량보다 오히려 성능이 나빠지는 현상을 고차 점근 분석으로 규명하고, 이를 해결하기 위해 CV의 리샘플링으로 과낙관을 추정한 뒤 점근 이론 기반 투영으로 바이어스를 보정하는 새로운 2단계 방법인 Cross-Audit Projection(CAP)을 제안한다. CAP 추정량은 2차 점근 불편성을 달성하며, 시뮬레이션과 유방암 검출 실험에서 우수한 유한 표본 성능을 보였다.

arXiv:2607.02247v1math.ST

지수 가중 집계는 기댓값에서 최적이다

Aggregation with Exponential Weights is Optimal in Expectation

지수 가중 집계(AEW) 추정기가 랜덤 설계 환경에서 Bernstein 조건 없이도 기댓값 기준으로 미니맥스율 최적 초과 위험 $T\log(M)/(n+1)$을 달성함을 증명하여, Lecué와 Mendelson(2013)이 제기한 미해결 문제를 해결하였다. 온도가 충분히 큰 상수일 때 AEW가 최적이고 온도가 $n$과 함께 발산하면 준최적이 됨을 보여, 예측된 급격한 위상 전이(phase transition)를 확정하였다.

arXiv:2607.01971v1stat.ME

다중 반응변수 선형 혼합효과 모델의 모멘트 기반 선택

Moment-Based Selection of Multiresponse Linear Mixed-Effects Models

다변량 종단 데이터 분석을 위해 2차 교차 모멘트 항등식을 활용하는 단계적 프레임워크 MOMENT를 제안하며, 양반정치 제약 하의 볼록 최적화를 통해 랜덤효과 공분산 행렬과 고정효과 계수를 효율적으로 선택 및 추정한다. 시뮬레이션과 혈액투석 데이터셋 적용을 통해 반응변수 간 상관이 있을 때 개별 단변량 분석 대비 실질적으로 우수한 성능과 유한 표본 이론적 보장을 확인하였다.

arXiv:2602.23561v2stat.ME

VaSST: 소프트 심볼릭 트리를 활용한 심볼릭 회귀의 변분 추론

VaSST: Variational Inference for Symbolic Regression using Soft Symbolic Trees

심볼릭 회귀(Symbolic Regression, SR)는 닫힌 형태의 물리 법칙을 학습하는 AI 기반 과학적 발견 분야에서 최근 주목받고 있다. 그러나 기존 방법들은 대부분 휴리스틱 탐색이나 데이터 집약적 접근 방식에 의존하며, 저잡음 환경을 가정하는 경우가 많고 원칙적인 불확실성 정량화가 부재하다. 또한 완전한 확률론적 SR 공식화는 여전히 드물다. 우리는 변분 추론(variational inference)에 기반한 SR의 확장 가능한 확률론적 프레임워크인 VaSST를 제안한다. VaSST는 소프트 심볼릭 트리(soft symbolic trees)를 사용하는데, 이는 심볼릭 표현 트리의 연속적 완화(continuous relaxation)로서 이산적인 연산자 및 특징(feature) 할당을 허용 가능한 구성 요소에 대한 확률 분포로 대체한다. 이를 통해 천문학적으로 광대한 표현 공간에 대한 조합론적 심볼릭 탐색을 효율적인 그래디언트(gradient) 기반 최적화로 변환하면서도 일관된 확률론적 해석을 유지한다. 학습된 소프트 표현은 심볼릭 구조에 대한 사후 분포를 유도하며, 사후 인식 심볼릭 모델(model) 선택을 통해 그럴듯한 심볼릭 형태 전반에 걸친 불확실성 정량화를 가능하게 한다. 시뮬레이션 실험과 Feynman Symbolic Regression Database에서 VaSST는 최신 SR 방법들과 비교하여 강력한 구조적 복원력과 예측 정확도를 달성한다.