PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.19566v1cs.LG

벨만 잔차의 상하한 설정: 할인 보상 및 평균 보상 강화학습의 표본 복잡도 규명

Bellman Residual Bracketing: Resolving the Sample Complexity of Discounted and Average-Reward RL

본 연구는 생성 모델을 사용할 수 있는 강화학습(RL)에서 경험적 계획법인 플러그인 접근의 표본 복잡도를 조사한다. 할인 플러그인 방법은 표본 $O(SA (1-\gamma)^{-3} \varepsilon^{-2} \log(SA/\delta))$개로 $\varepsilon$-최적 정책을 찾는다. 여기서 $S, A, \gamma, \delta$는 각각 상태 집합의 크기, 행동 집합의 크기, 할인 계수, 실패 확률이다. 평균 보상 설정에서는 할인 플러그인과 직접 플러그인(비할인 방식)의 표본 복잡도가 각각 $O(SAH\varepsilon^{-2}\log(SA/\delta))$와 $O(SAD\varepsilon^{-2}\log(SA/\delta))$임을 보인다. $H$는 최적 편향 함수의 범위에 대한 상한이고 $D$는 지름이다. 이 결과와 비적응 생성 모델의 하한을 결합하면, 할인 강화학습과 평균 보상 강화학습의 최소최대 표본 복잡도를 상수 배율 차이까지 규명한다. 평균 보상 설정에서는 편향 함수의 범위를 기준으로 한 계열과 지름을 기준으로 한 계열이 모두 해당한다. 주요 기술적 기여는 벨만 잔차를 상한과 하한으로 제한하는 새로운 기법이다. 이 기법은 흡수 상태가 있는 마르코프 의사결정 과정(MDP)에 기반한 기존 확률 집중 분석의 효율을 높인다.

arXiv:2611.19557v1stat.ML

데이터 오염을 통한 베이즈 추론과 의사결정의 조종

Steering Bayesian Inference and Decisions through Data Poisoning

적대적 기계학습은 통계 모델이 오염된 데이터로 조작될 수 있음을 밝혀 왔으며, 베이즈 추론도 예외가 아니다. 선행 연구는 미묘한 오염 공격이 사후분포를 공격자가 선택한 분포로 이끌 수 있음을 보였다. 이러한 사후분포 유인 공격은 완전히 명시된 목표 사후분포를 필요로 하지만, 공격자는 대개 소수의 사후 양에만, 혹은 더 중대하게는 하류의 의사결정에만 관심이 있다. 본 논문에서는 공격자가 결과 사후분포와 목표 분포 사이의 최대 평균 불일치를 최소화하도록 선택된 소수의 관측값을 삭제하거나 복제하여 베이즈 추론과 의사결정을 어떻게 바꿀 수 있는지 연구한다. 적절한 커널을 사용하면 공격자는 목표의 나머지를 명시하지 않고도 선택된 사후 적률을 조종할 수 있다. 베이즈 행동은 그 자체가 사후 적률인 기대 효용을 통해서만 사후분포에 의존하므로, 같은 접근법으로 의사결정을 직접 겨냥할 수 있다. 우리는 사후 표본만을 필요로 하는 경사 기반 휴리스틱으로 공격을 구성하고 그 수렴성을 분석한다. 회귀 및 계층 모델을 이용한 실험은 적률 기반 공격과 전체 사후분포 공격을 비교하며, 소수의 관측값을 삭제하는 것만으로 베이즈 의사결정이 뒤집힐 수 있음을 보여 준다.

arXiv:2611.19523v1stat.ML

합성 함수 사전 구조의 기하학적 안정성과 표본 복잡도

Geometric Stability and Sample Complexity for Compositional Function Priors

본 연구는 지도학습에서 함수 합성 구조가 어떤 조건에서 차원 축소로 이어지는지 조사한다. 학습을 함수 공간의 사전 구조를 사용하는 경험적 위험 최소화로 정식화한다. 정규화 범함수가 근사 성능과 거리 공간 엔트로피 측면에서 유리한 함수의 부분집합을 선택한다. 모델은 $f(x)=g(Ax+\Delta h(x))$ 형태의 합성 함수다. 여기서 $A\in\mathbb{R}^{k\times d}$는 선형 기저 사상, $\Delta h$는 비선형 보정, $g$는 바깥 함수다. 즉, $f$는 비선형 보정을 제외하면 선형인 입력의 $k$차원 표현에 작용하는 임의의 매끄러운 함수다. 덮개 수에 대한 경계를 증명해 이 함수 계열의 통계 복잡도가 내재 차원에 따른 영역과 주변 공간의 $d$차원 비모수 수렴률 사이를 오간다는 것을 보인다. 내재 차원 영역에서 선형 사상의 $kd$개 원소에는 모수적 수렴률이 적용되고, 표현 차원 $k$에만 비모수적 수렴률이 적용된다. 두 영역 사이의 변화는 보정 크기 $\varepsilon=\|\Delta h\|$가 결정한다. 이어 $\varepsilon$을 데이터의 기하 구조와 연결한다. 데이터가 $k$차원 다양체를 둘러싼 좁은 관 안에 있고 회귀 목표가 입력에서 다양체 위의 최근접점에만 의존한다면, 국소적으로 목표를 정확히 $g(Ax+\Delta h(x))$로 분해할 수 있다. 이때 $A$는 접공간 좌표 사상이며, 보정의 소볼레프 노름은 해당 국소화 스케일의 곡률에 선형으로 비례한다. 아틀라스 전반에 걸쳐 국소 모델을 이어 붙이면, 유한한 국소 모델 망에서 최소제곱 추정량의 유한 표본 초과 위험 경계를 얻는다. 이 경계에서 주변 차원의 효과를 나타내는 항은 곡률이 0에 가까워질 때 사라진다. 1차원 모형 문제에서는 역방향 결과도 증명한다. 곡률이 있는 데이터에서는 모든 아핀 합성 예측기의 오차에 하한이 생기며, 이를 피하려면 보정 예산이 곡률에 맞춰 커져야 한다. 곡률을 반영한 대응 모델 계열은 내재 차원의 수렴률을 달성한다. 따라서 보정 크기 $\varepsilon$은 곡률과 통계 복잡도를 연결하는 유효 차원 매개변수다.

arXiv:2611.19515v1eess.SP

이중 적층 지능형 메타표면을 이용한 무선 의미 정렬

Over-the-Air Semantic Alignment via Dual Stacked Intelligent Metasurfaces

의미 통신은 과제 중심의 정보 교환을 가능하게 한다. 그러나 송신기와 수신기가 서로 다른 머신러닝 모델을 사용하면 잠재 공간이 어긋난다. 기존 의미 정렬 방법은 디지털 처리에 의존해 계산 비용과 지연이 늘어난다. 본 논문은 의미 정렬을 전적으로 파동 영역에서 수행하는 이중 적층 지능형 메타표면(dual-SIM) 아키텍처를 제안한다. 링크 양 끝의 프로그래밍 가능한 메타표면과 무선 채널을 함께 활용해 서로 다른 잠재 공간 사이의 종단 간 선형 변환을 구현한다. 위상만 조절하는 다층 SIM으로 지도학습 기반 선형 정렬기와 제로샷 파르세발 프레임 등화기를 모두 근사할 수 있음을 보인다. 채널 등화와 채널의 유리한 특성 활용을 고려해 단일 SIM, 분리 설계한 비대칭 및 대칭 이중 SIM, 공동 최적화한 이중 SIM을 조사한다. 공동 설계에는 1차 정지점으로의 수렴을 보장하는 교대 사영 그래디언트 알고리즘을 개발했다. 또한 그래디언트 기반 반복을 층으로 펼친 심층 신경망을 도입해, 채널이 변할 때 SIM을 재구성하는 계산 비용을 줄인다. 서로 다른 비전 트랜스포머 인코더를 사용한 수치 실험에서 중간부터 높은 신호 대 잡음비까지 의미 정렬이 정확했다. 채널 규모가 작은 설정에서는 공동 최적화한 이중 SIM과 분리 설계한 대칭 이중 SIM의 정확도가 가장 높았다. 적층 깊이가 얕을 때는 공동 설계가 가장 좋았으며, 깊이를 같게 맞추면 단일 SIM 대비 이점이 작아졌다.

arXiv:2611.19471v1stat.ME

랜덤 포리스트 해석: 대리 모델과 규칙 추출 방법 비교

Interpreting Random Forests: Comparing Surrogate Models and Rule Extraction Methods

랜덤 포리스트(RF)는 예측 성능이 높은 경우가 많지만 앙상블 구조를 해석하기는 어려울 수 있다. 대리 모델과 규칙 추출 방법으로 해석 가능한 근사를 얻을 수 있으나, 연구 질문에 맞는 방법을 고를 근거는 아직 부족하다. 회귀 및 분류를 위한 시뮬레이션 설정 11개와 벤치마크 데이터셋 67개에서 RF 해석 방법 12종을 비교했다. 예측 위주의 참조 모델로는 의사결정 트리를 사용했다. RF와의 예측 유사도 및 구조 유사도, 모델 복잡도, 예측 성능, 실행 시간을 평가했다. 시뮬레이션에서는 실제로 영향을 주는 변수와 잡음 변수를 구분할 수 있어 설명 가능성도 평가했다. 모든 목적에서 가장 우수한 방법은 없었다. 회귀에서는 SLIM이 예측 유사도나 테스트 데이터 성능에서 전반적으로 가장 높은 결과를 보였다. 성능이 비슷한 경우 선형 모델이 선형 효과를 더 간단하게 전역적으로 해석할 수 있게 했다. 분류에서는 inTrees가 전체 벤치마크에서 가장 우수했으며 CTree와 OC-CART도 유용한 대안이었다. ART는 일관되게 가장 간결한 표현을 만들었다. 회귀에서 NH와 SIRUS는 구조 유사도가 높았다. 분류 시뮬레이션에서는 MRT가 RF의 변수 사용을 가장 비슷하게 재현했다. 예측 위주 순위에서 높은 방법이 구조를 가장 잘 설명하지는 않을 수 있음을 보여 준다. 일부 접근법은 결과 변수 유형의 제약, 실행 시간 제한, 방법별 실패로 결과를 얻지 못한 경우가 있었다. 방법을 고를 때 성능과 함께 이 제약도 고려해야 한다. 따라서 결과 변수 유형, 예상 데이터 구조, 해석 목적에 따라 방법을 선택해야 한다. 예측 유사도만으로 RF를 설명하기는 어려우므로 구조 유사도와 모델 복잡도를 함께 살펴야 한다.

arXiv:2611.19451v1cs.LG

학습 데이터 기여도 분석의 효율적이고 정확한 인과 검증

Efficient and Accurate Causal Validation of Training Data Attribution

학습 데이터 기여도(TDA) 방법을 인과적으로 검증하려면 원래 학습 세트의 서로 다른 부분집합 다수에서 모델을 다시 학습해야 하므로 비용이 크다. 예를 들어 TDA 평가의 표준 지표가 된 선형 데이터 모델링 점수(LDS)는 TDA 예측과 다시 학습한 모델의 기대 출력 사이의 상관을 측정한다. 본 논문은 세 가지 축에서 LDS 추정에 드는 연산량을 줄인다. 표본으로 뽑는 학습 부분집합 수, 부분집합당 재학습 시드 수, 기여도 앙상블의 모델 수다. 각 요인은 LDS 추정에서 서로 다른 편향을 일으킨다. 이런 편향을 없애면 같은 LDS 추정 정확도에 필요한 재학습 횟수가 크게 줄어든다. ResNet-9와 CIFAR-10에서는 유한한 부분집합 수에 따른 편향을 보정해, 부분집합 $4$개만으로 상대 RMSE $3.2\%$를 달성했다. 부분집합 300개의 참조 결과를 기준으로 보면, 부분집합 $32$개를 사용한 방식은 부분집합 $96$개에 일반 스피어먼 상관을 적용한 방식과 같은 정확도를 냈다. ResNet-9/CIFAR-10, BERT/QNLI, GPT-2/WikiText-2에서는 학습 잡음의 분산을 추정함으로써, 표준 시드 다섯 개의 LDS를 같은 정확도로 재현하는 데 필요한 재학습 횟수를 $2$~$5\times$ 줄였다.

arXiv:2611.19382v1stat.ML

희소 연결 신경망의 일반화 경계

Generalization Bounds for Neural Networks with Sparse Connectivity

실험적 증거에 따르면 대규모 신경망은 모든 매개변수를 효과적으로 쓰는 경우가 드물고, 학습한 해에는 뚜렷한 희소성이 나타난다. 이 현상은 널리 관측됐지만 희소성이 통계적 성능에 미치는 영향은 기존 일반화 이론으로 일부만 설명할 수 있다. 본 논문은 층별 가중치 행렬이 $\ell_p$ 준노름($0<p\leq 1$) 제약을 받는 심층 신경망의 비점근 일반화 격차 경계를 도출한다. 이 분석은 고전적인 노름 기반 일반화 보장과 매개변수 개수에 따른 경계 사이를 잇는 새로운 결과를 제시한다. 준노름 차수 $p$가 0으로 접근하는 극단적 희소성의 극한에서는 경계가 활성 매개변수, 즉 값이 0이 아닌 매개변수의 개수에 대한 제곱근 의존성으로 전환된다. 그 결과 기존 매개변수 개수 기반 접근보다 경계가 더 엄밀해진다. 실험에서는 과매개변수화 영역에서 제안한 경계가 처음 선택한 아키텍처에 덜 의존했으며, 자연 데이터로 학습할 때 생기는 희소성의 일반화 이점을 효과적으로 포착했다.

arXiv:2611.19204v1math.ST

처치 기간이 우측 검열된 경우의 평균 용량-반응 함수 학습

Learning the Average Dose-Response Function with a Right-Censored Treatment

본 논문은 처치 기간이 우측 검열되고 검열된 관측 단위의 결과값이 누락됐을 때 평균 용량-반응 함수를 추정하고 추론하는 문제를 다룬다. 검열 기록이 제공하는 기간의 하한을 사용해, 보강한 국소 추정 방정식으로 새로운 다중 강건 추정량을 구성한다. 적절한 정칙성 조건에서 결과 회귀, 처치 밀도, 검열 생존 함수 가운데 어느 두 가지라도 일치 추정되면 이 추정량은 일치성을 유지한다. 보조 함수 추정에 적절한 조건을 두고 교차 적합 프레임워크에서 수렴률과 점근 분포를 확립한다. 국소 평활화 편향은 신뢰구간의 포함률을 왜곡할 수 있다. 이를 해결하기 위해 평활화 정도를 일부러 줄이지 않아도 점근적으로 타당한 점별 추론을 할 수 있는 편향 보정 추정량을 개발한다. 추가로 균일 조건이 성립하면 가우스 승수 부트스트랩으로 동시 신뢰대를 구성한다. 시뮬레이션에서는 추정 정확도, 점별 및 균일 추론의 타당성, 보조 모델을 잘못 지정했을 때의 강건성을 평가한다. NHANES에 맞춰 보정한 반합성 데이터 연구로, 용량-반응 함수가 알려진 설정에서 제안 방법을 예시한다.

arXiv:2611.19163v1math.OC

평균장 토큰 조향

Mean-field Token Steering

트랜스포머 층을 깊게 쌓은 모델에서 확률적으로 토큰을 조향하는 것을 단위 구면 위 상호작용 입자계에 대한 평균장 제어 문제로 다룬다. 입자 사이의 상호작용은 어텐션 메커니즘에서 나온다. 평균장 극한에서 토큰 집단은 제어된 적분-편미분 방정식에 따라 변한다. 피드백 제어는 보정 벡터장으로 작용해 표현 공간에서 토큰 집단을 목표 배치로 유도한다. 층 깊이를 정규화한 값으로 해석하는 고정 시간 구간 안에 목표를 달성하는 데 필요한 최소 노력 제어를 도출한다. 제어된 토큰 집단의 동역학은 구면의 기하 구조에 맞춘 평균장 슈뢰딩거 브리지로 이해할 수 있음을 보인다. 이를 바탕으로 서로 일관된 토큰 분포의 변화를 계산하도록 동적 싱크혼 재귀를 일반화하는 새로운 방법을 제안한다. 수치 실험에서 제안 방법이 토큰 집단을 목표 배치로 정확히 조향함을 확인했다.

arXiv:2611.19062v1math.ST

베팅을 이용한 로그 최적 이표본 검정

Log-optimal two-sample testing by betting

각 표준 보렐 관측 공간에 대해 어느 시점에나 유효한 단일 이표본 검정 절차를 구성한다. 이 절차는 미지의 확률분포 쌍마다, 그리고 두 표본 크기가 모두 발산하면서 그 비율이 0이나 무한대를 포함한 어떤 값으로 수렴하든 점근적으로 로그 최적이다. 독립적이고 크기가 같은 표본 쌍의 경우 보유 자산 로그의 최적 증가율은 $2\JS(P,Q)$다. 여기서 $\JS$는 옌센–섀넌 발산이다. 표본 크기가 서로 다르면 가중 옌센–섀넌 정보량을 얻으며, 단일 표본 극한은 $\log W(n_1,n_2)/n_2\to\KL(Q\|P)$이며 조건은 $n_1/n_2\to\infty$이다. 유한 분할을 세분화하는 방법과 가측 특성 커널을 사용한 로그 손실 학습으로 보편적인 구성을 얻을 수 있다. 핵심 기여는 구성의 일반성과 고전적인 일괄 검정의 효율 개념 사이의 연관성에 있다. 구현에서는 분류기를 지속적으로 미세조정할 수 있다. 이를 유한 알파벳, 가우스 데이터, 손글씨 숫자에서 시연했다.

arXiv:2611.19059v1stat.ML

SGD의 적응형 변형에 관한 고차원 극한 정리 I: 탄도 극한

High-dimensional limit theorems for adaptive variants of SGD I: Ballistic limits

확률적 경사하강법(SGD)의 적응형 모멘텀 변형에 대해 고차원에서의 유효 동역학을 도출한다. 이 동역학은 마르코프 과정으로 주어진다. 핵심은 지수 이동 평균과 전처리 조건화 때문에 알고리즘에 생기는 비마르코프성을 평균화 방법으로 다룰 수 있다는 점이다. 이 접근법은 적응적 모멘텀 추정(ADAM), 뉴턴–슐츠 방법으로 직교화한 모멘텀(MUON)과 그 변형을 비롯한 다양한 알고리즘에 적용할 수 있다. 텐서 주성분 분석(PCA), 가우스 투영 모델, 교사–학생 신경망, 실무에서 널리 쓰이는 MUON과 ADAM의 혼합 방식으로 XOR 문제를 학습시킨 다층 신경망 등 다양한 학습 과제에도 적용할 수 있다. 이 기법으로 알고리즘 간 성능을 정밀하게 정량 비교할 수 있음을 보여 준다. 예를 들어 학습 초기에는 온라인 SGD가 ADAM보다 일반화 성능이 높지만, 학습 곡선이 교차한 뒤에는 ADAM이 앞서는 현상을 관찰했다. 또한 안정성 경계 현상의 한 형태를 증명했다. 특히 안정성 경계를 정밀하게 특징짓는 무한대 라플라시안의 유사체를 도입한다.

arXiv:2611.19027v1cs.LG

HeteroWear: 이종 웨어러블 활동 인식을 위한 센서 인식 자기지도 학습

HeteroWear: Sensor-Aware Self-Supervised Learning for Heterogeneous Wearable Activity Recognition

웨어러블 센싱을 위한 자기지도 학습은 보통 단일 데이터셋이나 단일 기기군에 국한되어, 표현이 이종 센서 구성 간에 전이되는지, 그리고 성능 향상이 아키텍처나 더 풍부한 센서 입력이 아니라 사전학습에서 비롯되는지가 미해결로 남아 있다. 우리는 신체 부위, 기기, 샘플링 속도에 걸친 관성 및 생리 신호를 포함하는 8개 데이터셋 웨어러블 코퍼스(피험자 173명, 윈도우 358,261개)로 사전학습한 센서 인식 자기지도 프레임워크 HeteroWear를 제시한다. HeteroWear는 센서 문맥 임베딩, 시간 및 교차 센서 트랜스포머, 잠재 교차 어텐션 융합을 사용하여 센서 내 시간적 모델링과 센서 간 관계 모델링을 분리한다. 학습은 구조화된 센서 드롭아웃, 교차 구성 일관성, 축별 마스크 센서 모델링을 결합하며, 누락된 센서는 복원하지 않고 생략한다. PAMAP2, WISDM, HHAR, HARTH, UCI-HAR에 대한 하나의 데이터셋 제외(leave-one-dataset-out) 사전학습과 피험자 분리 평가에서, HeteroWear는 동일한 아키텍처를 처음부터 학습한 경우보다 평균 macro-F1을 0.688에서 0.724로 향상시키며, HHAR에서 가장 큰 향상(0.823 대 0.741)을 보이고, 단일 가속도계 지도 학습 기준선과 비교하여 5개 벤치마크 중 4개에서 가장 높은 macro-F1을 달성한다. 보류된 기기 평가에서는 평균 macro-F1이 +0.066 향상된다. 테스트 시점에 채널의 50%를 제거했을 때, HeteroWear는 전체 채널 성능의 73.8%를 유지하는 반면, 센서 드롭아웃 없이 처음부터 학습한 동일 아키텍처는 64.1%를 유지한다. 절제 연구는 구조화된 센서 드롭아웃이 주로 강건성을 이끌며, 교차 구성 일관성과 센서 문맥 인코딩은 전이에 기여함을 보여 준다.

arXiv:2611.19011v1stat.ML

대역 제한 최대우도를 고차원으로 확장하기: 선형 메모리, 모수적 수렴률, 자기 조정 컷오프

Taking Band-Limited Maximum Likelihood to High Dimensions: Linear Memory, the Parametric Rate, and a Self-Tuning Cut-off

대역 제한 최대우도(band-limited maximum likelihood, BLML)는 밀도를 대역 제한 함수의 제곱으로 추정한다. 이 추정치는 비음수이며, 참 밀도의 제곱근이 대역 제한적일 때 오차가 모수적 수렴률 $n^{-1}$로 감소한다. 이 알고리즘은 데이터를 빈(bin)으로 나누는데, 이는 1차원 또는 2차원에서만 빠르다. 3차원부터는 모든 점이 자신만의 빈을 가지게 되어 커널 시스템이 조밀해지고, 메모리가 $n^2$으로 증가하여 $10^5$개 점에서 40 GB에 달한다. 커널 추정기의 속도가 느려지는 고차원에서도 이 수렴률이 유지되는지는 검증된 바 없었다. 본 연구는 저차원 다양체 근처의 데이터가 아니라, 공간을 채우는 밀도를 가진 조밀한 데이터를 다룬다. 우리는 빈 방정식이 엄격하게 볼록한 목적함수의 정상성 조건임을 보이고, 커널 행렬을 구성하지 않는 블록 좌표 하강법으로 이를 최소화한다. 메모리는 $n$에 대해 선형이고, 한 번의 스윕은 $O(n^2 d)$의 비용이 들며, 적합에는 약 열 번의 스윕이 필요하다. A100 GPU 한 대로 8차원의 $10^6$개 점을 약 10분 만에 적합할 수 있다. 대역 제한 참 밀도에서 오차는 실험한 모든 차원(최대 8차원)에서 $n^{-1}$로 감소하는 반면, 커널 추정기의 기울기는 -0.67에서 -0.28로 완만해지며, BLML의 오차는 신경 스플라인 플로우보다 2배에서 18배 낮다. 스트리밍 적합은 BLML의 유일한 조정 모수인 컷오프를 홀드아웃 우도의 해석적 기울기로부터 학습하며, 비용은 한 번 더 적합하는 정도이다. 실제 데이터에서 BLML은 우리가 시험한 비모수 추정기 중 가장 강력하다. 전기 가격 데이터에서는 커널 및 최근접 이웃 추정기보다 시간당 0.27~0.47 nat 앞서며, 전체 POWER 및 GAS 벤치마크에서는 조정된 커널 추정기보다 점당 각각 0.39 및 1.58 nat 앞서, 초기 정규화 플로우와 최근 정규화 플로우 사이에 위치한다. 꺾임(kink)이 있는 밀도에서는 성능이 떨어진다.

arXiv:2611.18815v1stat.ML

Trajectory-Based Bayesian Discovery of a Host-Pathogen Model from Quasi-Steady-State Observations

System identification of nonlinear dynamical systems becomes challenging when the measured data come from a nearly settled state. We study this situation in the case of a bistable host-pathogen interaction model with a cubic term, whose seven true mechanisms are hidden among twenty candidate terms. The data are from one noise-free trajectory on a quasi-steady-state observed window and the initial state. In this situation, classical sparse identification approaches fail to identify the correct mechanisms as the candidate library becomes ill-conditioned along the quasi-steady-state trajectory. To address this, we propose an alternative approach in which sparse Bayesian learning and $\ell_{0}$ iterative hard thresholding with pursuit provide a good start, and a two-swap climb on the Bayesian evidence of the candidate ODE solutions recovers the true model. Our results show successful model recovery, i.e., correct identification of its support and accurate estimation of its coefficients, as validated by exhaustive scoring.

arXiv:2611.18785v1cs.LG

미세 조정된 언어 모델을 이용한 최적 최저 입찰가 설정

Setting Optimal Reserve Prices using Fine-Tuned Language Models

온라인 경매 업체는 구조화되지 않은 설명에 유용한 수요 정보가 담긴, 차별화 정도가 높은 상품에 대해 최저 입찰가(reserve price)를 설정해야 한다. 기존 접근법은 대체로 관리자가 상품 속성을 사전에 지정할 것을 요구한다. 우리는 언어 모델이 대신 목록 설명과 과거 입찰 기록으로부터 학습하여, 입찰이 시작되기 전에 품목별 최저 입찰가를 설정할 수 있는지 묻는다. 우리는 경매 입찰의 구조적 우도를 학습 목적 함수로 삼아 사전 학습된 텍스트 임베딩 언어 모델을 미세 조정한다. 이는 표현 학습을 최저 입찰가 결정을 좌우하는 가치 평가 분포로 향하게 한다. 우리는 연속된 상위 입찰이 잠재 입찰자 수를 관측하거나 모델링하지 않고도 최적 최저 입찰가를 설정하는 데 필요한 꼬리 정보를 식별함을 보인다. 분할 표본 추정량은 데이터의 절반에서 표현을 학습하고, 나머지 절반에서 그 표현을 조건으로 구조 추정과 추론을 수행한다. 우리는 이 방법을 약 65,800건의 온라인 중고차 경매에 적용한다. 판매자 가치를 목록 간 판매율에 맞도록 보정했을 때, 모델은 반사실적으로 1억 6,580만 달러의 순증가를 시사하며, 이는 기존 최저 입찰가 정책보다 14.6% 높은 수치이다. 이 프레임워크는 상품 분류 체계를 구축하거나 가격을 매길 품목의 입찰 기록을 요구하지 않고도, 목록 설명과 판매자의 가치를 품목별 최저 입찰가 권고로 변환한다. 이는 상품이 이질적이고 수요와 관련된 정보가 텍스트로 기록되는 시장에서 운영상의 의사결정에 언어 모델을 적응시키는 접근법을 제공한다.

arXiv:2611.18662v1cs.LG

단계적 적응형 부스팅

Stagewise Adaptive Boosting

단계적(stagewise) 알고리즘과 희소성 유도 정규화는 고차원 모델링에 영향력 있는 두 가지 접근이다. 그러나 기존 단계적 이론은 대체로 볼록 정규화를 중심으로 하며, 더 강한 희소성이나 그 밖의 구조적 선호는 전체 적응형 해 경로를 생성하기보다 고정 수준의 비볼록 최적화를 통해 추구되는 경우가 많다. 본 논문은 구조적 선호에 부합하는 업데이트를 선택하여 단조 경로를 구성하는 일반 프레임워크인 단계적 적응형 부스팅을 개발한다. 이 프레임워크는 경로 자체를 따라 희소성을 촉진할 수 있으며, 그룹 선택, 다중 결과에 대한 모델 간 유사성, 예측 변수 간 알려진 우선순위 또는 선행 관계 등 해의 다른 성질을 촉진하는 확장도 허용한다. 이론적 성질과 함께 시뮬레이션 및 실제 데이터 분석을 통한 유한 표본 성능을 연구한다. 이러한 연구 전반에서 제안한 경로 기반 접근은 흔히 사용되는 기준선과 비슷한 예측 성능을 달성하면서도 훨씬 작은 모델을 선택하는 경우가 많았다. 이러한 결과는 적응형 단계적 학습이 별도의 가중 또는 비볼록 최적화 문제를 반복해서 풀지 않고도 더 강한 희소성과 더 풍부한 구조적 제어에 이르는 실용적인 경로를 제공함을 시사한다.

arXiv:2611.18645v1stat.ML

Domino: 소수 단계 마스크 확산을 위한 1차 마르코프 체인 기반 결합 마스크 해제

Domino: Joint Unmasking via First-order Markov Chain for Few-Step Masked Diffusion

마스크 확산 모델은 여러 노이즈 제거 단계에 걸쳐 마스크된 위치를 점진적으로 드러내어 시퀀스를 생성한다. 소수 단계 샘플러는 많은 위치를 한 번에 드러내야 하지만, 표준 역방향 커널은 이를 독립적으로 추출하며 같은 단계에서 드러나는 토큰 간의 조건부 의존성을 주로 무시한다. 우리는 현재 상태가 주어졌을 때 드러나는 위치들에 대한 1차 마르코프 체인으로 이 의존성을 모델링하는 새로운 프레임워크 Domino를 제안한다. 처음 드러나는 위치는 사전 학습된 마스크 확산 모델(MDM)의 사후 분포를 유지하고, 이후 각 위치는 직전 위치의 토큰이 주어졌을 때의 전이를 따른다. 특히 이렇게 얻어진 단계는 구성상 정규화되어 있고, MDM의 분해된 단계를 특수한 경우로 포함하며, 닫힌 형태의 가능도를 갖는다. 우리는 Domino 전이를 사전 학습된 MDM 노이즈 제거기의 은닉 상태 위에 놓인 경량 모듈로 구현하며, 파라미터 오버헤드는 2.6%에 불과하고 MDM 노이즈 제거기는 고정한 채 학습한다. 텍스트, 분자, 이미지에 걸친 광범위한 평가에서 Domino는 샘플 엔트로피를 거의 변화시키지 않으면서 One Billion Word(LM1B), WikiText-103, OpenWebText에서 MDM의 소수 단계 생성 퍼플렉서티를 1.7배에서 3.8배까지 낮춘다. 또한 소수 단계 분자 샘플의 유효성을 1.5배 높인다. 소스 코드는 https://github.com/mansoor181/domino.git 에서 확인할 수 있다.

arXiv:2611.18625v1stat.ML

결정론적 데이터셋의 쌍별 비유사 분해에 대한 앙상블 한계

Ensemble Bounds for Pairwise Dissimilar Decomposition of Deterministic Datasets

본 논문에서는 중복성 그래프를 사용하여 결정론적 데이터셋의 유사도 감소 분해를 연구하고, 이러한 제약 분해의 최소 크기에 대한 앙상블 한계를 구한다. 배치 간 유사도를 줄이는 배치 분해를 고려하고, Lovász 국소 보조정리를 사용하여 주어진 쌍별 비유사도를 갖는 분해의 최소 크기에 대한 한계를 구한다. 이어서 주어진 완화 매개변수를 갖는 유일 배치 분해를 고려하여 최소 크기에 대한 앙상블 상한과 하한을 구한다. 전반에 걸쳐, 유사한 데이터 포인트 쌍의 수를 조건으로 하여 이항 랜덤 그래프를 사용함으로써 원하는 앙상블 한계를 얻는다.

arXiv:2611.17019v2cs.LG

시간적 정규화 학습: 공간과 시간에서 국소적인 자기지도 학습

Temporal Regularized Learning: Self-Supervised Learning Local in Space and Time

VICReg와 같은 자기지도 목적 함수는 관련된 입력을 서로 유사하게 만들어 표현을 학습하며, 분산 및 공분산 페널티가 붕괴를 방지한다. 이러한 페널티는 샘플 배치에 대한 통계량이므로, 층 국소 변형 역시 일반적으로 공간에서는 국소적이지만 시간에서는 그렇지 않다. 우리는 순수하게 국소적인 업데이트로 한 번에 한 샘플씩 VICReg 형태의 목적 함수를 최적화하는 시간적 정규화 학습(TeReL)을 제안한다. 각 업데이트는 자신의 층과 이전 층의 현재 활동, 그리고 고정 크기의 러닝 상태만을 사용한다. 시간적으로 인접한 입력이 양성 쌍으로 쓰이므로 이 목적 함수는 느린 특징 분석(SFA)의 소프트한 형태가 된다. 각 뉴런의 평균과 분산에 대한 러닝 추정치와 층마다 하나의 측면 행렬이 배치 통계량을 대체하며, 이를 미분 중에 고정하면 기울기가 헤비안 방식의 순방향 업데이트와 반헤비안 방식의 측면 업데이트가 된다. 클래스가 동질적인 청크로 구성된 MNIST 스트림에서 배치 크기 1로 학습한 2층 네트워크가 96.48%의 선형 프로브 정확도에 도달하여 무작위 특징(95.09%)과 고전적 SFA를 상회하며, 시간적 순서와 각 손실 항이 이 결과에 기여함을 보인다. 두 가지 국소성 제약을 모두 완화하면 동일한 목적 함수는 지도 학습 역전파와 대등한 성능을 낸다. 따라서 TeReL은 현대 자기지도 학습의 붕괴 방지 통계량을 각 뉴런의 러닝 상태로 유지할 수 있음을 보여 주며, 이는 이러한 목적 함수를 뇌와 뉴로모픽 하드웨어가 구현할 수 있는 방식에 더 가깝게 한다.

arXiv:2611.16736v2cs.LG

자기회귀 언어 모델에 대한 시퀀스 수준 지도 학습의 어려움

On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Language Models

지도 학습 단계에서 자기회귀 언어 모델은 일반적으로 학습 데이터의 음의 로그우도를 최소화하여 학습되며, 이는 교사 강요(teacher forcing)를 통해 토큰 수준 교차 엔트로피의 합으로 분해된다. 이 목적 함수는 단순하고 효율적이지만, 모델이 학습되는 방식과 추론 시 사용되는 방식 사이의 불일치인 이른바 노출 편향(exposure bias)을 겪을 가능성이 있다. 그렇다면 탐욕적 디코딩이나 자기회귀 샘플링과 같은 추론 시점의 디코딩 절차를 반영하는 시퀀스 수준 손실 함수를 설계할 수 있을까? 본 논문은 두 가지 자연스러운 시도가 모두 아래로 유계가 아닌, 근본적으로 결함이 있는 손실 함수로 이어짐을 보인다. 또한 이 두 결함 있는 손실 함수가 밀접하게 연결되어 있음을 보이는데, 자기회귀 Gumbel 트릭을 사용하면 샘플링 기반 손실은 Gumbel 섭동 하에서의 탐욕적 손실의 기댓값이 된다. 이러한 병리 현상은 디코딩된 시퀀스가 모델 파라미터에 의존하는 데서 비롯되므로, 샘플링 절차에 stop gradient를 적용하여 얻는 업데이트 방향을 분석하며, 이는 모멘트 매칭 방향으로 이어진다. 이 방향은 어떤 손실 함수의 기울기도 아니지만, 자기회귀 음의 로그우도에 대해 함수 공간에서 유효한 하강 방향을 정의함을 증명한다. 이러한 이론적 통찰에도 불구하고 모멘트 매칭 방향은 분산이 크다는 문제가 있다. 우리는 자기회귀 모델의 지도 학습에는 교사 강요가 사실상 "필요한 전부"일 수 있다고 결론짓는다.