PyTorchKR Papers

최신 논문

총 3,318편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2301.12254v5stat.ML

다항 로짓 모델에서 최적 구색에 대한 조합적 추론

Combinatorial Inference on the Optimal Assortment in Multinomial Logit Models

구색 최적화(assortment optimization)는 실무적 중요성으로 인해 지난 수십 년 동안 활발한 연구가 이루어져 왔습니다. 최적화 알고리즘과 잠재 점수 추정(latent score estimation)을 다루는 광범위한 문헌에도 불구하고, 최적 구색에 대한 불확실성 정량화(uncertainty quantification)는 여전히 탐색되어야 할 영역이며 매우 중요한 실무적 의의를 지닙니다. 의사 결정자는 완전한 최적 제공 세트를 추정하고 복원하는 대신, 관심 있는 여러 제품을 최적 세트에 포함해야 하는지, 혹은 최적 세트에 몇 가지 범주의 제품이 포함되어야 하는지와 같이 최적 구색에 대해 주어진 특성이 성립하는지 여부를 검정하는 데에만 관심을 가질 수 있습니다. 본 논문에서는 이러한 특성을 검정하기 위한 새로운 추론 프레임워크를 제안합니다. 우리는 널리 채택되는 다항 로짓(MNL) 모델을 고려하며, 각 고객이 제공된 제품 중에서 해당 제품과 관련된 잠재 선호도 점수에 비례하는 확률로 품목을 구매한다고 가정합니다. 우리는 일반적인 최적 구색 특성을 추론하는 문제를 한계 수익 격차(marginal revenue gap)의 부호 변화점 감지와 관련된 불확실성을 정량화하는 문제로 환원합니다. 한계 수익 격차 추정량의 점근적 정규성을 보이고, 부호 변화점을 감지하기 위해 격차 추정량을 통한 최대 통계량(maximum statistic)을 구축합니다. 승수 붓스트랩(multiplier bootstrap) 기법으로 최대 통계량의 분포를 근사함으로써 유효한 검정 절차를 제안합니다. 또한 본 방법의 성능을 평가하기 위해 수치 실험을 수행합니다.

arXiv:2502.17017v1cs.CL

Quantifying Logical Consistency in Transformers via Query-Key Alignment

Large language models (LLMs) have demonstrated impressive performance in various natural language processing tasks, yet their ability to perform multi-step logical reasoning remains an open challenge. Although Chain-of-Thought prompting has improved logical reasoning by enabling models to generate intermediate steps, it lacks mechanisms to assess the coherence of these logical transitions. In this paper, we propose a novel, lightweight evaluation strategy for logical reasoning that uses query-key alignments inside transformer attention heads. By computing a single forward pass and extracting a "QK-score" from carefully chosen heads, our method reveals latent representations that reliably separate valid from invalid inferences, offering a scalable alternative to traditional ablation-based techniques. We also provide an empirical validation on multiple logical reasoning benchmarks, demonstrating improved robustness of our evaluation method against distractors and increased reasoning depth. The experiments were conducted on a diverse set of models, ranging from 1.5B to 70B parameters.

arXiv:2504.07335v4cs.CV

DLTPose: 6DoF Pose Estimation From Accurate Dense Surface Point Estimates

We propose DLTPose, a novel method for 6DoF object pose estimation from RGBD images that combines the accuracy of sparse keypoint methods with the robustness of dense pixel-wise predictions. DLTPose predicts per-pixel radial distances to a set of minimally four keypoints, which are then fed into our novel Direct Linear Transform (DLT) formulation to produce accurate 3D object frame surface estimates, leading to better 6DoF pose estimation. Additionally, we introduce a novel symmetry-aware keypoint ordering approach, designed to handle object symmetries that otherwise cause inconsistencies in keypoint assignments.Previous keypoint-based methods relied on fixed keypoint orderings, which failed to account for the multiple valid configurations exhibited by symmetric objects, which our ordering approach exploits to enhance the model's ability to learn stable keypoint representations. Extensive experiments on the benchmark BOP-Classic-Core datasets show that DLTPose outperforms many recent methods, performing especially well for symmetric and occluded objects. The code is available at anonymous.4open.science/r/DLTPose.

arXiv:2310.08115v3econ.EM공식 코드 · Papers with Code

부분 식별 인과 효과에 대한 모델 무관 공변량 보조 추론

Model-Agnostic Covariate-Assisted Inference on Partially Identified Causal Effects

많은 인과 추정량은 잠재 결과(potential outcomes) 간의 관측 불가능한 결합 분포에 의존하기 때문에 부분 식별(partially identifiable)에 그친다. 처치 전 공변량(pretreatment covariates)으로 층화(stratification)하면 더 날카로운 bound를 얻을 수 있지만, 공변량이 지지(support)가 상대적으로 작은 이산형이 아니면 이 접근은 일반적으로 공변량을 구간화(binning)하거나 공변량이 주어졌을 때 잠재 결과의 조건부 분포를 추정해야 한다. 구간화는 상당한 효율 손실을 초래할 수 있으며, 공변량 수가 중간 정도만 되어도 구현이 어려워질 수 있다. 반면 조건부 분포를 추정하는 방식은 분포 추정이 부정확할 때—예를 들어 잘못 지정된 모델(misspecified model)을 쓰거나 공변량이 고차원일 때—유효하지 않은 추론을 낳을 수 있다. 본 논문에서는 부분 식별 추정량의 넓은 클래스에 대해 통합적이고 모델에 구애받지 않는(model-agnostic) 추론 접근을 제안한다. 최적 수송(optimal transport) 문제에 대한 이론(duality theory)에 기반한 우리 방법은 네 가지 핵심 성질을 갖는다. 첫째, 무작위화 실험(randomized experiments)에서 우리 접근은 조건부 분포에 대한 어떤 추정치에도 감쌀 수 있으며(wrap around), 초기 추정이 임의로 부정확해도 균일하게 유효한(uniformly valid) 추론을 제공한다. 관찰 연구(observational studies)로의 간단한 확장은 통상적 의미에서 이중 강건(doubly robust)이다. 둘째, nuisance parameter가 반모수(semi-parametric) 비율로 추정되면 우리 추정량은 sharp bound에 대해 �渐近적으로 불편(asymptotically unbiased)하다. 셋째, 진짜 모델이 선택되지 않더라도 multiplier bootstrap을 적용해 공변량과 모델을 선택해도 유효성을 희생하지 않는다. 마지막으로 계산적으로 효율적이다. 특히 우리 방법과 이론은 이산 및 연속 잠재 결과 모두에 적용된다. 전반적으로 세 가지 실증 응용에서 우리 방법은 추가적인 구조적 가정 없이도 추정된 식별 집합(identified sets)과 신뢰구간(confidence intervals)의 폭을 일관되게 줄였다.

arXiv:2302.07690v3math.ST

마르코프 데이터를 활용한 비선형 확률적 근사를 위한 온라인 통계적 추론

Online Statistical Inference for Nonlinear Stochastic Approximation with Markovian Data

많은 확률적 근사(SA, Stochastic Approximation) 알고리즘은 단일 궤적을 따라 전개되므로 비선형 역학 및 마르코프 의존성 하에서 불확실성 정량화가 어렵습니다. 본 논문에서는 감소하는 스텝 크기를 갖는 비선형 SA를 위한 온라인 추론 프레임워크를 개발합니다. 국소 안정성 및 검증 가능한 조건 하에서 부분합 경로에 대한 함수형 중심 극한 정리를 확립합니다. 증명에서는 마르코프 의존성을 다루기 위해 포아송 방정식 분해를 사용하며, 감소하는 스텝 크기로 인해 유도되는 종점 의존적 잔차를 제어하기 위해 균등 경계를 사용합니다. 그 결과로 얻어지는 경로 극한은 점근 분산을 추정하지 않고도 자체 정규화된 신뢰 구간을 산출합니다. 본 연구의 주요 구성은 5차원 다항식 급수 정규화기를 사용하며, 점근적 스튜던트 $t_5$ 피벗을 갖고 상수 메모리만을 필요로 합니다. 이 프레임워크를 비동기 테이블형, 투영 선형, 엔트로피 정규화 업데이트를 포함한 Q-러닝뿐만 아니라 마르코프 데이터를 갖는 일반화 선형 모델을 위한 SGD 및 LoRA(Low-Rank Adaptation)에서 식별된 곱에 대한 추론에 적용합니다. 네 가지 설정 전반에서 다항식 급수 방법은 온라인 부트스트랩보다 더 짧은 신뢰 구간과 더 낮은 계산 비용으로 공칭 범위에 가까운 커버리지를 달성합니다.

arXiv:2501.18897v4stat.ML

생성 모델 비교를 위한 통계적 추론

Statistical Inference for Generative Model Comparison

생성 모델은 다양한 응용 분야에서 놀라운 성공을 거두었지만, 평가는 여전히 원칙적인 불확실성 정량화(uncertainty quantification)가 부족하다. 본 논문에서는 서로 다른 생성 모델이 테스트 샘플의 기저 분포에 얼마나 가까운지를 비교하는 방법을 제안한다. 특히 본 접근법은 생성 모델과 알려지지 않은 테스트 분포 사이의 거리를 측정하기 위해 Kullback-Leibler(KL) 발산을 사용한다. KL은 RKHS 기반 거리에서 사용되는 커널과 같은 튜닝 매개변수가 필요 없으며, 불확실성 정량화를 가능하게 하는 중요한 소거(cancellation)를 허용하는 유일한 $f$-발산이이기 때문이다. 또한 본 방법을 조건부 생성 모델 비교로 확장하고, 데이터가 제한된 설정을 다루기 위해 Edgeworth 전개를 활용한다. 알려진 정답(ground truth)을 갖는 시뮬레이션 데이터셋에서 본 접근법이 효과적인 커버리지율(coverage rate)을 달성하고, 커널 기반 방법에 비해 더 높은 검정력(power)을 갖는다는 것을 보인다. 이미지 및 텍스트 데이터셋의 생성 모델에 적용했을 때, 본 절차는 벤치마크 지표와 일치하는 결론을 통계적 신뢰도와 함께 제공한다.

arXiv:2408.08998v4stat.ML공식 코드 · Papers with Code

$\ell_2$ 기대 보정 오차(ECE)에 대한 신뢰구간

A Confidence Interval for the $\ell_2$ Expected Calibration Error

머신러닝의 최근 발전은 다양한 응용 분야에서 예측 정확도를 크게 향상시켰다. 그러나 확률적 예측의 보정(calibration)을 보장하는 것은 여전히 중요한 과제로 남아 있다. 모델 보정을 개선하려는 노력에도 불구하고, 모델 보정에 대한 엄밀한 통계적 평가는 아직 충분히 탐구되지 않았다. 본 연구에서는 $\ell_2$ 기대 보정 오차(ECE)에 대한 신뢰구간을 개발한다. top-1-to-$k$ 보정을 고려하며, 이는 널리 알려진 신뢰도 보정(confidence calibration)과 완전 보정(full calibration)을 모두 포함한다. ECE의 편향 제거(debiased) 추정량에 대해 점근적 정규성(asymptotic normality)을 보이되, 보정된(calibrated) 모델과 보정되지 않은(miscalibrated) 모델에서 서로 다른 수렴 속도와 점근적 분산을 갖는다는 것을 보인다. 이러한 특성과 비음성(non-negativity)을 고려하여 ECE에 대한 점근적으로 유효한(asymptotically valid) 신뢰구간을 구성하는 방법을 개발한다. 이론적 결과는 광범위한 실험을 통해 뒷받침되며, 우리 방법이 재표본 추출(resampling) 기반 방법으로 얻은 것과 비교하여 더 짧은 길이의 유효한 신뢰구간을 생성함을 보여준다.

arXiv:2302.06578v4math.ST

커널 릿지 회귀 추론

Kernel Ridge Regression Inference

커널 릿지 회귀(KRR)에 대한 균등 신뢰대를 제공한다. KRR은 선호, 시퀀스, 그래프와 같은 비표준 데이터에 널리 사용되는 비모수 회귀 추정량이다. 이러한 데이터(예: 학교 매칭 메커니즘에서의 학생 선호)가 널리 존재함에도 불구하고, KRR의 추론 이론은 아직 완전히 알려져 있지 않다. 비표준 회귀변수를 허용하면서 거의 미니맥스(minimax) 비율로 수축하는 유효하고 정밀한 신뢰집합을 구성한다. 부트스트랩(bootstrap) 절차는 계산 효율성과 모형 오지정(mis-specification) 하에서의 유효성을 위해 반대칭 승수(anti-symmetric multipliers)를 사용한다. 이 절차를 활용하여 매칭 효과(match effects), 즉 학생들이 자신이 높게 순위를 매긴 학교로부터 더 큰 이익을 얻는지에 대한 검정을 개발한다.

arXiv:2503.08936v3cs.SE

신뢰할 수 있는 자율주행 시스템 테스팅을 위한 시뮬레이터 앙상블

Simulator Ensembles for Trustworthy Autonomous Driving Systems Testing

자율주행 보조 시스템(ADAS) 테스팅에서 시뮬레이터마다 다른 결과가 나오는 간헐적 오류(flakiness) 문제를 해결하기 위해, 여러 시뮬레이터를 탐색 과정에 앙상블로 통합하여 시뮬레이터-독립적(simulator-agnostic) 장애 유발 시나리오를 식별하는 MultiSim을 제안한다. 실증 연구에서 MultiSim은 단일 시뮬레이터 대비 평균 66% 높은 시뮬레이터-독립적 실패율을 달성했으며, 대리 모델(surrogate model)을 활용해 시뮬레이터 간 불일치를 사전 예측함으로써 효율성을 추가로 개선하였다.

arXiv:2505.10356v3cs.CL

멀티모달 마음 디코딩: 멀티모달 정렬과 적응형 라우팅을 통한 일반화 가능한 뇌-텍스트 변환

Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing

MLLM(멀티모달 대규모 언어 모델)을 활용해 뇌 신호를 텍스트·이미지·오디오를 아우르는 공유 의미 공간에 정렬하고, 라우터 모듈로 자극별 모달리티 특징을 동적으로 융합하는 통합 BCI 디코딩 프레임워크를 제안한다. fMRI·EEG·MEG 등 다양한 뇌 신호와 자극 유형에서 최고 성능을 달성했으며, 가장 널리 쓰이는 벤치마크에서 평균 8.48% 성능 향상을 기록했다.

arXiv:2312.08230v2cs.CV

측지선 포인트 클라우드 패치를 활용한 대조 학습 기반 3D 기하학의 부분 대칭 감지

Partial Symmetry Detection for 3D Geometry using Contrastive Learning with Geodesic Point Cloud Patches

3D 기하학에서 회전·병진·반사를 포함한 부분 외재적 대칭을 정답 어노테이션 없이 탐지하는 자기지도 대조 학습 프레임워크 SymCL을 제안하며, 측지선 패치(geodesic patch) 임베딩을 유클리드 군 불변 잠재 공간에서 밀도 기반 클러스터링하여 단일 순전파로 다중 인스턴스 대칭 그룹을 동시에 복원한다. 새로운 벤치마크 SymPartNet에서 정량 평가하고, 학습 분포 밖의 다양한 형상에 대한 클래스 비의존적 일반화를 시연한다.

arXiv:2312.00305v3stat.ME

잡음이 있는 행렬 완성에서 선형 형식의 다중 검정

Multiple Testing of Linear Forms for Noisy Matrix Completion

대규모 추천 시스템의 아이템 추천 문제를 잡음이 있는 행렬 완성(noisy matrix completion) 모델에서의 선형 형식 다중 검정으로 정식화하고, 저랭크(low-rank) 구조로 인한 바이어스-분산 트레이드오프와 복잡한 의존성 문제를 극복하기 위해 데이터 분할 및 대칭 집계(SDA) 기반의 새로운 통계량을 제안한다. 이 방법론은 거의 최적의 표본 크기 조건 하에서 검정력을 보장하면서 거짓 발견율(FDR)을 점근적으로 제어함을 이론적으로 증명하고, MovieLens 및 Rossmann 판매 데이터셋 실험으로 실용적 효과를 입증한다.

arXiv:2502.19460v4stat.ML공식 코드 · Papers with Code

생존 모델 평가에서 종속 중도절단 극복하기

Overcoming Dependent Censoring in the Evaluation of Survival Models

아르키메데안 코퓰라(Archimedean copula)와 Copula-Graphic 추정기를 활용해 종속 중도절단(dependent censoring) 상황에서 생존 모델을 올바르게 평가하는 종속 브라이어 점수(dependent Brier score)를 제안한다. 12개 데이터셋 실험에서 기존 IPCW 기반 방법 대비 추정 오차를 평균 12–16% 감소시켰으며, 종속 중도절단을 지원하는 최초의 생존 분석 평가 지표다.

arXiv:2201.01973v3stat.ML

강건한 선형 예측: 균일 집중도, 빠른 수렴률 및 모델 오명세 분석

Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates and Model Misspecification

선형 예측 문제는 지난 한 세기에 걸쳐 상당히 일반화된 프레임워크 하에서 광범위하게 연구되어 왔다. 강건 통계학 분야의 최근 발전은 평균의 중앙값(Median of Means, MoM)이라는 프리즘을 통해 고전적인 선형 모델의 강건한 버전을 분석할 수 있게 해준다. 이러한 접근법들을 단편적으로 결합하면 임기응변적인 절차로 이어질 수 있으며, 각 개별 기여를 뒷받침하는 제한적인 이론적 결론들이 더 이상 유효하지 않을 수 있다. 이러한 과제들을 일관성 있게 해결하기 위해, 본 연구에서는 힐베르트 공간(Hilbert space) 위에서의 광범위한 선형 예측 문제와 일반적인 손실 함수 클래스를 포함하는 통합된 강건 프레임워크를 제시한다. 특히, 이상치 데이터 포인트($\mathcal{O}$)의 분포에 대한 어떠한 가정도, 정상치($\mathcal{I}$)의 지지(support) 컴팩트성에 대한 가정도 요구하지 않는다. 쌍대 노름(dual norm)에 관한 완화된 조건 하에서, 오명세 수준 $ε$에 대해 이 추정량들이 $O(\max\left\{|\mathcal{O}|^{1/2}n^{-1/2}, |\mathcal{I}|^{1/2}n^{-1} \right\}+ε)$의 오차율을 달성함을 보이며, 이는 문헌에서 알려진 최선의 수렴률과 일치한다. 이 수렴률은 고전적인 $O(n^{-1/2})$보다 다소 느리며, 이는 강건한 추정량을 얻기 위해 오차율 측면에서 일정한 대가를 치러야 함을 나타낸다. 또한, 추가적인 가정 하에서 이 수렴률을 개선하여 이른바 '빠른 수렴률(fast rates)'을 달성할 수 있음을 보인다.

arXiv:2206.04359v3cs.LG공식 코드 · Papers with Code

Learning Non-Vacuous Generalization Bounds from Optimization

최적화(optimization) 관점에서 확률적 경사 하강(SGD)이 접근하는 가설 집합이 프랙탈(fractal) 구조를 갖는다는 점을 활용해, 분수 브라운 운동(fractional Brownian motion)으로 구동되는 확률 미분방정식(SDE)으로 이산 시간 재귀를 모델링하고 알고리즘 의존 Rademacher 복잡도에 대한 더 타이트한 비공허(non-vacuous) 일반화(generalization) 상한을 제시한다. 수치 실험에서 ResNet과 Vision Transformer가 ImageNet-1K 같은 대규모 데이터셋에서도 학습될 때 테스트 손실을 그럴듯하게 예측하는 일반화 보장을 얻었다.

arXiv:2504.14582v3cs.CV공식 코드 · Papers with Code

NTIRE 2025 이미지 초해상도(x4) 챌린지: 방법 및 결과

NTIRE 2025 Challenge on Image Super-Resolution (x4): Methods and Results

이 논문은 CVPR 2025에서 개최되는 제10회 NTIRE 워크샵의 연계 경진대회 중 하나인 NTIRE 2025 이미지 초해상도($\times$4) 챌린지를 소개합니다. 이 챌린지의 목표는 $\times$4 배율의 바이큐빅 다운샘플링(bicubic downsampling)을 통해 생성된 저해상도(LR) 이미지로부터 고해상도(HR) 이미지를 복원하는 것입니다. 그 목적은 최첨단 SR 성능을 달성하는 효과적인 네트워크 설계 또는 솔루션을 개발하는 데 있습니다. 이미지 SR 연구의 이중적인 목표를 반영하기 위해 본 챌린지는 두 개의 하위 트랙으로 구성됩니다: (1) 픽셀 단위 정확도를 강조하고 PSNR을 기준으로 제출물을 순위 매기는 복원(restoration) 트랙, (2) 시각적 사실감에 초점을 맞추고 지각적 점수(perceptual score)로 결과를 순위 매기는 지각(perceptual) 트랙입니다. 총 286명의 참가자가 경진대회에 등록하였고, 25개 팀이 유효한 결과물을 제출했습니다. 본 보고서는 챌린지 설계, 데이터셋, 평가 프로토콜, 주요 결과 및 각 팀의 방법론을 요약합니다. 이 챌린지는 최첨단 기술을 발전시키고 이미지 초해상도 분야의 진전을 도모하는 벤치마크 역할을 합니다.

arXiv:2404.09790v2cs.CV공식 코드 · Papers with Code

NTIRE 2024 이미지 초해상도(x4) 챌린지: 방법 및 결과

NTIRE 2024 Challenge on Image Super-Resolution (x4): Methods and Results

이 논문은 이미지 초해상도($\times$4)에 관한 NTIRE 2024 챌린지를 검토하고, 제안된 해결책과 도출된 결과를 조명합니다. 이 챌린지는 사전 정보를 활용하여 저해상도(LR) 입력으로부터 4배 확대된 대응하는 고해상도(HR) 이미지를 생성하는 과정을 포함합니다. LR 이미지는 바이큐빅 다운샘플링에 의한 열화에서 비롯됩니다. 이 챌린지의 목적은 연산 자원(예: 모델 크기 및 FLOPs)이나 학습 데이터에 대한 제약 없이 최고 수준의 초해상도(SR) 성능을 보여주는 설계나 솔루션을 도출하는 것입니다. 해당 챌린지 트랙은 DIV2K 테스트 데이터셋에서 PSNR 지표를 사용하여 성능을 평가합니다. 이번 대회에는 199명이 등록하였고, 그중 20개 팀이 유효한 결과물을 제출했습니다. 이러한 집단적 노력은 단일 이미지 초해상도의 성능 경계를 확장할 뿐만 아니라, 이 분야의 최신 동향에 대한 포괄적인 개요를 제공합니다.

arXiv:2411.10959v5econ.EM

원격 감지 결과를 활용한 프로그램 평가

Program Evaluation with Remotely Sensed Outcomes

우리는 경제적 결과가 원격 감지 변수에 의해 불완전하게 측정되는 실험 및 준실험에서의 인과 추론을 연구합니다. 원격 감지 변수는 저렴하고 확장 가능하며 관측 데이터에서 경제적 결과를 예측할 수 있습니다. 예로는 위성 이미지와 휴대전화 활동이 있습니다. 우리는 원격 감지 변수를 결과 후(post-outcome)로 모델링합니다. 즉, 경제적 결과의 변동이 원격 감지 변수의 변동을 야기합니다. 예를 들어, 환경 질의 변화는 위성 이미지의 변화를 일으키지만, 그 반대는 아닙니다. 이 가정 하에, 우리는 실험 데이터와 관측 데이터를 결합하여 인과 매개변수를 비모수적으로 식별하는 공식을 제안합니다. 우리는 오지정(misspecification)에 강건하며 원격 감지 변수를 처리하는 데 사용되는 알고리즘을 제한하지 않는 $n^{-1/2}$ 추론 방법을 개발합니다.