Constraint-based learning reduces the burden of collecting labels by having users specify general properties of structured outputs, such as constraints imposed by physical laws. We propose a novel framework for simultaneously learning these constraints and using them for supervision, bypassing the difficulty of using domain expertise to manually specify constraints. Learning requires a black-box simulator of structured outputs, which generates valid labels, but need not model their corresponding inputs or the input-label relationship. At training time, we constrain the model to produce outputs that cannot be distinguished from simulated labels by adversarial training. Providing our framework with a small number of labeled inputs gives rise to a new semi-supervised structured prediction model; we evaluate this model on multiple tasks --- tracking, pose estimation and time series prediction --- and find that it achieves high accuracy with only a small number of labeled inputs. In some cases, no labels are required at all.
Valid causal inference in observational studies often requires controlling for confounders. However, in practice measurements of confounders may be noisy, and can lead to biased estimates of causal effects. We show that we can reduce the bias caused by measurement noise using a large number of noisy measurements of the underlying confounders. We propose the use of matrix factorization to infer the confounders from noisy covariates, a flexible and principled framework that adapts to missing values, accommodates a wide variety of data types, and can augment many causal inference methods. We bound the error for the induced average treatment effect estimator and show it is consistent in a linear regression setting, using Exponential Family Matrix Completion preprocessing. We demonstrate the effectiveness of the proposed procedure in numerical experiments with both synthetic data and real clinical data.
Automatic detection and segmentation of cells and nuclei in microscopy images is important for many biological applications. Recent successful learning-based approaches include per-pixel cell segmentation with subsequent pixel grouping, or localization of bounding boxes with subsequent shape refinement. In situations of crowded cells, these can be prone to segmentation errors, such as falsely merging bordering cells or suppressing valid cell instances due to the poor approximation with bounding boxes. To overcome these issues, we propose to localize cell nuclei via star-convex polygons, which are a much better shape representation as compared to bounding boxes and thus do not need shape refinement. To that end, we train a convolutional neural network that predicts for every pixel a polygon for the cell instance at that position. We demonstrate the merits of our approach on two synthetic datasets and one challenging dataset of diverse fluorescence microscopy images.
We present a generative image inpainting system to complete images with free-form mask and guidance. The system is based on gated convolutions learned from millions of images without additional labelling efforts. The proposed gated convolution solves the issue of vanilla convolution that treats all input pixels as valid ones, generalizes partial convolution by providing a learnable dynamic feature selection mechanism for each channel at each spatial location across all layers. Moreover, as free-form masks may appear anywhere in images with any shape, global and local GANs designed for a single rectangular mask are not applicable. Thus, we also present a patch-based GAN loss, named SN-PatchGAN, by applying spectral-normalized discriminator on dense image patches. SN-PatchGAN is simple in formulation, fast and stable in training. Results on automatic image inpainting and user-guided extension demonstrate that our system generates higher-quality and more flexible results than previous methods. Our system helps user quickly remove distracting objects, modify image layouts, clear watermarks and edit faces. Code, demo and models are available at: https://github.com/JiahuiYu/generative_inpainting
Machine translation is a popular test bed for research in neural sequence-to-sequence models but despite much recent research, there is still a lack of understanding of these models. Practitioners report performance degradation with large beams, the under-estimation of rare words and a lack of diversity in the final translations. Our study relates some of these issues to the inherent uncertainty of the task, due to the existence of multiple valid translations for a single source sentence, and to the extrinsic uncertainty caused by noisy training data. We propose tools and metrics to assess how uncertainty in the data is captured by the model distribution and how it affects search strategies that generate translations. Our results show that search works remarkably well but that models tend to spread too much probability mass over the hypothesis space. Next, we propose tools to assess model calibration and show how to easily fix some shortcomings of current models. As part of this study, we release multiple human reference translations for two popular benchmarks.
관찰 연구에서 인과적 처치 효과를 평가하려면 교란(confounding) 문제를 해결해야 합니다. 후방문 기준(back-door criterion)은 관찰된 공변량 조정을 통해 식별을 가능하게 하지만, 측정되지 않은 교란이 존재할 때는 실패합니다. 반면 전방문 기준(front-door criterion)은 처치 효과를 완전히 매개하며 처치-결과 쌍의 미측정 교란 변수로부터 영향을 받지 않는 변수를 활용하여 대안을 제공합니다. 본 논문에서는 전방문 가정 하에서 평균 처치 효과(ATE)와 처치받은 집단에 대한 평균 처치 효과(ATT) 모두를 추정하기 위한 새로운 1단계(one-step) 추정량 및 타깃 최소 손실 기반 추정량(TMLE)을 개발합니다. 제안하는 추정량은 매개변수 밀도 모델링을 완전히 배제하는 접근 방식을 포함하여 관찰된 데이터 분포의 다양한 모수화를 기반으로 구축되며, 유연한 머신러닝 기반 성가신 모수(nuisance) 추정과 호환됩니다. 또한 2차 나머지 경계(second-order remainder bounds)를 유도하여 root-n 일치성 및 점근적 선형성을 위한 조건을 확립합니다. 나아가 일반화된 (Verma) 독립성 제약을 인코딩하는 전방문 모델의 준모수적 확장 내에서, 이중 강건(doubly robust) 검정 절차를 포함하여 식별 가정을 평가하기 위한 유연한 검정 방법을 개발합니다. 더불어 이러한 제약을 활용하여 인과 효과 추정량의 효율성을 향상시킬 수 있는 방법도 제시합니다. 시뮬레이션 연구를 통해 우수한 유한 표본 성능을 확인하였으며, 교육 및 응급 의학 분야의 실제 데이터 적용 사례를 통해 제안 방법의 실질적인 유용성을 입증합니다.
많은 인과 추정량은 잠재 결과(potential outcomes) 간의 관측 불가능한 결합 분포에 의존하기 때문에 부분 식별(partially identifiable)에 그친다. 처치 전 공변량(pretreatment covariates)으로 층화(stratification)하면 더 날카로운 bound를 얻을 수 있지만, 공변량이 지지(support)가 상대적으로 작은 이산형이 아니면 이 접근은 일반적으로 공변량을 구간화(binning)하거나 공변량이 주어졌을 때 잠재 결과의 조건부 분포를 추정해야 한다. 구간화는 상당한 효율 손실을 초래할 수 있으며, 공변량 수가 중간 정도만 되어도 구현이 어려워질 수 있다. 반면 조건부 분포를 추정하는 방식은 분포 추정이 부정확할 때—예를 들어 잘못 지정된 모델(misspecified model)을 쓰거나 공변량이 고차원일 때—유효하지 않은 추론을 낳을 수 있다. 본 논문에서는 부분 식별 추정량의 넓은 클래스에 대해 통합적이고 모델에 구애받지 않는(model-agnostic) 추론 접근을 제안한다. 최적 수송(optimal transport) 문제에 대한 이론(duality theory)에 기반한 우리 방법은 네 가지 핵심 성질을 갖는다. 첫째, 무작위화 실험(randomized experiments)에서 우리 접근은 조건부 분포에 대한 어떤 추정치에도 감쌀 수 있으며(wrap around), 초기 추정이 임의로 부정확해도 균일하게 유효한(uniformly valid) 추론을 제공한다. 관찰 연구(observational studies)로의 간단한 확장은 통상적 의미에서 이중 강건(doubly robust)이다. 둘째, nuisance parameter가 반모수(semi-parametric) 비율로 추정되면 우리 추정량은 sharp bound에 대해 �渐近적으로 불편(asymptotically unbiased)하다. 셋째, 진짜 모델이 선택되지 않더라도 multiplier bootstrap을 적용해 공변량과 모델을 선택해도 유효성을 희생하지 않는다. 마지막으로 계산적으로 효율적이다. 특히 우리 방법과 이론은 이산 및 연속 잠재 결과 모두에 적용된다. 전반적으로 세 가지 실증 응용에서 우리 방법은 추가적인 구조적 가정 없이도 추정된 식별 집합(identified sets)과 신뢰구간(confidence intervals)의 폭을 일관되게 줄였다.
머신러닝의 최근 발전은 다양한 응용 분야에서 예측 정확도를 크게 향상시켰다. 그러나 확률적 예측의 보정(calibration)을 보장하는 것은 여전히 중요한 과제로 남아 있다. 모델 보정을 개선하려는 노력에도 불구하고, 모델 보정에 대한 엄밀한 통계적 평가는 아직 충분히 탐구되지 않았다. 본 연구에서는 $\ell_2$ 기대 보정 오차(ECE)에 대한 신뢰구간을 개발한다. top-1-to-$k$ 보정을 고려하며, 이는 널리 알려진 신뢰도 보정(confidence calibration)과 완전 보정(full calibration)을 모두 포함한다. ECE의 편향 제거(debiased) 추정량에 대해 점근적 정규성(asymptotic normality)을 보이되, 보정된(calibrated) 모델과 보정되지 않은(miscalibrated) 모델에서 서로 다른 수렴 속도와 점근적 분산을 갖는다는 것을 보인다. 이러한 특성과 비음성(non-negativity)을 고려하여 ECE에 대한 점근적으로 유효한(asymptotically valid) 신뢰구간을 구성하는 방법을 개발한다. 이론적 결과는 광범위한 실험을 통해 뒷받침되며, 우리 방법이 재표본 추출(resampling) 기반 방법으로 얻은 것과 비교하여 더 짧은 길이의 유효한 신뢰구간을 생성함을 보여준다.
아르키메데안 코퓰라(Archimedean copula)와 Copula-Graphic 추정기를 활용해 종속 중도절단(dependent censoring) 상황에서 생존 모델을 올바르게 평가하는 종속 브라이어 점수(dependent Brier score)를 제안한다. 12개 데이터셋 실험에서 기존 IPCW 기반 방법 대비 추정 오차를 평균 12–16% 감소시켰으며, 종속 중도절단을 지원하는 최초의 생존 분석 평가 지표다.
최적화(optimization) 관점에서 확률적 경사 하강(SGD)이 접근하는 가설 집합이 프랙탈(fractal) 구조를 갖는다는 점을 활용해, 분수 브라운 운동(fractional Brownian motion)으로 구동되는 확률 미분방정식(SDE)으로 이산 시간 재귀를 모델링하고 알고리즘 의존 Rademacher 복잡도에 대한 더 타이트한 비공허(non-vacuous) 일반화(generalization) 상한을 제시한다. 수치 실험에서 ResNet과 Vision Transformer가 ImageNet-1K 같은 대규모 데이터셋에서도 학습될 때 테스트 손실을 그럴듯하게 예측하는 일반화 보장을 얻었다.
이 논문은 CVPR 2025에서 개최되는 제10회 NTIRE 워크샵의 연계 경진대회 중 하나인 NTIRE 2025 이미지 초해상도($\times$4) 챌린지를 소개합니다. 이 챌린지의 목표는 $\times$4 배율의 바이큐빅 다운샘플링(bicubic downsampling)을 통해 생성된 저해상도(LR) 이미지로부터 고해상도(HR) 이미지를 복원하는 것입니다. 그 목적은 최첨단 SR 성능을 달성하는 효과적인 네트워크 설계 또는 솔루션을 개발하는 데 있습니다. 이미지 SR 연구의 이중적인 목표를 반영하기 위해 본 챌린지는 두 개의 하위 트랙으로 구성됩니다: (1) 픽셀 단위 정확도를 강조하고 PSNR을 기준으로 제출물을 순위 매기는 복원(restoration) 트랙, (2) 시각적 사실감에 초점을 맞추고 지각적 점수(perceptual score)로 결과를 순위 매기는 지각(perceptual) 트랙입니다. 총 286명의 참가자가 경진대회에 등록하였고, 25개 팀이 유효한 결과물을 제출했습니다. 본 보고서는 챌린지 설계, 데이터셋, 평가 프로토콜, 주요 결과 및 각 팀의 방법론을 요약합니다. 이 챌린지는 최첨단 기술을 발전시키고 이미지 초해상도 분야의 진전을 도모하는 벤치마크 역할을 합니다.
이 논문은 이미지 초해상도($\times$4)에 관한 NTIRE 2024 챌린지를 검토하고, 제안된 해결책과 도출된 결과를 조명합니다. 이 챌린지는 사전 정보를 활용하여 저해상도(LR) 입력으로부터 4배 확대된 대응하는 고해상도(HR) 이미지를 생성하는 과정을 포함합니다. LR 이미지는 바이큐빅 다운샘플링에 의한 열화에서 비롯됩니다. 이 챌린지의 목적은 연산 자원(예: 모델 크기 및 FLOPs)이나 학습 데이터에 대한 제약 없이 최고 수준의 초해상도(SR) 성능을 보여주는 설계나 솔루션을 도출하는 것입니다. 해당 챌린지 트랙은 DIV2K 테스트 데이터셋에서 PSNR 지표를 사용하여 성능을 평가합니다. 이번 대회에는 199명이 등록하였고, 그중 20개 팀이 유효한 결과물을 제출했습니다. 이러한 집단적 노력은 단일 이미지 초해상도의 성능 경계를 확장할 뿐만 아니라, 이 분야의 최신 동향에 대한 포괄적인 개요를 제공합니다.