arXiv:1906.07330

Boosting CNN beyond Label in Inverse Problems

Eunju Cha, Jaeduck Jang, Junho Lee, Eunha Lee, Jong Chul Ye

제출 2019-06-18

원문 초록

Convolutional neural networks (CNN) have been extensively used for inverse problems. However, their prediction error for unseen test data is difficult to estimate a priori since the neural networks are trained using only selected data and their architecture are largely considered a blackbox. This poses a fundamental challenge to neural networks for unsupervised learning or improvement beyond the label. In this paper, we show that the recent unsupervised learning methods such as Noise2Noise, Stein's unbiased risk estimator (SURE)-based denoiser, and Noise2Void are closely related to each other in their formulation of an unbiased estimator of the prediction error, but each of them are associated with its own limitations. Based on these observations, we provide a novel boosting estimator for the prediction error. In particular, by employing combinatorial convolutional frame representation of encoder-decoder CNN and synergistically combining it with the batch normalization, we provide a close form formulation for the unbiased estimator of the prediction error that can be minimized for neural network training beyond the label. Experimental results show that the resulting algorithm, what we call Noise2Boosting, provides consistent improvement in various inverse problems under both supervised and unsupervised learning setting.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28414v1cs.CV공통 태그 Decoder, Prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2607.14191v1cs.LG공통 태그 Decoder, Prediction

TEDDY: ICD 코드화 진단 이력 기반 소아 위험 조기 예측 파운데이션 모델

TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories

소아 전자 건강 기록(EHR)은 발달 단계에 따라 구조화된 임상 궤적을 담고 있지만, 생성형 헬스케어 파운데이션 모델 관점에서 그 잠재력은 아직 거의 탐색되지 않았다. 본 연구에서는 TEDDY(Temporal Event Decoder for Disease in Youth)를 제안한다. TEDDY는 단일 소아 의료 기관의 160만 명 아동으로부터 수집한 약 7,300만 건의 ICD-10 진단 데이터로 학습한 184만 매개변수 디코더 트랜스포머이다. TEDDY는 종단적 진단 궤적과 내원 시점을 모델링한다. 예측은 내원 코드가 공개되기 전에 수행했으며, 최초 발생 사례로 한정했고, 성별 및 연령이 매칭된 대조군과 비교하여 평가했다. 16개 ICD-10 장(chapter)에 걸친 797개 질병 발병 예측 과제에서 TEDDY는 중앙값 AUC 72.0%를 달성했으며, 동일 데이터 기반 DenseNet(50.0%), CNN(57.2%), RNN(60.1%), LSTM(62.7%) 베이스라인을 96-99%의 과제에서 능가했다. 성능은 성별과 연령 전반에서 유지되었고, 유병률이 낮은 진단에서 가장 두드러졌다. 가장 희귀한 225개 질환 중 202개(90%)에서 95% 신뢰구간이 우연 수준을 상회했다. 예측 신호는 최초 기록된 진단보다 2년 이상 앞서서도 탐지 가능했으며, 제한 없는 분석에서 중앙값 AUC 59.7%, 고정 코호트 민감도 분석에서 64.4%였다. 천식 및 주의력결핍/과잉행동장애(ADHD) 벤치마크에서 AUC는 각각 79.3%와 84.7%였고, 매개변수 규모가 3자릿수 더 큰 범용 언어 모델을 포함한 최강 비교 모델의 62.7%와 71.7%를 상회했다. 내원 시점 예측은 365일에 걸친 제한 평균 생존시간(restricted mean survival time) 오차의 평균 절대값이 3.0일이었으나, 중앙값 및 장꼬리(long-tail) 재내원 간격은 여전히 보정되지 않았다. 이 결과들은 종합하여, 소아 진단 이력이 인구 규모 데이터나 수십억 매개변수 모델 없이도 광범위하고 희귀 질환 및 장기 예측 위험 예측을 지원하는 소형 생성 모델의 기반이 될 수 있음을 보여준다.

arXiv:2607.13929v1cs.LG공통 태그 Decoder, Prediction

VAIOM: 연속 입력·이산 출력 디코더 전용 금융 시퀀스 모델링

VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling

금융 관측값은 연속적이고 이질적이며 노이즈가 많은 반면, 디코더 전용 next-token 모델은 보통 이산적 기호 입력을 중심으로 구축된다. 우리는 1시간 외환 바에서 다음 수익률의 확률적 모델링을 위한 디코더 전용 트랜스포머인 순서형 수익률 모델링을 위한 벡터 입력 자회귀 추론(Vector-Input Autoregressive Inference for Ordinal-Return Modeling, VAIOM)을 제안한다. VAIOM은 입력 표현과 출력 가능도를 분리한다. 연속 다변량 금융 이벤트 벡터는 입력에서 수치 구조를 보존하고, 다음 변동성 정규화 수익률 버킷에 대한 범주형 분포는 교차 엔트로피 학습과 가능도 평가를 지원한다. 선별된 0.9M Hybrid Continuous Input 모델은 연속 이벤트 특징과 범주형 자산 메타데이터, Mixture-of-Market-States 수익률 헤드, Gap·변동성 체제·Ordinal 보조 목적 함수, 및 전체 시퀀스 지도 학습을 결합한다. 모델과 전처리는 2024년 이전 Train 데이터로 적합되며, 모델은 2024H2 Validation에서 선택되고 두 2025 Test 기간에서 재적합 없이 평가된다. 세 개의 독립적 학습 시드에 걸쳐 모든 모델은 두 Test 반기 모두에서 고정 단일 바 LightGBM 기준선을 능가한다. 표준 체크포인트에서 LightGBM 대비 쌍(pair) 이득은 이벤트당 0.029 및 0.043비트이다. 검증 실험은 동일한 범주형 수익률 목적 함수 하에서 연속 입력이 이산 토큰 입력보다 우수하고, 전체 시퀀스 지도 학습이 마지막 위치 학습보다 우수하며, 통제된 비교에서 보조 표현 형성과 혼합 구조화 수익률 헤드가 수익률 가능도를 향상시킴을 보여준다. 뒷받침 용량 연구는 현재 코퍼스에서 평가된 가장 작은 완전 아키텍처 단계가 가장 높은 검증 가능도를 달성함을 밝힌다.

arXiv:2610.10592v2cs.CL공통 태그 Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.