Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
원문 초록
We consider the task of robust non-linear regression in the presence of both inlier noise and outliers. Assuming that the unknown non-linear function belongs to a Reproducing Kernel Hilbert Space (RKHS), our goal is to estimate the set of the associated unknown parameters. Due to the presence of outliers, common techniques such as the Kernel Ridge Regression (KRR) or the Support Vector Regression (SVR) turn out to be inadequate. Instead, we employ sparse modeling arguments to explicitly model and estimate the outliers, adopting a greedy approach. The proposed robust scheme, i.e., Kernel Greedy Algorithm for Robust Denoising (KGARD), is inspired by the classical Orthogonal Matching Pursuit (OMP) algorithm. Specifically, the proposed method alternates between a KRR task and an OMP-like selection step. Theoretical results concerning the identification of the outliers are provided. Moreover, KGARD is compared against other cutting edge methods, where its performance is evaluated via a set of experiments with various types of noise. Finally, the proposed robust estimation framework is applied to the task of image denoising, and its enhanced performance in the presence of outliers is demonstrated.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
From Simulated to Visual Data: A Robust Low-Rank Tensor Completion Approach using lp-Regression for Outlier Resistance
TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식
TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching
범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.
하위 반프레임(lower semi-frames)을 이용한 이미지 디노이징
Image Denoising Using Lower Semi-Frames
가법적 백색 가우시안 노이즈(additive white Gaussian noise)에 대해, 무한 방향성 하위 반프레임(infinite directional lower semi-frame, DLSF)에 기반한 블라인드 이미지 디노이징 프레임워크를 제안한다. 제안 모델은 무계(unbounded) 반프레임(semi-frame) 연산자에 대한 resolvent 정규화(regularization)와 함께 스케일 의존적(scale-dependent) 방향 분석을 사용한다. 네 개의 방향 차분 채널(directional difference channel)의 결합 공분산(joint covariance)을 모델링하고 공분산 백화(covariance whitening)를 적용해 카이제곱(chi-square) 통계량을 얻음으로써, DLSF 영역에서 노이즈 분산(noise variance)을 직접 추정한다. 하위 꼬리 모멘트 추정량(lower-tail moment estimator)은 중位 절대 편차(median absolute deviation) 없이 블라인드 노이즈 추정을 제공한다. 추정된 노이즈 수준은 채널별 Wiener형 수축(channel-wise Wiener-type shrinkage)과 canonical-dual 합성(synthesis)에 반영되며, 이어 자동 중단(automatic stopping)을 갖는 데이터 일관(data-consistent) 반복 재구성(iterative reconstruction)이 수행된다. 노이즈 수준 15–30에서 세 장의 표준 그레이스케일 이미지에 대한 실험 결과, 평균 상대 노이즈 추정 오차는 3.28%이며 PSNR은 평균 7.45 dB, SSIM은 평균 0.367만큼 개선되었다. 30/255 노이즈에서는 추정 오차가 1.73%로 감소하고 평균 PSNR 이득은 8.31 dB였다. 결과는 효과적인 노이즈 억제와 구조 보존을 보여 주며, 매끄럽거나 에지가 지배적인 이미지에서 가장 강한 성능을 나타낸다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
토카막 디버터에서 중성 입자 방출 단층촬영의 가시광선 영상 진단: 효율적인 트랜스포머 기반 대리 모델
Visible-Light Imaging Diagnosis of Neutral Particle Emission Tomography in the Tokamak Divertor: An Efficient Transformer-based Surrogate Model
최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.
Pseudo-Siamese Blind-Spot Transformers for Self-Supervised Real-World Denoising
토론
이 논문과 연결된 포럼 글이 아직 없습니다.