arXiv:1906.03504

Convolutional Bipartite Attractor Networks

Michael Iuzzolino, Yoram Singer, Michael C. Mozer

제출 2019-06-08

원문 초록

In human perception and cognition, a fundamental operation that brains perform is interpretation: constructing coherent neural states from noisy, incomplete, and intrinsically ambiguous evidence. The problem of interpretation is well matched to an early and often overlooked architecture, the attractor network---a recurrent neural net that performs constraint satisfaction, imputation of missing features, and clean up of noisy data via energy minimization dynamics. We revisit attractor nets in light of modern deep learning methods and propose a convolutional bipartite architecture with a novel training loss, activation function, and connectivity constraints. We tackle larger problems than have been previously explored with attractor nets and demonstrate their potential for image completion and super-resolution. We argue that this architecture is better motivated than ever-deeper feedforward models and is a viable alternative to more costly sampling-based generative methods on a range of supervised and unsupervised tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27893v1eess.IV공통 태그 Denoising, Image Denoising

하위 반프레임(lower semi-frames)을 이용한 이미지 디노이징

Image Denoising Using Lower Semi-Frames

가법적 백색 가우시안 노이즈(additive white Gaussian noise)에 대해, 무한 방향성 하위 반프레임(infinite directional lower semi-frame, DLSF)에 기반한 블라인드 이미지 디노이징 프레임워크를 제안한다. 제안 모델은 무계(unbounded) 반프레임(semi-frame) 연산자에 대한 resolvent 정규화(regularization)와 함께 스케일 의존적(scale-dependent) 방향 분석을 사용한다. 네 개의 방향 차분 채널(directional difference channel)의 결합 공분산(joint covariance)을 모델링하고 공분산 백화(covariance whitening)를 적용해 카이제곱(chi-square) 통계량을 얻음으로써, DLSF 영역에서 노이즈 분산(noise variance)을 직접 추정한다. 하위 꼬리 모멘트 추정량(lower-tail moment estimator)은 중位 절대 편차(median absolute deviation) 없이 블라인드 노이즈 추정을 제공한다. 추정된 노이즈 수준은 채널별 Wiener형 수축(channel-wise Wiener-type shrinkage)과 canonical-dual 합성(synthesis)에 반영되며, 이어 자동 중단(automatic stopping)을 갖는 데이터 일관(data-consistent) 반복 재구성(iterative reconstruction)이 수행된다. 노이즈 수준 15–30에서 세 장의 표준 그레이스케일 이미지에 대한 실험 결과, 평균 상대 노이즈 추정 오차는 3.28%이며 PSNR은 평균 7.45 dB, SSIM은 평균 0.367만큼 개선되었다. 30/255 노이즈에서는 추정 오차가 1.73%로 감소하고 평균 PSNR 이득은 8.31 dB였다. 결과는 효과적인 노이즈 억제와 구조 보존을 보여 주며, 매끄럽거나 에지가 지배적인 이미지에서 가장 강한 성능을 나타낸다.

arXiv:2609.25924v1stat.ML공통 태그 Denoising, Imputation

조건부 텐서 확산: 분포적 반사실 학습 및 추론

Conditional Tensor Diffusion: Distributional Counterfactual Learning and Inference

인과 추론은 운영 및 관리 의사결정을 이끌지만, 고차원 패널 또는 텐서 설정에서는 여전히 어렵고, 이때 의사결정은 누락된 통제(control) 결과의 결합 조건부 분포에 의존할 수 있다. 본 연구는 처리(treatment) 마스크와 잠재 Tucker 구조를 조건부 확산에 통합하여, 관측된 통제 결과가 주어졌을 때 저차원 코어에서의 효율적인 비선형 score 학습을 통해 이 분포를 복구하는 Counterfactual Tucker Diffusion(CFTDiff)를 제안한다. 마스킹된 Tucker score는 텐서 모드 간 의존성을 유지하면서, 비선형 score 학습의 차원을 모드 차원의 곱에서 Tucker rank의 곱이라는 훨씬 작은 규모로 줄인다. Tucker rank, 최대 모드 차원, 요인 강도(factor-strength)로 조정된 누락 결과 수에 의존하는 조건부 score 추정의 고확률(high-probability) 오차 상계를 확립하고, 이 상계가 누락된 통제 결과의 조건부 분포 복구 보장으로 어떻게 이어지는지 보인다. 다양한 누락률에서의 시뮬레이션은 일반적인 인과 패널 및 행렬/텐서 completion 방법보다 더 정확한 점(point) 복구를 보여 주며, 중첩 확산 명세와의 비교는 마스킹 조건화와 Tucker 차원 축소의 이득을 추가로 뒷받침한다. 노르웨이 iFlex 실험에서 CFTDiff는 경쟁 방법보다 누락 결과를 더 정확하게 복구한다. 인과 분석에 적용하면 추정된 조건부 분포로부터 반사실(counterfactual) 예측 구간과 목표 달성 확률을 얻을 수 있어, 가격 개입을 수요 감소 규모와 신뢰성(reliability) 측면에서 평가할 수 있다.

arXiv:2609.22789v1cs.CV공통 태그 Denoising, Image Denoising

PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해

PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining

이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.

arXiv:2607.24110v1cs.CV공통 태그 Super-Resolution, Denoising

BeyondFusion: 보정 불필요 적외선 초해상도 및 적외선-가시광 융합을 위한 자기 정렬 잠재 확산

BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion

모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.

arXiv:2607.24701v1cs.CV공통 태그 Denoising, Imputation

모달리티 결측 RGBT 추적을 위한 시공간 조건부 디노이징 트랜스포머

Spatio-Temporal Conditional Denoising Transformer for Modality-Missing RGBT Tracking

RGBT 추적에서 모달리티가 누락되면 불완전하고 불안정한 다중모달 특징 표현으로 이어져 성능이 크게 저하되는 경우가 많다. 기존 방법은 일반적으로 이용 가능한 모달리티로부터 누락된 모달리티를 복구하려 하지만, 어려운 시나리오에서 생성된 데이터의 품질이 만족스럽지 않을 수 있다. 또한 현재 접근법은 결측 데이터와 완전한 데이터를 모두 처리하는 데 유연성이 제한적이다. 이러한 한계를 극복하기 위해, 우리는 공간 단서와 시간적 문맥을 통합하여 누락된 모달리티의 정보 재구성과 약한 모달리티의 특징 강화를 통합 프레임워크 내에서 적응적으로 수행함으로써 견고한 모달리티 결측 RGBT 추적을 달성하는 시공간 조건부 디노이징 트랜스포머(SCDT)를 제안한다. 특히 SCDT는 최근 과거 프레임의 단기 시간적 단서를 활용하여 세밀한 시간적 상관관계를 포착하고, 모달리티 진화를 인코딩하는 장기 시간적 단서를 통해 전역 문맥을 포착한다. 장단기 시간적 문맥을 조건으로 공동 활용함으로써, SCDT는 이용 가능한 모달리티의 노이즈가 섞인 특징을 점진적으로 유도하여 신뢰할 수 있고 시간적으로 일관된 다중모달 표현을 학습한다. 또한 SCDT는 모달 가용성에 따라 동작을 동적으로 조절하는 노이즈 변조 적응(noise-modulated adaptation) 메커니즘을 도입하여, 아키텍처나 파라미터를 변경하지 않고도 모달리티 결측 및 완전한 시나리오 모두에서 특징 학습을 단일 프레임워크로 통합할 수 있게 한다. 세 개의 공개 벤치마크 데이터셋에 대한 광범위한 실험을 통해, 제안 방법이 최신(state-of-the-art) 방법들을 일관되게 능가함을 보인다. 코드는 여기에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.