arXiv:2402.12735

Denoising OCT Images Using Steered Mixture of Experts with Multi-Model Inference

Aytaç Özkan, Elena Stoykova, Thomas Sikora, Violeta Madjarova

제출 2024-02-20

원문 초록

In Optical Coherence Tomography (OCT), speckle noise significantly hampers image quality, affecting diagnostic accuracy. Current methods, including traditional filtering and deep learning techniques, have limitations in noise reduction and detail preservation. Addressing these challenges, this study introduces a novel denoising algorithm, Block-Matching Steered-Mixture of Experts with Multi-Model Inference and Autoencoder (BM-SMoE-AE). This method combines block-matched implementation of the SMoE algorithm with an enhanced autoencoder architecture, offering efficient speckle noise reduction while retaining critical image details. Our method stands out by providing improved edge definition and reduced processing time. Comparative analysis with existing denoising techniques demonstrates the superior performance of BM-SMoE-AE in maintaining image integrity and enhancing OCT image usability for medical diagnostics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03068v1cs.CV공통 태그 Denoising, Diagnostic

문제가 보이는 곳이 해결하는 곳은 아니다: 확산 모델 구성에서의 디노이징 이전 진단과 모달리티 의존적 제어

Where to Look Is Not How to Fix: Pre-Denoising Diagnostics and Modality-Dependent Control in Diffusion Composition

텍스트-이미지 확산(diffusion) 모델에서 구성적 실패(compositional failure)를 이해하려면 스트레스가 감지되는 위치와 개입(intervention)이 출력을 어떻게 변화시키는지 모두 파악해야 합니다. 본 연구에서는 텍스트 인코더 진단과 디노이저 개입을 함께 평가하는 통제된 앵커-스트레스 프로토콜을 통해 이러한 질문들을 탐구합니다. 저자들은 SD1.5, SDXL 및 SD3 텍스트 경로 전반에서 흔한 구성과 희귀한 구성을 구분하고 업스트림 진단 좌표를 제공하는 텍스트 전용 구성 스트레스 지수(CSI, Compositional Stress Index)를 도입합니다. 매칭된 6개 프롬프트(prompt) 국소화 연구는 개입 위치를 서로 다른 결과와 연결합니다. 즉, 잔차 최소화 임베딩(embedding) 어댑터는 표현 적합도를 향상시키는 반면, 다운스트림 크로스 어텐션(cross-attention) 개입은 색상 적중률(CHR)을 0.0272 증가시킵니다. SD1.5와 SDXL 디노이저 블록 전반에서 가장 큰 양의 진단 접근성 평균은 딥 인코더에서 나타나는 반면, 선택적 부스트는 디코더 블록에서 가장 큰 양의 평균 CHR 반응을 보입니다. 선택적 차감 및 광범위한 어블레이션은 추가적인 모달리티 및 아키텍처 의존적 반응을 드러내며, 여기에는 SDXL 디코더 크로스 어텐션이 광범위하게 제거될 때 상당한 CHR 감소가 포함됩니다. 본 연구는 통제된 속성-객체 구성 설정에서 진단과 제어의 해리(dissociation)를 발견했습니다. 구성적 결함은 디노이징 이전에 진단할 수 있지만, 위험을 드러내는 표현 좌표가 생성을 개선하는 좌표나 모달리티와 반드시 일치하는 것은 아닙니다.

arXiv:2609.27793v1cs.CV공통 태그 Denoising, Diagnostic

DualStabSleepNet: 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크

DualStabSleepNet: A Dual-Domain Diffusion Stabilization Network for Robust Sleep Staging

자동 수면 단계 분류를 위한 기존 심층 학습 방법은 이질적인 기록 조건에서 견고성이 제한되는데, 비정상성 노이즈, 피험자 간 차이, 데이터셋 간 분포 이동이 불안정한 특징과 낮은 일반화를 유발한다. 본 연구는 견고한 수면 단계 분류를 위한 이중 영역 확산 안정화 네트워크인 DualStabSleepNet(DSSNet)을 제안하며, 데이터 영역과 특징 영역 모두에서 견고성을 향상시킨다. 다채널 다원수면기록(PSG) 전처리 후, 연속 스케일 확산 기반 안정화 모듈이 생리학적 신호 구조를 보존하면서 노이즈를 억제한다. 안정화된 신호는 시간-주파수 표현으로 변환되어 Vision Transformer 백본에 입력된다. 교사-학생 유도 확산 특징 안정화 모듈이 특징 drift를 추가로 완화하고 다수준 특징 일관성을 강제한다. 공개 PSG 데이터셋 SleepEDF-20, SleepEDF-78, SHHS, ISRUC-S3 네 곳에서 평가한 결과, DSSNet은 각각 89.2%, 88.0%, 89.7%, 86.7%의 최첨단 정확도를 달성했으며 macro-F1과 Cohen's kappa도 개선되었다. 어려운 전이 단계(예: SHHS에서 N1에 대해 12.5%p 향상)에서 눈에 띄는 개선을 보였고 N2/REM 인식도 향상시켰다. 데이터셋 간 설정에서는 DSSNet이 분포 이동에 견고하며, 대상 데이터셋에서 학습한 baseline과 동등하거나 더 우수한 성능을 보여, 이질적인 코호트 전반의 실제 수면 단계 분류에 대한 실용적 잠재력을 입증한다.

arXiv:2609.22272v1cs.CV공통 태그 Mixture-of-Experts, Denoising

Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링

Moonworks Lunara: Modeling Artistic Intelligence

우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.