arXiv:2411.15921v3 cs.CV

확산 방정식을 통해 안정화된 조정 가능한 디스펙클링 신경망

A Tunable Despeckling Neural Network Stabilized via Diffusion Equation

Yi Ran, Zhichang Guo, Jia Li, Yao Li, Martin Burger, Boying Wu

제출 2024-11-24

한국어 초록

곱셈 감마 노이즈(multiplicative Gamma noise)의 제거는 합성 개구 레이더(SAR) 영상 응용 분야에서 핵심적인 연구 영역이며, 신경망(neural network)은 이를 위한 강력한 도구로 활용됩니다. 그러나 실제 데이터는 종종 이론적 모델과 차이를 보이며 다양한 교란을 나타내어 신경망의 효과를 저하시킵니다. 적대적 공격(adversarial attack)은 신경망을 무력화하는 가장 극단적인 섭동(perturbation)을 찾아낼 수 있으므로, 실제 데이터에 대한 신경망의 적응성을 판단하는 기준으로 사용될 수 있습니다. 본 연구에서는 얕은 신경망 디노이징 블록과 확산 정규화 블록을 단일 네트워크로 언롤링(unroll)하여 엔드투엔드(end-to-end) 학습을 수행하는, 조정 가능하고 정규화된 신경망 프레임워크를 제안합니다. 고유한 평활성(smoothness)과 저역 통과 필터링 특성으로 잘 알려진 선형 열 방정식(linear heat equation)을 확산 정규화 블록으로 채택합니다. 출력의 평활성은 동적으로 조정 가능한 단일 타임 스텝 하이퍼파라미터로 제어됩니다. 제안하는 모델의 안정성과 수렴은 이론적으로 증명되었습니다. 실험 결과는 제안된 모델이 적대적 공격으로 인해 유도된 고주파 진동(high-frequency oscillation)을 효과적으로 제거함을 보여줍니다. 마지막으로, 시뮬레이션 영상, 적대적 샘플, 실제 SAR 영상에서 제안된 모델을 여러 최신 디노이징 방법과 벤치마크 평가를 진행하였으며, 정량적 평가와 시각적 평가 모두에서 우수한 성능을 달성했습니다.

원문 초록

The removal of multiplicative Gamma noise is a critical research area in the application of synthetic aperture radar (SAR) imaging, where neural networks serve as a potent tool. However, real-world data often diverges from theoretical models, exhibiting various disturbances, which makes the neural network less effective. Adversarial attacks can be used as a criterion for judging the adaptability of neural networks to real data, since they can find the most extreme perturbations that make neural networks ineffective. In this work, we propose a tunable, regularized neural network framework that unrolls a shallow neural denoising block and a diffusion regularization block into a single network for end-to-end training. The linear heat equation, known for its inherent smoothness and low-pass filtering properties, is adopted as the diffusion regularization block. The smoothness of our outputs is controlled by a single time step hyperparameter that can be adjusted dynamically. The stability and convergence of our model are theoretically proven. Experimental results demonstrate that the proposed model effectively eliminates high-frequency oscillations induced by adversarial attacks. Finally, the proposed model is benchmarked against several state-of-the-art denoising methods on simulated images, adversarial samples, and real SAR images, achieving superior performance in both quantitative and visual evaluations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2411.15921v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27378v1cs.SD공통 태그 Denoising, Adversarial Attack, Adversarial Robustness

전이중 음성-음성 대화 모델의 적대적 강건성을 위한 심리음향 정렬 잠재 스무딩

Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models

엔드투엔드(End-to-end) 음성-음성 대화 모델은 동시에 듣고 말하기 때문에, 지속적으로 열려 있는 음향 채널이 적대적 조작에 노출됩니다. 본 연구에서는 전이중(full-duplex) 에이전트에 대한 감지 불가능한 공격을 타깃 시맨틱 하이재킹(targeted semantic hijacking), 응답 억제(response suppression), 정책 탈옥(policy jailbreaking)이라는 세 가지 목표 하에 캐리어 음성의 심리음향 마스킹 임계값 이하로 제한된 부가적 섭동에 대한 최적화 문제로 정형화합니다. 방어가 없는 Moshi 스타일의 에이전트를 상대로 화이트박스 공격은 최대 91.7%의 시도에서 성공합니다. 이어 저자들은 심리음향 정렬 잠재 스무딩(PALS)을 제안합니다. PALS는 잔차 벡터 양자화(RVQ) 잠재 인터페이스에서 국소 코드북 공분산에 의해 형성된 비등방성 가우시안 노이즈를 주입하고, 공격자를 제한하는 마스킹 임계값에 의해 형성된 입력 노이즈를 적용하며 쿨백-라이블러(KL) 일관성 목적 함수로 학습됩니다. 추론(inference) 시간 비용 없이 배포 가능한 PALS는 깨끗한 음질(clean quality) 저하를 2.3% 이내로 유지하면서 하이재킹을 8.3%, 음소거를 11.2%, 탈옥을 9.1%로 감소시킵니다. 몬테카를로 스무딩 변형은 최대 0.616의 타원체 잠재 반경을 인증하여, 경험적 강건성이 훨씬 상회하는 보장된 하한선을 제공합니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.