Multiframe-based Adaptive Despeckling Algorithm for Ultrasound B-mode Imaging with Superior Edge and Texture
원문 초록
Removing speckle noise from medical ultrasound images while preserving image features without introducing artifact and distortion is a major challenge in ultrasound image restoration. In this paper, we propose a multiframe-based adaptive despeckling (MADS) algorithm to reconstruct a high-resolution B-mode image from raw radio-frequency (RF) data that is based on a multiple input single output (MISO) model. As a prior step to despeckling, the speckle pattern in each frame is estimated using a novel multiframe-based adaptive approach for ultrasonic speckle noise estimation (MSNE) based on a single input multiple output (SIMO) modeling of consecutive deconvolved ultrasound image frames. The elegance of the proposed despeckling algorithm is that it addresses the despeckling problem by completely following the signal generation model unlike conventional ad-hoc smoothening or filtering based approaches, and therefore, it is likely to maximally preserve the image features. As deconvolution is a necessary pre-processing step to despeckling, we describe here a 2-D extension of the SIMO model-based 1-D deconvolution method. Finally, a complete framework for the generation of high-resolution ultrasound B-mode image has been also established in this paper. The results show 8.55-15.91 dB, 8.24-14.94 dB improvement in terms of SNR and PSNR, respectively, for simulation data and 2.22-3.17, 13.24-32.85 improvement in terms of NIQE and BRISQUE, respectively, for in-vivo data compared to the traditional despeckling algorithms. Visual comparison shows superior texture, resolution, details of B-mode images offered by our method compared to those by a commercial scanner, and hence, it may significantly improve the diagnostic quality of ultrasound images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Patch-to-Global: 전체 슬라이드 이미지에서 전역 일관 메가픽셀 아티팩트 인페인팅을 위한 랜덤 패치 확산
Patch-to-Global: Random Patch Diffusion for Globally Consistent Megapixel Artifact Inpainting in Whole Slide Images
심층 학습이 전체 슬라이드 이미지(WSI) 분석을 발전시켰지만, 기포나 주름과 같은 조직 아티팩트는 필수 형태학을 가려 침묵 실패(silent failures)를 자주 유발한다. 현재 병리학 이미지 복원 방법은 대부분 작은 패치에 국한되어 메가픽셀 규모에서 전역 구조적 일관성을 유지하기 어렵다. 우리는 조직학적 이미지에서 진단 구조를 재구성하여 잘못된 고신뢰도 예측을 방지하고 오류율을 낮추는, 전역 일관 메가픽셀 규모 인페인팅을 위한 프레임워크 RestorePath를 제안한다. 우리 모델은 병리학 파운데이션 모델(PFM) 임베딩을 조건으로 하는 잠재 확산 모델(LDM)을 활용하며, 랜덤 패치 확산 동안 장거리 의존성을 다루기 위해 Large Kernel Attention(LKA)를 통합한다. Distance-Weighted Interpolation(DWI)과 Adaptive Guidance Scale(AGS)로 강화된 RestorePath는 주변 패치의 정보를 조절하여 구조적 일관성과 충실도를 보장한다. 512~4608픽셀 범위의 이미지에 대해 TCGA-BRCA, BACH, Camelyon16 데이터셋에서의 평가는 조직학적 일관성 유지에서 최신(state-of-the-art) 성능을 보여준다. RestorePath는 하류 계산 병리학(CP) 과제를 유의미하게 개선하며, 원본 아티팩트 이미지와 기존 Detect-and-Discard(D&D) 접근법 모두를 능가한다. 코드는 https://github.com/PathfinderLab/RestorePath 에서 이용 가능하다.
제2회 LoViF 2026 실세계 올인원 이미지 복원 챌린지: 방법과 결과
The Second LoViF 2026 Challenge on Real-World All-in-One Image Restoration: Methods and Results
본 논문은 실세계 올인원(all-in-one) 이미지 복원을 주제로 한 제2회 LoViF 챌린지에 대한 리뷰를 제시한다. 이 챌린지는 흐림, 저조도, 안개, 비, 눈 등 다양한 실세계 열화(degradation) 조건에서 통합 이미지 복원을 발전시키는 것을 목표로 한다. 통합 프레임워크 내에서 여러 열화 유형에 걸친 모델의 복원 정확도, 견고성(robustness), 일반화(generalization) 능력을 평가하기 위한 공통 벤치마크를 제공한다. 대회에는 158명의 등록 참가자가 참여했으며, 제출된 결과가 성공적으로 재현 및 검증된 후 20개 팀이 최종 순위에 포함되었다. 본 보고서는 제출된 솔루션과 해당 결과에 대한 포괄적인 분석을 제공하며, 실세계 올인원 이미지 복원 분야의 최근 진전을 강조한다. 요약된 방법과 실증적 발견은 효과적인 설계 전략을 드러내고, 실세계 저수준(low-level) 비전 분야의 향후 연구를 위한 업데이트된 벤치마크를 확립한다.
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.
매개변수화된 CEC 2017 벤치마크를 이용한 변환의 민감도 분석
Sensitivity Analysis of the Transformation Using a Parameterized CEC 2017 Benchmark
CEC 2017은 편향(bias), 이동(shift), 회전(rotation)을 동시에 적용하므로 각각이 알고리즘 동작에 미치는 개별 효과가 가려진다. 우리는 원래의 함수와 변환 데이터를 보존하면서 이들을 독립적으로 제어하는 매개변수화된 구현을 소개한다. 이를 이용하여, 예측 후보 메커니즘이 수치적 목적함수 값과 좌표별 재구성에 의존하는 하이브리드 해양 포식자 알고리즘(hMPA)을 진단한다. 심층 통계 비교(DSC)와 확장 DSC(eDSC)를 알고리즘 수준의 비교에서 구성 수준의 진단으로 적응시켰다. 우리가 아는 한, 이는 매개변수화된 CEC 2017 벤치마크의 편향-이동-회전 8개 구성 전체에 대한 최초의 철저한 DSC 및 eDSC 분석이다. 29개 함수, 차원 10, 30, 50, 100, 30회의 독립 실행, 차원당 10,000회의 목적함수 평가라는 고정 예산을 사용하여, 가능한 56개의 3개 구성 부분집합 전부와 변환하지 않은 대조군과의 비교를 검토한다. DSC와 eDSC는 모든 차원에서 구성 간 통계적으로 유의한 차이를 보이지만, 순위는 함수에 따라 달라 일관된 순서를 정할 수 없다. 대부분의 개별 효과 크기 신뢰구간은 0을 포함한다. 0을 포함하지 않는 경우 중에서는, 차원 10에서는 MPA가, 차원 50과 100에서는 hMPA가 유리한 비교가 더 많다. 이동은 대체로 목적함수 값 결과를 악화시킨다. 단독 회전은 체계적인 성능 저하를 일으키지 않으며, 단독 편향은 최종 해 분포를 거의 바꾸지 않는다. 이동과 회전의 결합은 대조군과 가장 일관되게 다르다. 수렴 곡선은 함수 및 차원에 따라 달라지는 분리, 정체 구간, 후반부 개선을 보여 준다. 수치적 결과는 hMPA에 한정되지만, 이 프레임워크는 다른 연속 최적화 알고리즘으로 확장될 수 있고 CEC 2024 및 CEC 2025를 포함한 관련 CEC 벤치마크에도 적용할 수 있다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.