arXiv:2307.05087

SAR-NeRF: Neural Radiance Fields for Synthetic Aperture Radar Multi-View Representation

Zhengxin Lei, Feng Xu, Jiangtao Wei, Feng Cai, Feng Wang, Ya-Qiu Jin

제출 2023-07-11

원문 초록

SAR images are highly sensitive to observation configurations, and they exhibit significant variations across different viewing angles, making it challenging to represent and learn their anisotropic features. As a result, deep learning methods often generalize poorly across different view angles. Inspired by the concept of neural radiance fields (NeRF), this study combines SAR imaging mechanisms with neural networks to propose a novel NeRF model for SAR image generation. Following the mapping and projection pinciples, a set of SAR images is modeled implicitly as a function of attenuation coefficients and scattering intensities in the 3D imaging space through a differentiable rendering equation. SAR-NeRF is then constructed to learn the distribution of attenuation coefficients and scattering intensities of voxels, where the vectorized form of 3D voxel SAR rendering equation and the sampling relationship between the 3D space voxels and the 2D view ray grids are analytically derived. Through quantitative experiments on various datasets, we thoroughly assess the multi-view representation and generalization capabilities of SAR-NeRF. Additionally, it is found that SAR-NeRF augumented dataset can significantly improve SAR target classification performance under few-shot learning setup, where a 10-type classification accuracy of 91.6\% can be achieved by using only 12 images per class.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14728v1cs.CV공통 태그 Image Generation, Few-Shot Learning

VQ-Touch: 센서 및 시나리오를 아우르는 데이터 효율적 촉각 생성 프레임워크

VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios

촉각 이미지 생성은 고품질 촉각 데이터를 합성함으로써 비용이 많이 들고 마모에 취약한 센서에 대한 의존성을 크게 줄여, 로봇 지각 및 인간-기계 상호작용 시스템에서 촉각 정보 획득을 위한 효율적인 해결책을 제공한다. 그러나 기존 방법들은 특정 센서로부터의 대규모·다양한 데이터셋에 의존하며 효율적인 데이터 활용과 견고한 일반화 능력이 부족하여, 시각 정보가 제한된 환경에서 어려움을 겪는다. 이를 해결하기 위해, 교차 센서 및 다중 시나리오 응용을 모두 지원하는 촉각 생성 프레임워크인 VQ-Touch를 제안한다. 구체적으로, 데이터로부터 복잡한 변형 및 질감 특징을 효율적으로 추출하기 위해 효과적인 촉각 표현 학습기인 DM-VQGAN을 제안한다. 또한 통합 조건화 인터페이스를 갖춘 이산 확산 디코더를 도입하여 이미지 및 레이블과 같은 멀티모달 생성 작업을 지원하고, 퓨샷(few-shot) 혼합 학습을 통해 모델의 일반화 능력을 향상시켜 현재 주류 센서 및 그 변형과의 호환성을 달성한다. 실험 결과, VQ-Touch는 여러 작업에서 최신(state-of-the-art) 방법들을 능가한다.

arXiv:2607.12785v2cs.CV공통 태그 Image Generation, NeRF

ExtraGS: 확산 모델 안내 3D Gaussian Splatting을 통한 내시경 시점 외삽 향상

ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

로봇 보조 최소침습 수술(MIS)은 탐색 및 안전을 위해 신뢰할 수 있는 내시경 인식에 매우 의존합니다. 그러나 기존 내시경은 제한된 시야만을 제공하여 주변 해부학적 구조의 상당 부분이 관측되지 못합니다. Neural Radiance Fields(NeRF)와 3D Gaussian Splatting과 같은 최근 신경 렌더링(neural rendering) 접근법은 내시경 영상으로부터 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 희소 관측에 의존하기 때문에 학습 궤적을 벗어나 외삽할 때 심각한 아티팩트가 발생하는 경우가 많습니다. 본 연구에서는 확산 모델 안내 3D Gaussian Splatting을 통해 내시경 시점 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 초기 재구성(reconstruction)에서 출발하여, 사각지대를 적극적으로 탐색하고 정보 이득을 극대화하기 위한 불확실성 안내 가상 카메라 샘플링 전략을 도입합니다. 이 샘플링 위치에서 렌더링된 시점은 확산 모델(diffusion model)을 사용해 정제하여 그럴듯한 해부 구조를 복원하고, 추가 최적화(optimization)를 안내하는 의사 관측(pseudo-observations)을 생성합니다. 생성된 내용이 신뢰할 수 있는 영역을 저하시키는 것을 방지하기 위해, 이러한 의사 관측을 통합할 때 신뢰도 가중 미세조정(fine-tuning) 전략을 채택합니다. 여러 공개 내시경 데이터셋(dataset)에 대한 광범위한 실험을 통해 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 새로운 시점 합성에서 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다.

arXiv:2607.12987v2cs.CV공통 태그 Image Generation, Few-Shot Learning

공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성

Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.

arXiv:2607.11673v2cs.CV공통 태그 Image Generation, NeRF

ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델

ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.

arXiv:2607.12464v1cs.CV공통 태그 Image Generation, Few-Shot Learning

클래스 대비 영향(Class-Contrastive Influence)을 이용한 확산 모델 조향을 통한 퓨샷 의료 분류

Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Medical Classification

라벨이 붙은 데이터가 부족할 때, 기성 확산 모델은 퓨샷 의료 이미지 분류를 위한 학습 세트를 보강할 수 있지만, 생성된 모든 샘플이 하류 작업에 동등하게 유용한 것은 아니다. 기존 접근법은 대체로 사실성, 다양성 또는 도메인 적응을 높여 합성 데이터를 개선하는 데 집중하면서, 더 근본적인 질문을 간과한다: 분류를 위한 샘플 유용성은 어떻게 측정하고 최적화해야 하는가? 우리는 Class-Contrastive Influence(C2I)로 이를 해결한다. 이는 분류기에 대한 그래디언트 기반 영향을 통해 샘플 유용성을 정량화하는 기준이다. 효과적인 샘플은 강한 C2I 차이를 보인다: 해당 샘플의 손실 그래디언트는 동일 클래스의 검증 그래디언트와 정렬되고, 다른 클래스의 검증 그래디언트와는 상반된다. 우리의 분석은 추가로 이러한 고 C2I 샘플이 어렵고 경계 근접한 예시이며, 의사결정 경계를 정밀화하고 견고성을 향상하는 데 도움이 된다고 시사한다. 이 통찰을 바탕으로, C2I 기반 보상을 사용한 강화학습으로 확산 모델을 파인튜닝하여 생성이 클래스 정보를 담은 샘플 쪽으로 조향되도록 한다. 여러 퓨샷 의료 영상 벤치마크에서 C2I 기반 생성은 확산 기반 증강 기준선 대비 하류 정확도와 견고성을 향상시키며, 합성 증강은 이미지 품질만이 아니라 작업 유용성에 따라 안내될 때 가장 효과적임을 보여준다.

arXiv:2609.20816v3cs.CV공통 태그 Image Generation

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.