arXiv:2112.02520

Neural Photometry-guided Visual Attribute Transfer

Carlos Rodriguez-Pardo, Elena Garces

제출 2021-12-05

원문 초록

We present a deep learning-based method for propagating spatially-varying visual material attributes (e.g. texture maps or image stylizations) to larger samples of the same or similar materials. For training, we leverage images of the material taken under multiple illuminations and a dedicated data augmentation policy, making the transfer robust to novel illumination conditions and affine deformations. Our model relies on a supervised image-to-image translation framework and is agnostic to the transferred domain; we showcase a semantic segmentation, a normal map, and a stylization. Following an image analogies approach, the method only requires the training data to contain the same visual structures as the input guidance. Our approach works at interactive rates, making it suitable for material edit applications. We thoroughly evaluate our learning methodology in a controlled setup providing quantitative measures of performance. Last, we demonstrate that training the model on a single material is enough to generalize to materials of the same type without the need for massive datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Image-to-Image Translation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.01542v1cs.CV공통 태그 Semantic Segmentation, Data Augmentation

데이터 희소 환경에서 롱테일 출혈성 병변 분할을 위한 합성 학습

Synthetic training for long-tail haemorrhagic lesion segmentation in data-scarce settings

뇌 미세출혈(CMB)과 피질 표재성 철침착증(cSS)은 뇌 소혈관 질환의 영상 바이오마커이지만, 양성 사례 및 복셀 수준 주석의 부족으로 인해 자동화된 분할(segmentation)에 한계가 있습니다. 본 연구에서는 실제 병변 주석 없이도 학습이 가능하며 병변에 대한 방사선학적 기술(description)을 활용하는 롱테일(long-tail) 출혈성 병변 분할용 합성 학습(synthetic training) 프레임워크를 제안합니다. 해부학적 뇌 구획화(brain parcellation)에서 시작하여, 본 프레임워크는 공간적 증강과 복셀 재샘플링을 적용하고, 병변의 위치 및 형태에 대한 임상적 사전 지식을 활용해 절차적으로 cSS 및 CMB 레이블을 삽입하며, 무작위 강도 할당, 블러링, 라이시안(Rician) 노이즈 시뮬레이션을 통해 영상을 합성합니다. 모델은 동적으로 생성된 영상-레이블 쌍으로 학습되었으며, 10건의 cSS 사례와 13건의 CMB 사례에서 수동 윤곽 묘사를 기준으로 평가되었습니다. 제안된 구성은 고전적 필터 기준선(baseline)보다 우수한 성능을 보였습니다. cSS의 경우, 저신호강도 제약 모델이 Frangi 필터보다 더 높은 AUPRC 및 AUROC를 달성했습니다(AUPRC: 0.284 대 0.083, AUROC: 0.907 대 0.731). CMB의 경우, 병변 유사체로서 혈관을 명시적으로 합성함으로써 고전적 기준선 대비 성능이 향상되었습니다(AUPRC: 0.538 대 0.004, AUROC: 0.999 대 0.968). 이러한 결과는 본 제안이 데이터가 희소한 환경에서의 출혈성 병변 분할을 위한 실현 가능한 전략임을 뒷받침합니다.

arXiv:2609.24768v1cs.CV공통 태그 Semantic Segmentation, Image-to-Image Translation

PrismGPT: 자체 합성 추론을 활용한 영역 인식 사진 편집을 위한 대리 유도 학습

PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning

전문적인 사진 보정은 의미론적 마스크(semantic mask)에 의해 유도되는 영역별 국소 편집과 전역적 조절 모두에 의존하지만, 현재의 자동화된 방식들은 이러한 워크플로를 부분적으로만 처리합니다. 본 논문에서는 상용 블랙박스 도구에 의존하지 않고 단일 입력 이미지로부터 구조화된 영역 인식 편집 계획을 생성하는 비전-언어 모델(VLM) 프레임워크인 PrismGPT를 제시합니다. 전역 및 국소 수준 모두에서 미적 결함을 동시에 진단하는 동시에 정밀한 편집 파라미터를 예측하도록 VLM을 학습시키는 것은 방대한 조합적 결정 공간으로 인해 어렵습니다. 우리는 대리 유도 학습(proxy-guided learning)을 통해 이를 해결합니다. 연산 분해 및 영역 인식 미적 순위 지정이라는 두 가지 더 단순한 대리 태스크가 모델에 필요한 기초 기술을 가르치며, 역량 기반 동적 스케줄러가 멀티태스크 학습 비율의 균형을 자동으로 재조정하여 각 기술을 습득함에 따라 대리 태스크에서 주 편집 태스크로 점진적으로 비중을 전환합니다. 결정적으로, 지도 미세조정에 사용되는 모든 추론 궤적은 동일한 기본 모델에 의해 자체 합성되어 더 강력한 외부 교사 모델의 필요성을 배제합니다. MIT-Adobe FiveK와 우리가 새로 도입한 전문적으로 리터칭된 벤치마크인 SPIRE에 대한 실험은 PrismGPT가 이전 최고 방식 대비 약 6%의 학습 데이터만을 사용하면서도 최고 수준(state-of-the-art)의 결과를 달성함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.