arXiv:2312.05482

BARET : Balanced Attention based Real image Editing driven by Target-text Inversion

Yuming Qiao, Fanyi Wang, Jingwen Su, Yanhao Zhang, Yunjie Yu, Siyu Wu, Guo-Jun Qi

제출 2023-12-09

원문 초록

Image editing approaches with diffusion models have been rapidly developed, yet their applicability are subject to requirements such as specific editing types (e.g., foreground or background object editing, style transfer), multiple conditions (e.g., mask, sketch, caption), and time consuming fine-tuning of diffusion models. For alleviating these limitations and realizing efficient real image editing, we propose a novel editing technique that only requires an input image and target text for various editing types including non-rigid edits without fine-tuning diffusion model. Our method contains three novelties:(I) Target-text Inversion Schedule (TTIS) is designed to fine-tune the input target text embedding to achieve fast image reconstruction without image caption and acceleration of convergence.(II) Progressive Transition Scheme applies progressive linear interpolation between target text embedding and its fine-tuned version to generate transition embedding for maintaining non-rigid editing capability.(III) Balanced Attention Module (BAM) balances the tradeoff between textual description and image semantics.By the means of combining self-attention map from reconstruction process and cross-attention map from transition process, the guidance of target text embeddings in diffusion process is optimized.In order to demonstrate editing capability, effectiveness and efficiency of the proposed BARET, we have conducted extensive qualitative and quantitative experiments. Moreover, results derived from user study and ablation study further prove the superiority over other methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22392v1cs.CV공통 태그 Image Reconstruction, Style Transfer

커버로서의 스타일: 양식화된 전송을 통한 딥 이미지 스테가노그래피

Style as Cover: Deep Image Steganography via Stylized Transmission

이미지 스테가노그래피(image steganography)는 일반 이미지 내에 비밀 메시지를 숨기며, 기존 연구의 대부분은 커버를 보존하는 전송 방식에 의존한다. 그러나 이러한 패러다임은 원본 커버가 노출되거나 신뢰성 있게 근사될 수 있는 경우 취약해진다. 본 논문에서는 커버 매칭을 스타일 은닉 전송으로 대체하는 양식화된 이미지 은닉 프레임워크인 StyleStegaNet을 제안한다. 커버와 유사한 스테고(stego) 이미지를 전송하는 대신, StyleStegaNet은 공개적으로 사용 가능한 스타일 참조를 조건으로 양식화된 스테고 이미지를 생성하여, 스테가노그래피의 비가시성을 커버 보존 은닉에서 스타일 변환 기반의 행동 수준 위장으로 재정의한다. 이러한 설정은 신경망 스타일 변환(neural stylization)이 딥 은닉 방법에서 활용되는 특징(feature) 통계량을 크게 바꿀 수 있기 때문에 신뢰할 수 있는 비밀 복구에 상당한 어려움을 초래한다. 이 문제를 해결하기 위해 StyleStegaNet은 전체 작업을 스테고 생성, 양식화 전송, 구조 보존 재구성, 비밀 복구의 네 가지 유기적 단계로 분리한다. 또한 StyleStegaNet은 점진적인 3단계 학습(training) 전략으로 최적화(optimization)되며, 여기서 웨이블릿 도메인 제약 조건과 지각적 감독이 복구 가능한 정보를 구조적 표현으로 유도한다. 더 나아가 비밀 복구 가능성이 정규화된 구조적 부분공간에 크게 제한됨을 보여주는 분석을 제공하여, 직접 양식화하는 베이스라인이 실패하는 이유와 재구성 유도 복구 경로가 왜 필요한지에 대한 기전적 설명을 제시한다. DIV2K 및 MS-COCO 데이터셋(dataset)에 대한 광범위한 실험을 통해 StyleStegaNet의 효과를 입증한다. 또한 두 가지 딥 검출기를 사용한 퓨샷(few-shot) 이미지 스테그분석(steganalysis) 결과, 탐지 정확도가 무작위 추측에 가까운 약 51\%를 나타낸다.

arXiv:2606.18788v2cs.CV공통 태그 Style Transfer

HandwritingAgent: 확장 가능한 벡터 공간에서의 언어 구동 손글씨 합성

HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space

기계가 자연스러운 손글씨 스타일을 모방하도록 가르치는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 이는 개인 간뿐만 아니라 한 사람의 손글씨 내에서도 모양, 질감, 압력, 필기체가 동적으로 변화하는 획 시퀀스(stroke sequences)를 합성해야 하기 때문입니다. 이 과제에 대한 시도는 주로 온라인 및 오프라인 설정에서 심층 학습(deep learning) 방법을 탐색해 왔습니다. 그러나 이러한 접근 방식은 종종 스타일 특정적 아키텍처 선택, 대규모 데이터셋(dataset)에 대한 과도한 의존, 높은 연산 비용, 그리고 자연어를 통한 작문 스타일에 대한 유연한 제어 부족으로 제한받습니다. 이를 위해 우리는 스타일 특정 학습(style-specific training) 없이 Scalable Vector Graphics (SVG) 형식으로 직접 자연스러운 손글씨 시퀀스를 합성할 수 있는 언어 구동 에이전트(agent)인 HandwritingAgent를 소개합니다. 해당 에이전트는 대규모 추론 모델(reasoning model)을 활용하여 이산 그리드 캔버스 환경(environment)에서 획 시퀀스로서 대상 손글씨 글리프(glyphs)를 기하학적으로 분석하고 자기회귀적으로 생성합니다. 생성은 대화형 또는 비대화형 모드로 제공되는 텍스트와 참조 손글씨 스타일 이미지를 기반으로 조건화됩니다. 모방, 인식, 다국어 손글씨 합성, 복잡한 손글씨 수학 및 과학 표현 생성에 이르는 다양한 손글씨 작업에 대한 실험은 성능의 상당한 개선을 나타냅니다. HandwritingAgent는 최첨단(SOTA) 생성형 손글씨 모델과 대등하거나 이를 능가하면서도 더 효율적이고 제어 가능하며 일반화 가능한 합성 방법을 제공합니다.

arXiv:2607.00047v3cs.MM공통 태그 Image Reconstruction

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

arXiv:2605.11506v3cs.CV공통 태그 Image Reconstruction

역문제를 위한 확산 기반 최적화기의 원칙적 설계

Principled Design of Diffusion-based Optimizers for Inverse Problems

스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.

arXiv:2609.24937v3cs.CV공통 태그 Image Reconstruction

흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영

Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs

뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.

arXiv:2605.24274v3cs.LG공통 태그 Image Reconstruction

입력 볼록 신경망 학습을 위한 리프트

A lift for input-convex neural net training

입력 볼록 신경망은 밀도 모델과 수송 사상의 볼록 포텐셜을 매개변수화하며, 그 볼록성을 위해서는 계층 간 가중치가 비음수여야 한다. 투영 경사 하강법은 매 단계 후 투영을 수행하여 이를 강제하는데, 미니배치 잡음 때문에 경계를 무한히 반복해서 넘나들게 되어 투영이 식별하지 못하는 활성 집합이 발생한다. 미분 가능한 대안인 직접 소프트플러스는 소프트플러스 양수화 사상을 통해 자유 잠재 가중치를 최적화한다. 해당 잠재 가중치가 0보다 훨씬 작은 곳에서는 사상의 도함수가 지수적으로 작아 기울기와 그 잡음을 모두 축소시킨다. 이 영역을 어깨(shoulder)라 부르며, 여기에 도달한 가중치는 거의 움직이지 않고 지수적으로 긴 시간 동안 머무른다. 본 연구는 자유 잠재 가중치를 학습 가능한 슬랙과, 학습 배치의 순열 불변 요약을 입력받는 하이퍼네트워크의 출력의 합으로 대체하는 리프트(lift)를 제안한다. 그러면 잠재 가중치가 기울기를 구성하는 바로 그 배치에 따라 변하므로 둘이 결합된다. 이러한 결합이 갱신의 분산에 1차로 한 항을 더함을 보이고, 슬랙, 배치 의존성, 공유 배치가 각각 이를 위해 필요함을 보인다. 결합이 손실 곡률과 양의 방향으로 정렬되는 경우, 어깨에 놓인 가중치는 전조건화 확률적 경사 하강법에서도 직접 소프트플러스보다 리프트에서 손실의 장벽을 더 빨리 넘는다. 여러 응용에서 리프트를 기존 두 방법과 비교한다. 직접 소프트플러스의 제약 가중치가 어깨에 도달하는 경우, 리프트는 직접 소프트플러스보다 목표를 더 가깝게 적합하며 같은 재구성 수준에 약 세 배 빨리 도달한다. 거의 어떤 가중치도 어깨에 도달하지 않는 경우에는 방법들이 서로 일치한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.