Exploring Negatives in Contrastive Learning for Unpaired Image-to-Image Translation
원문 초록
Unpaired image-to-image translation aims to find a mapping between the source domain and the target domain. To alleviate the problem of the lack of supervised labels for the source images, cycle-consistency based methods have been proposed for image structure preservation by assuming a reversible relationship between unpaired images. However, this assumption only uses limited correspondence between image pairs. Recently, contrastive learning (CL) has been used to further investigate the image correspondence in unpaired image translation by using patch-based positive/negative learning. Patch-based contrastive routines obtain the positives by self-similarity computation and recognize the rest patches as negatives. This flexible learning paradigm obtains auxiliary contextualized information at a low cost. As the negatives own an impressive sample number, with curiosity, we make an investigation based on a question: are all negatives necessary for feature contrastive learning? Unlike previous CL approaches that use negatives as much as possible, in this paper, we study the negatives from an information-theoretic perspective and introduce a new negative Pruning technology for Unpaired image-to-image Translation (PUT) by sparsifying and ranking the patches. The proposed algorithm is efficient, flexible and enables the model to learn essential information between corresponding patches stably. By putting quality over quantity, only a few negative patches are required to achieve better results. Lastly, we validate the superiority, stability, and versatility of our model through comparative experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 수어 생성을 위한 확산 기반 운동학 및 동역학 모델
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.
ElasticTTT: 사전 보존 테스트 시간 튜닝을 위한 비디오 편집
ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing
사전학습된 diffusion 모델에 대한 테스트 시간 튜닝(TTT)은 비디오 편집을 위한 강력한 패러다임으로 부상했다. 그러나 생성 모델의 분포 매핑 특성과 표준 TTT의 단일 점 최적화 사이에는 근본적인 불일치가 존재한다. 본 논문에서는 이러한 불일치가 Prior Collapse(사전 붕괴)를 유발함을 보인다. 이는 모델이 텍스트 조건과 공간 잠재 변수를 버리고, 생성 결과를 소스 비디오로 붕괴시키거나 서로 다른 영역의 특징을 얽어버리는 퇴화 상태이다. 이를 해결하기 위해, 사전 생성 분포를 보존하고 생성 탄성(generative elasticity)을 회복하는 새로운 프레임워크인 ElasticTTT를 제안한다. 구체적으로, 급격한 암기 최소점을 방지하기 위한 Target Distribution Regularization(목표 분포 정규화), 소스 편향에서 추론을 유도하기 위한 Contrastive CFG, 그리고 편집되지 않은 영역을 보존하기 위한 Asynchronous Noise Schedule(비동기 노이즈 스케줄)을 제안한다. 이론적 분석이 뒷받침하는 광범위한 평가를 통해, ElasticTTT가 베이스 모델의 생성 사전을 성공적으로 보존하며 원샷(one-shot) 비디오 편집에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.
PC-Edit: 프롬프트 대조 기반 영역 발견 및 영역 유도 편집
PC-Edit: Prompt-Contrastive Region Discovery and Region-Guided Editing
카테고리나 형태가 다른 객체로 교체하려면 소스를 완전히 제거하고, 소스 실루엣에 구속되지 않은 자연스러운 타깃 형성, 그리고 관련 없는 콘텐츠의 보존이 필요하다. 기존의 무학습(training-free) 편집기는 소스 및 타깃 프롬프트 하의 최종 예측에서 편집을 국소화하거나, 명시적인 영역 발견 없이 공간적으로 비선택적인 소스 특징 재사용을 통해 관련 없는 콘텐츠를 보존하는 두 가지 방식 중 하나를 택한다. 최종 예측에 도달하기 전에, 프롬프트로 유도된 의미적 차이는 추가적인 네트워크 변환을 거치며, 이는 공간적 국소화를 흐릿하게 하여 국소화 정밀도를 낮출 수 있다. 공간적으로 비선택적인 특징 재사용은 편집 완전성과 배경 보존 사이의 트레이드오프를 강요한다. 따라서 우리는 무학습 MM-DiT 편집을 위한 프롬프트 대조 프레임워크인 PC-Edit을 제안한다. PC-Edit은 소스 및 타깃 프롬프트 하에서 이미지-토큰 어텐션 출력을 대조하여, 텍스트 조건 정보가 이미지 토큰에 전달되는 지점에서 프롬프트로 유도된 의미적 차이를 직접 포착한다. 동일한 대조는 역변환(inversion) 중 소스 제거 영역과 디노이징(denoising) 중 타깃 출현 영역을 식별한다. 두 영역의 합집합은 소스 잔여물을 억제하면서 타깃 객체가 자연스럽게 형성되도록 한다. PC-Edit은 또한 각 샘플링 단계 내에서 선행 어텐션 블록으로부터 현재 편집 영역을 추정하고, 후속 블록에서 그 외부에 캐시된 소스 K/V 특징을 즉시 주입함으로써 영역 발견과 배경 보존을 결합하여, 잠재(latent) 업데이트 전에 관련 없는 콘텐츠를 보호한다. 단일 및 다중 객체 추가 및 교체에 대한 사람이 검증한 편집 영역 주석을 포함하는 PIE-Bench와 우리의 EditRegion-Bench에서의 실험 결과, PC-Edit은 사용자가 지정한 편집 영역 없이 동작하는 방법들 중 최고의 편집 품질과 배경 보존을 달성함을 보여준다.
24시간 농업 로봇틱스 구현: 야간 시각 내비게이션을 위한 비지도 주간-야간 교차모달 이미지 변환
Enabling 24-hour Agricultural Robotics: Unsupervised Day-to-Night Cross-Modal Image Translation for Nighttime Visual Navigation
농업 로봇틱스에서 시각 내비게이션은 광범위하게 연구되어 왔지만, 대부분의 기존 시스템은 주간 조건을 가정한다. 실제로 야간에 자율 로봇을 배치하면 24시간 작물 및 토양 모니터링, 과일 수확, 야간 해충 탐지 등 상당한 이점을 제공한다. 그러나 현대 비전 기반 시스템은 대규모로 잘 주석 처리된 이미지 데이터셋에 크게 의존하는데, 야간 운용 시나리오에서는 이를 확보하기 어렵다. 이를 해결하기 위해, 우리는 픽셀 대 픽셀 지도 없이 주간 식물 행 RGB 이미지를 야간 근적외선(NIR) 대응 이미지로 변환하는 비지도 이미지 변환 프레임워크를 제안한다. 이를 통해 주간 의미 라벨을 야간 인식 모델 학습에 직접 재사용할 수 있다. 특히, 사전학습된 Contrastive Language-Image Pre-training(CLIP) 모델을 통합하여, 제안 프레임워크는 주간-야간 변환 과정에서 의미적 일관성을 보존하도록 설계되었다. 또한 야간 장면에서 NIR 조명의 제한된 유효 범위를 반영하기 위해 가시성 마스크(visibility mask)를 도입한다. 최신(state-of-the-art) 이미지 변환 베이스라인과 비교 평가를 수행하였으며, 야간 시각 내비게이션을 위한 하위 의미 분할(semantic segmentation) 성능 향상으로 뒷받침되듯 더 높은 이미지 품질을 입증한다. 평가를 위해, 농업 현장에서 야간 시야 장비를 갖춘 이동 로봇으로 수집하고 픽셀 단위 의미 라벨을 수동 주석 처리한 주간 428장 및 야간 549장 이미지로 구성된 새로운 데이터셋 AgriNight를 활용하고, 이를 야간 농업 시각 내비게이션을 위한 최초의 벤치마크로 소개한다. 또한 야간에 운용되는 실물 로봇으로 실시간 자율 내비게이션 실험을 수행한다. 데이터와 코드는 https://github.com/mamorobel/AgriNight 에서 이용할 수 있다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.