arXiv:2205.03947

High-Resolution UAV Image Generation for Sorghum Panicle Detection

Enyu Cai, Zhankun Luo, Sriram Baireddy, Jiaqi Guo, Changye Yang, Edward J. Delp

제출 2022-05-08

원문 초록

The number of panicles (or heads) of Sorghum plants is an important phenotypic trait for plant development and grain yield estimation. The use of Unmanned Aerial Vehicles (UAVs) enables the capability of collecting and analyzing Sorghum images on a large scale. Deep learning can provide methods for estimating phenotypic traits from UAV images but requires a large amount of labeled data. The lack of training data due to the labor-intensive ground truthing of UAV images causes a major bottleneck in developing methods for Sorghum panicle detection and counting. In this paper, we present an approach that uses synthetic training images from generative adversarial networks (GANs) for data augmentation to enhance the performance of Sorghum panicle detection and counting. Our method can generate synthetic high-resolution UAV RGB images with panicle labels by using image-to-image translation GANs with a limited ground truth dataset of real UAV RGB images. The results show the improvements in panicle detection and counting using our data augmentation approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22101v1cs.CV공통 태그 Data Augmentation, Image Generation, Image-to-Image Translation

InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델

InnoText: A Unified Model for Visual Text Generation and Editing

확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.

arXiv:2607.20790v2cs.CV공통 태그 Data Augmentation, Image Generation

가상현실을 위한 안구 검증

Ocular Verification for Virtual Reality

가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.

arXiv:2610.13558v1cs.CV공통 태그 Image Generation, Image-to-Image Translation

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Image-to-Image Translation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.00805v1eess.IV공통 태그 Image Generation, Image-to-Image Translation

국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.

arXiv:2610.00994v1cs.CV공통 태그 Image Generation, Image-to-Image Translation

VIEScore2: 공간적 근거 기반 설명을 갖춘 통합 이미지 평가

VIEScore2: Unified Image Evaluation with Spatially Grounded Explanations

기존 합성 이미지 평가기는 일반적으로 스칼라 품질 점수만 제공하며 이를 뒷받침하는 이미지 영역을 식별하지 못합니다. 본 논문에서는 조건부 이미지를 선택적으로 활용하여 이미지 생성 및 편집 작업을 평가할 수 있는 통합 평가기인 VIEScore2를 소개합니다. VIEScore2는 이미지를 N x N 그리드로 표현하며, 단일 모델 패스에서 품질 점수와 결함 위치를 동시에 예측합니다. 텍스트 네이티브 그리드 표현 방식은 이종의 공간 지도 학습에 공통 인터페이스를 제공하고 직접 검증 가능한 사후 학습 목표를 가능하게 합니다. 저자들은 생성 및 편집 작업 전반에 걸쳐 점수 전용, 국소화 전용, 공동 지도 학습을 아우르는 38,000개의 예제로 학습을 진행했습니다. 지도 미세조정(supervised fine-tuning)에서 시작하여, 셀 수준 Dice 중첩, 점수 정확도, 출력 형식 유효성을 결합한 보상을 활용해 결함 국소화를 개선하는 GRPO를 추가로 적용했습니다. 매개변수가 없는 파서는 이러한 구조화된 예측을 읽기 쉬운 설명으로 변환합니다. 기본 벤치마크 제품군에서 VIEScore2는 동일 조건 입력 기준 가장 강력한 제로샷(zero-shot) 범용 VLM 기준선인 Gemini-3-Flash의 0.491 대비 0.601의 종합 점수 SRCC를 달성했습니다. 결함 국소화의 경우, VIEScore2는 이미지별 그리드 IoU 기준 6개 벤치마크 중 3개에서 범용 VLM과 특화 공간 평가기를 모두 능가했으며, 학습 데이터 소스를 벗어난 데이터셋을 포함하여 5개 벤치마크에서 상위 3위 이내를 기록했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.