감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.
감정적 이미지 편집은 정서적 필터를 적용하거나 사전 정의된 시각적 요인을 수정하는 것만으로는 충분하지 않다. 효과적인 편집은 특정 이미지가 목표 감정을 위해 무엇을 제공할 수 있는지(affordance)를 식별해야 한다. 기존 정서적 이미지 조작 방법들은 최근 에이전트 기반 변형을 포함하여, 대체로 사전 정의된 요인 분류체계, 지식 라이브러리, 또는 기존 편집 템플릿에 기반한 제한된 전략 공간 내에서 작동하며, 따라서 종종 이미지 특화적이고 맥락에 기반한(context-grounded) 전략을 놓친다. 본 논문에서는 EmoScope라는 다중 에이전트 프레임워크를 제안한다. EmoScope는 과제를 "어떻게 편집해야 하는가?"에서 "무엇을 편집할 수 있는가?"로 재구성한다. EmoScope는 먼저 감정 조건화된 어포던스(affordance) 추론을 통해 이미지 특화적 편집 가능 공간을 발견한 다음, 앵커(anchor), 변수(variable), 맥락(context)의 의미적 계층을 사용하여 편집을 실행하고 검증하기 전에 내용 일관성과 감정적 표현력 사이의 균형을 맞춘다. 계획이 검색된 템플릿이 아닌 이미지 특화적 어포던스로 표현되기 때문에, EmoScope는 또한 편집 전략을 계획 수준에서 사용자 정교화를 위한 대화형 표면으로 노출한다. Mikels 감정 8개 범주 전체를 아우르는 대규모 인간 평가에서, 1,824개의 쌍별(pairwise) 질문에 걸쳐 4,693개의 유효 응답을 수집한 결과, 참가자들은 평균 88.1%의 비율로 두 개의 경쟁 기준선보다 EmoScope를 선호했다. 속성 귀속(attribution) 분석은 EmoScope가 균일한 템플릿을 적용하기보다 목표 감정에 적응적인 전략을 선택함을 추가로 보여준다. 동일한 어포던스 수준 계획은 대화형 파일럿에서 경량 사용자 정교화도 지원한다. 마지막으로, 분류기 기반 지표가 비정형적이고 맥락에 기반한 편집에 대해 감정 조건화된 맹점을 보임을 보이고, EmoScope의 이점이 이미지-감정 조합에 걸쳐 체계적으로 달라짐을 보여주는 상대적 내용-감정 선호-친화도 지형을 제시한다.