arXiv:2610.13558v1 cs.CV

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

Xingzu Zhan, Lin Gu, Ruogu Fang

제출 2026-10-09

한국어 초록

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

원문 초록

Emotional image editing aims to change the emotion a scene conveys while preserving its essential content. Because the same scene can support different emotional interpretations, achieving an emotional goal requires visual changes grounded in the source context. Motivated by the Component Process Model, which links emotional responses to event appraisal, we investigate neural representations as a reference for these editing decisions. Using TRIBE v2, an fMRI encoding model, we analyze 400 source-target pairs across eight emotion categories. Hidden states from EmoEdit, EmoEditor, and AffectDelta correspond more strongly to predicted target-image responses in visual regions than in affect-related regions. This imbalance motivates ROI-ReFT, which combines source visual responses as a content reference with a predicted affective response change as an editing direction. Two interacting branches use both conditions to guide a frozen editor throughout generation. Predicted responses of the generated image supervise affective change and constrain visual drift. On a post hoc selected subset of 400 editing requests, ROI-ReFT achieves 91.75% target-emotion accuracy and 83.25% joint success, with the same output both matching the target emotion and reaching source-output DINO-I of at least 0.80. Our code and dataset will be publicly released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13558v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13344v1cs.CV공통 태그 Representation Learning, Image Generation

롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유

Why DiT Models Underperform as Representation Learners without Long Skip Connections

디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.

arXiv:2610.13944v1cs.CV공통 태그 Representation Learning, Image Generation

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

arXiv:2610.05711v1cs.LG공통 태그 Representation Learning, Image Generation

사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습

From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.

arXiv:2609.33895v2cs.CV공통 태그 Representation Learning, Image Generation

잔차 스트림 부담이 디퓨전 트랜스포머의 표현 학습을 형성하는 방식

Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers

디퓨전(diffusion) 기반 생성에서 신경망(neural network)은 노이즈가 섞인 입력으로부터 깨끗한 데이터, 노이즈, 또는 속도(velocity)를 예측하도록 학습될 수 있습니다. 이러한 예측 타깃들은 상호 변환이 가능하며 동일한 생성 과정을 기술하지만, 큰 픽셀 패치에서 동작하는 기본 디퓨전 트랜스포머(Diffusion Transformer)는 깨끗한 데이터 예측에서는 성공하는 반면 노이즈 또는 속도 예측에서는 실패합니다. 본 연구에서는 이러한 비대칭성이 최종 판독(readout)을 위해 노이즈 의존적 입력 변동을 깊이 방향 전체에 걸쳐 잔차 스트림(residual stream)에 보존해야 하므로, 이후 계층들이 노이즈가 섞인 표현을 바탕으로 연산하도록 강제되기 때문에 발생한다고 주장합니다. 스펙트럼상으로 집중된 깨끗한 타깃은 더 적은 부담을 주어 이후 연산을 위한 은닉 표현을 구성하는 데 더 큰 자유도를 제공합니다. 본 논문에서는 이러한 보존 요구 조건을 *잔차 스트림 부담(residual-stream burden)*이라 정의하고, 이것이 디퓨전 트랜스포머의 표현 학습을 어떻게 형성하는지 보여줍니다. 통제된 실험을 통해 활용 가능한 구조가 패치 공간에서의 스펙트럼 집중임을 확인하였으며, 지속되는 잔차 상태의 대역폭이 노이즈 예측을 위한 핵심 자원임을 밝혔습니다. 나아가 본 설명이 주 경로(main pathway)의 잔차 스트림 부담을 줄이도록 다양하게 설계된 최근의 분리형(decoupled) 픽셀 공간 아키텍처들과도 일치함을 보여줍니다. 이러한 이해를 상호 보완적인 방향에서 검증하기 위해 잔차 스트림 대역폭을 직접 확장하고 재구성하는 공간 인덱싱 하이퍼 커넥션(Spatially Indexed Hyper-Connections, SiHC)을 도입하였으며, ImageNet $256^2$에서 FID 1.71을 달성했습니다. 종합적으로 이러한 결과들은 잔차 스트림 부담이 예측 타깃과 아키텍처가 결합하여 디퓨전 트랜스포머의 표현 학습을 형성하는 핵심 메커니즘임을 규명합니다.

arXiv:2610.02796v1cs.AI공통 태그 Emotion Recognition, affective computing

EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링

Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS

생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.

arXiv:2610.02647v1cs.CV공통 태그 Emotion Recognition, affective computing

역동성 포착: 4D 표정 강도 데이터셋

Capturing Dynamics: The 4D Facial Expression Intensity Dataset

표정 강도(facial expression intensity)의 추정 및 분석은 정서적 소통과 인간-컴퓨터 상호작용(HCI)에서 중요한 역할을 합니다. 기존 연구는 주로 프레임 단위의 2D 표현으로부터 표정 강도를 탐지하고 추정하는 데 집중해 왔습니다. 그러나 실제 세계의 표정은 본질적으로 3D이자 시간적으로 연속적이므로, 이러한 한계는 표정을 포괄적으로 이해하는 데 제약이 됩니다. 본 논문에서는 4D 표정 강도 데이터셋(4D Facial Expression Intensity Dataset, 4DFEID)을 제안하여 표정 강도에 대한 인식을 연구합니다. 연구진은 매개변수 기반 얼굴 모델(parametric face model)을 활용하고 제어된 기하학적 변형을 적용하여 총 2,869개의 메시 시퀀스를 구축함으로써, 다양한 최고 강도(peak intensity)와 신원(identity) 속성을 지닌 4D 데이터 인스턴스를 생성했습니다. 또한 크라우드소싱 플랫폼을 통해 리커트 척도(Likert scale) 기반의 주관적 강도 인식 평가 데이터를 90,000건 이상 수집했습니다. 아울러 새로운 데이터셋에서 에피소드 강도 추정을 위한 베이스라인을 수립하고자 다양한 아키텍처와 집계 방식을 탐구하였으며, 시공간 그래프 모델(spatial-temporal graph models)이 기존의 프레임 집계 방식보다 일관되게 우수한 성능을 보임을 확인했습니다. 2D 정적 이미지에 의존하는 기존 데이터셋과 달리, 제안된 4D-FEID 데이터셋은 동적 3D 자극을 활용하여 표정 강도 인식을 연구할 수 있는 독창적이고 필수적인 자원을 커뮤니티에 제공합니다. 높은 충실도(fidelity)와 시공간적 일관성을 갖춘 얼굴 데이터를 제공함으로써, 4D-FEID는 더 미묘하고 자연스러운 표정 분석 연구를 위한 새로운 기반을 마련하고 정서 컴퓨팅(affective computing) 및 인간-컴퓨터 상호작용 분야의 기존 연구 공백을 해소합니다. 해당 데이터셋은 링크에서 이용할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.