PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13558v1cs.CV

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2605.19352v2q-bio.NC

자연스러운 게임 플레이 중 비전-언어 및 액션 모델의 추론 및 행동 표현과 뇌 정렬

Brain alignment of reasoning and action representations from vision-language and action models during naturalistic gameplay

인간과 인공지능 시스템이 환경(environment)과 상호작용하며 예측하고 계획하는 방식을 이해하는 것은 신경과학과 머신러닝의 접점에 위치한 근본적인 과제입니다. 기존의 대부분의 뇌 인코딩(brain-encoding) 연구는 언어 이해나 수동적인 시각 처리 과정에서 인공 모델(model)을 뇌 활동과 정렬(alignment)하는 데 집중해 온 반면, 상호작용적인 뇌 정렬 연구는 지금까지 주로 강화학습(RL) 에이전트와 이론 기반 모델에 국한되어 있었습니다. 이러한 공백을 메우기 위해, 본 연구에서는 참가자들이 자연스러운 아타리(Atari) 스타일의 비디오 게임을 플레이하는 동안 측정한 fMRI 기록을 활용하여 두 가지 파운데이션 모델 유형인 비전-언어 모델(VLM)과 대규모 액션 모델(LAM)의 대표 모델들에 대한 뇌 정렬을 조사합니다. 구체적으로, 행동 중심 프롬프트(prompt)와 추론 중심 프롬프트가 모델의 내부 표현 및 fMRI 뇌 활동과의 정렬에 미치는 영향을 살펴봅니다. 첫째, VLM과 LAM 모두 복셀 단위 인코딩 성능에서 강화학습 기준선(baseline)보다 유의미하게 더 높은 성능을 달성했으며, 특징(feature) 차원을 일치시킨 조건에서도 이러한 우위가 유지됨을 확인했습니다. 둘째, 프롬프트가 없는 기준선과 비교했을 때, 개별 영역별 편차는 존재하나 관심 영역(ROI) 그룹 평균 기준으로 프롬프트로 인한 성능 향상은 초기 시각 피질보다 고위 전두-두정엽 및 운동 계획 영역에서 대략 2-2.5배 더 크게 나타났습니다. 셋째, 분산 분할(variance partitioning) 분석 결과 질적으로 상이한 표현 구조가 드러났습니다. VLM 표현은 프롬프트 대칭적(고유 행동 12.4% 대 고유 추론 9.5%)인 반면, LAM 표현은 행동 지배적(고유 행동 25.6% 대 고유 추론 -8.2%)이었으며, 이러한 비대칭성은 전두-운동 피질에서 가장 두드러졌습니다. 종합적으로 이러한 결과는 행동 특화가 멀티모달 게임 상태 표현에서 뚜렷한 피질 정렬 패턴과 연관되어 있음을 보여주며, 유사한 예측 정확도 이면에 숨겨진 차이점을 밝혀냅니다.