PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20518v1cs.AI

FlowEdit: Flow-Matching 텍스트 음성 변환에서의 평생 발음 적용을 위한 연상 기억

FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS

Flow-matching 텍스트 음성 변환 시스템은 탁월한 제로샷 품질을 달성하지만 배포 후에는 정적으로 유지됩니다: 모델을 재학습하지 않으면 어휘 외 고유명사에 대한 발음 오류가 지속됩니다. 우리는 가중치 업데이트 대신 잠재 조건 편집으로 발음 수정을 학습하는, 동결된 Flow-matching 텍스트 음성 변환을 위한 평생 적용 프레임워크인 FlowEdit을 소개합니다. 수정 피드백이 제공되면 FlowEdit은 텍스트 임베딩 공간에서 토큰 수준의 섭동을 최적화한 다음, 내용 주소형 에피소드 기억 역할을 하는 Modern Hopfield Network에 수정 사항을 저장합니다. 추론 시 수정 사항은 유사성 게이트가 있는 소프트 어텐션을 통해 검색되며, 이를 통해 퍼지 형태소 매칭이 가능합니다. 18개 어족에 걸친 312개의 다국어 고유명사로 구성된 우리가 선별한 벤치마크에서 FlowEdit은 제로샷 기준선 대비 목표 단어 음소 오류율을 92.7% 감소시키면서 동일한 일반 음성 품질을 유지했습니다. 수정은 단일 GPU에서 약 15초 만에 완료됩니다.

arXiv:2606.12838v1q-bio.QM

OCOO-T: 전사적 섭동 반응 예측을 위한 간단하고 확장 가능한 가상 세포 모델

OCOO-T : A Simple and Scalable Virtual Cell Model for Transcriptional Perturbation Response Prediction

기존 접근 방식의 복잡성과 확장성 문제를 해결하기 위해 OCOO-T는 순수 Transformer 스택과 flow-matching을 활용하여 섭동 반응 예측을 연속 시간 노이즈 제거 과정으로 공식화하는 간단한 AI 가상 세포(AIVC) 모델을 제안합니다. 이 모델은 Tahoe100M, Replogle, PBMC 벤치마크에서 최첨단 성능을 달성하며 긴 전사 프로필로도 효과적으로 확장됩니다.

arXiv:2606.13304v1cs.CV

ReFree: 보상 없는 RL과 다중 레벨 음성 가이던스를 통한 현실적인 동시 발화(co-speech) 비디오 생성

ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance

음성 기반 대화 캐릭터 애니메이션은 자연스러운 대화 행동을 전달하고 얼굴 움직임을 발화 음성과 정렬하여 실사 같은 초상화 비디오를 생성하는 것을 목표로 한다. 비디오 생성 분야의 최근 발전이 비디오 기반 애니메이션의 사실성을 크게 향상시켰지만, 정확한 입술 조음과 표현적 행동을 동시에 달성하는 것은 여전히 어려운 과제이다. 기존 접근법은 정밀한 음소-입술 동기화와 역동적인 표정 및 머리 움직임 사이에서 트레이드오프를 하는 경우가 많아, 정확하지만 경직되거나 표현적이지만 동기화가 부족한 애니메이션을 생성한다. 우리는 이 과제를 해결하기 위해 ReFree-S2V를 제안한다. ReFree-S2V는 사전학습(pre-training)된 비디오 생성 모델을 기반으로 음성 기반 초상화 애니메이션에서 미세한 음성 조음과 고수준 표현적 단서를 달성하는 플로우 매칭(flow-matching) 기반 음성-초상화 애니메이션 프레임워크이다. 이 모델은 국소 및 전역 수준에서 음운 및 운율 정보를 포착하는 다중 레벨 음성 표현을 도입한다. 이러한 표현은 학습 가능한 레벨 선택기를 통해 트랜스포머 블록에 선택적으로 주입되어, 정확한 입술 동기화와 자연스러운 표현적 움직임을 모두 가능하게 한다. 자연스러운 머리 움직임을 위해, 우리는 플로우 매칭 학습에 수작업 동기화 메트릭, 보상 모델(reward model), 또는 고비용의 인간 선호도 주석에 의존하지 않고 지각적으로 비현실적인 움직임을 억제하는 새로운 보상 없는 강화학습(reward-free RL) 방식을 추가로 도입한다. 광범위한 실험을 통해 ReFree-S2V가 최첨단(state-of-the-art) 성능을 달성함을 보였으며, 정량적 립싱크 정확도와 자연스러움 및 표현력에 대한 정성적 인간 평가 모두에서 기존 방법을 크게 능가한다.

arXiv:2606.12562v1cs.CV

HairPort: 이미지용 인컨텍스트 3D 인식 헤어 임포트 및 전송

HairPort: In-context 3D-aware Hair Import and Transfer for Images

이미지 간 헤어스타일 전송은 컴퓨터 그래픽, 컴퓨터 비전, 시각 효과 분야에서 중요하지만 도전적인 과제입니다. 이를 통해 사용자는 머리카락을 물리적으로 바꾸지 않고도 새로운 스타일을 시도해 볼 수 있으며, 가상 피팅 시스템, 증강 현실(AR), 엔터테인먼트 등에 활용됩니다. 대부분의 기존 연구는 자세 차이가 작을 때 가장 잘 동작하지만, 시점과 스케일 차이가 큰 경우에는 한계를 보이며, 이때는 누락된 헤어 영역을 전송하기보다 합성해야 합니다. 본 논문은 헤어 제거와 전송을 명시적으로 분리하고, 합성 전에 기하학적 일관성을 강제함으로써 이러한 문제를 해결하려는 3D 인식(3D-aware) 헤어스타일 전송 프레임워크 HairPort를 제안합니다. FLUX.1 Kontext의 LoRA 기반 인컨텍스트 적응을 통해 얼굴의 사실적인 대머리 이미지를 생성하는 Bald Converter를 도입합니다. Bald Converter 학습을 위해 다양한 신원과 조건에 걸친 6,000쌍의 대머리·원본 이미지 쌍으로 이루어진 새 데이터셋 Baldy를 제안합니다. 또한 3D 인식 전송 파이프라인을 사용하여, 소스 이미지에 합성하기 전에 타깃 시점에서 참조 헤어스타일을 재구성하고 재렌더링합니다. 3D 인식 방식 덕분에 본 방법은 소스와 타깃 간 큰 자세 및 스케일 불일치도 지원합니다. 마지막으로, 조건부 플로우 매칭(flow-matching) 생성기가 대머리 소스와 기하학적으로 정렬된 참조 가이드로부터 전송 결과를 합성합니다. 이를 통해 본 방법은 정확하고 자세 일관성이 있으며 신원을 보존하는 헤어스타일 전송을 가능하게 하며, 정성적·정량적으로 기존 방법을 능가합니다.