arXiv:2009.08616

Conditional Hybrid GAN for Sequence Generation

Yi Yu, Abhishek Srivastava, Rajiv Ratn Shah

제출 2020-09-18

원문 초록

Conditional sequence generation aims to instruct the generation procedure by conditioning the model with additional context information, which is a self-supervised learning issue (a form of unsupervised learning with supervision information from data itself). Unfortunately, the current state-of-the-art generative models have limitations in sequence generation with multiple attributes. In this paper, we propose a novel conditional hybrid GAN (C-Hybrid-GAN) to solve this issue. Discrete sequence with triplet attributes are separately generated when conditioned on the same context. Most importantly, relational reasoning technique is exploited to model not only the dependency inside each sequence of the attribute during the training of the generator but also the consistency among the sequences of attributes during the training of the discriminator. To avoid the non-differentiability problem in GANs encountered during discrete data generation, we exploit the Gumbel-Softmax technique to approximate the distribution of discrete-valued sequences.Through evaluating the task of generating melody (associated with note, duration, and rest) from lyrics, we demonstrate that the proposed C-Hybrid-GAN outperforms the existing methods in context-conditioned discrete-valued sequence generation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12495v1cs.CV공통 태그 Self-Supervised Learning, Attribute

RealSkin: 이미지-3D 속성 전이를 위한 공간-스펙트럼 부분 신경 인수 맵

RealSkin: Spatio-Spectral Partial Neural Adjoint Maps for Image-to-3D Attribute Transfer

사실적인 3D 에셋을 생성하려면 실세계 관측과 합성 모델 사이의 외형 격차를 메워야 한다. 유망한 접근법 중 하나는 실제 이미지의 시각적 속성을 합성 3D 표면으로 전이하는 것이다. 기존 방법들은 해상도 불일치와 점 대응(point correspondence)의 본질적 이산성 때문에 어려움을 겪는다. 반면 해상도에 강건한 함수형 맵(functional maps)은 매끄러운 속성 전파를 가능하게 하지만, 거의 등거리(near-isometry) 가정과 위상(topological) 일관성에 의존한다. 이러한 한계를 해결하기 위해, 우리는 공간 대응을 안내로 학습된 스펙트럼 영역에서 대응 최적화를 수행하는 자기지도(self-supervised) 프레임워크인 RealSkin을 제안한다. 먼저 심각한 위상 불일치 하에서 거친 대응을 확립하는 공간 안내 등록(registration) 알고리즘을 도입한다. 엄격한 등거리 가정을 완화하고 부분 대응을 처리하기 위해, 부분 대응을 신경 함수 공간에 통합하고 대응 정제를 위해 비등거리(non-isometric) 잔차를 모델링하는 스펙트럼 인식 신경 인수(adjoint) 네트워크를 추가로 설계한다. 실험 결과는 본 방법이 까다로운 실세계-합성 시나리오에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 공개 예정이다.

arXiv:2607.12786v1cs.CV공통 태그 Triplet, Attribute

CoRe: 비전-언어 모델에서의 이미지 간 비교 추론을 위한 포괄적 프레임워크

CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models

이미지 간 비교 추론은 비전-언어 모델(VLM)에서 여전히 어려운 과제이며, 특히 정확한 예측을 위해 세밀한 속성 그라운딩(grounding)과 전역적으로 일관된 추론이 필요할 때 더욱 그렇다. 우리는 이 문제를 위한 통합 프레임워크인 CoRe를 제안한다. CoRe는 다음을 포함한다: (i) CoRe-20K — 다중 전문가 협업 파이프라인을 통해 구조화된 시각 메타데이터로부터 자동 구축된 대규모 트리플릿 기반 학습(training) 데이터셋으로, 계수, 깊이, 거리, 공간 관계를 포괄한다; (ii) TriSR — GRPO 최적화(optimization) 하에서 속성 그라운딩, 판단 정렬(alignment), 트리플릿 일관성을 공동으로 감독하는 구조화된 보상(reward) 프레임워크; (iii) CoRe-Bench — 세밀한 이미지 간 비교 추론에 특화된 최초의 벤치마크(benchmark). 실험 결과 CoRe는 CoRe-Bench에서 기존 VLM을 크게 능가하면서 표준 멀티모달 벤치마크에서도 경쟁력을 유지하며, 가장 강한 기준선(baseline) 대비 부분 정확도에서 28.2점 향상을 달성했다.

arXiv:2607.09767v2eess.SP공통 태그 Self-Supervised Learning

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2610.10857v2cs.AI공통 태그 Self-Supervised Learning

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.

arXiv:2609.27110v2cs.CV공통 태그 Attribute

Undertone: 소수의 평점으로 고정된 VLM 미적 판정기를 개인화하기

Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings

이미지 품질 평가는 평균 의견 점수(MOS)를 예측하지만, 이미지 미학에서는 평균이 개인을 가리므로 개인화된 평가는 새 사용자가 평가한 소수의 이미지에서 출발해야 한다. 평점 열 개로 각 사람을 처음부터 적합시키면 실패하며, 사람별로 파인튜닝한 네트워크는 새로운 종류의 이미지로 잘 전이되지 않는다. 본 논문은 Undertone-P를 제안한다. 이는 다른 평가자들로부터, 고정된 시각-언어 모델(VLM) 판정기의 판독값, 즉 확률 가중 평점과 점수 토큰에서의 은닉 상태에 대한 사람별 회귀 가중치의 가우시안 사전분포를 학습한다. 사람들이 군중과 다른 방식은 다른 평가자들이 드러내므로, 소수의 평점은 그 방식들 중 하나를 고르기만 하면 된다. 새 사용자에게는 닫힌 형태의 풀이 한 번이 필요할 뿐이며 네트워크는 학습되지 않는다. Ryu와 Yanaka의 PARA 벤치마크에서 사전분포만으로 스피어만 상관계수 .640에 도달하여, 기존에 발표된 최고의 10개 및 100개 평점 결과(.581 및 .620)를 상회하며, 사람의 평점 10개와 100개를 사용하면 각각 .648과 .676으로 상승한다. 이러한 평점은 취향이 군중과 다른 곳에서 가장 큰 이득을 준다. 평점 100개 기준으로 군중과 가장 덜 일치하는 평가자들에서는 +.067, LAPIS 미술 작품에서는 +.206이며 전체 평균은 +.037이다. 라벨 없이도 판정기의 기대 점수는 PARA의 MOS를 .835로 예측한다(우리가 실행한 발표 모델 중 최고: .694). PARA로 학습된 네트워크는 PARA의 원래 프로토콜에서는 여전히 앞서는데, 이는 더 강력한 종단 간 MOS 모델 때문일 가능성이 있다.

arXiv:2607.22149v2cs.LG공통 태그 Self-Supervised Learning

공정한 자기지도 학습을 위한 편향 없는 Open World 정규화

Unbiased Open World Regularization for Fair Self-Supervised Learning

최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.