PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00686v1cs.CV

SemanTok: 효율적인 자기회귀 비디오 생성을 위한 예측 가능한 시맨틱 토큰

SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation

최근 비디오 기반 월드 모델은 자기회귀(AR) 예측의 확장성과 확산 모델(diffusion model)의 시각적 품질을 결합하고 있습니다. 충실도와 시맨틱 측면 모두에서 최적의 성능을 달성하려면 장면 토크나이저의 선택이 매우 중요합니다. 가변 길이의 조잡-정밀(coarse-to-fine) 토크나이저는 바로 이러한 점을 제공합니다. 즉, 초기의 대략적인 토큰들이 클립의 전역적 시맨틱을 전달하는 한편, 이후의 토큰들은 세부 사항을 추가로 구체화합니다. 기존의 가변 토크나이저는 초기 디코더 은닉 상태에 표현 정렬(REPA) 손실만을 적용하는데, 디코더는 노이즈가 추가된 입력으로부터도 이 목표를 부분적으로 충족할 수 있습니다. 본 논문에서는 동결된 DINO 특징을 인코더에 입력하고, 유지된 각 토큰 접두 문맥만으로 이를 재구성하는 경량 헤드를 추가한 가변 비디오 토크나이저인 SemanTok을 소개합니다. SemanTok은 모든 AR 모델 크기에서 높은 시맨틱 정렬과 비디오 충실도를 달성합니다. 201M 크기의 SemanTok AR 모델은 크기가 $3.4\times$에 달하는 VideoFlexTok AR 모델과 동등하거나 그 이상의 성능을 보이며, 더 큰 SemanTok AR 모델은 충실도를 더욱 향상시킵니다. 또한 분포 외(OOD) 클래스에서도 시맨틱 정렬을 유지하며, 순수 노이즈를 포함한 모든 노이즈 수준에서 디코더에 더 높은 시맨틱 정렬을 부여합니다. SemanTok은 재구성 및 생성 모두에서 우수한 성능을 발휘하며, 짧은 토큰 접두 문맥은 예측 비용이 더 저렴하면서도 픽셀 디테일을 후속 토큰으로 미룸으로써 더 우수한 생성 충실도를 제공합니다.

arXiv:2607.22700v1cs.AI

RoleMix: 의미 토큰화를 통한 순차·비순차 특징 통합 기반 클릭 후 전환율 예측

RoleMix: Unifying Sequential and Non-Sequential Features via Semantic Tokenization for Post-Click Conversion Rate Prediction

클릭 후 전환율(PCVR) 예측은 산업용 추천의 핵심이지만, 희소하고 순서 없는 다중 필드 특징과 긴 도메인 특화 행동 이력 간의 구조적 불일치로 인해 여전히 어려움이 남아 있다. 기존 모델들은 이러한 신호를 별도 경로로 처리한 뒤 후기에 융합하는 경우가 많아, 의미론적 역할을 약화시키고 교차 신호 정제를 제한한다. 우리는 순차 및 비순차 증거를 공유된 역할 보존 토큰 인터페이스를 통해 표현하는 통합 상호작용 아키텍처인 RoleMix를 제안한다. 비순차 필드는 사용자, 아이템, 쌍(pairwise), 밀집(dense), 맥락적, 교차 특징 역할을 보존하는 명시적 의미 토큰으로 변환되며, 긴 행동 도메인은 2단계 계층적 윈도우 어텐션을 통해 아이템 및 맥락 인식 시퀀스-쿼리 토큰으로 압축된다. 그 결과 생성된 전역, 의미, 시퀀스-쿼리 토큰은 PCVR 예측을 위해 쌓인 UniMixing-Lite 블록에 의해 공동으로 정제된다. 대규모 KDD Cup 2026 Tencent UniRec Challenge에서 RoleMix는 83.648%의 온라인 AUC를 달성하여, 공식 산업 기준선을 1.953%p 초과한다. 어블레이션 연구는 의미 토큰화가 가장 큰 단독 성능 향상을 가져옴을 보여주며, 대규모 PCVR 모델링의 핵심 원칙을 강조한다: 토큰 인터페이스 수준에서 필드 의미론을 보존하는 것은 상호작용 백본을 스케일링하는 것만큼 중요하다.