PyTorchKR Papers

“Code Generation”

총 300편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.10441v2cs.CV

분할과 연결: 확산 브리징을 통한 멀티모달 생성

Split and Bridge: Multimodal Generation via Diffusion Bridging

시각 데이터는 흔히 서로 보완적인 여러 양상(예: 이미지와 분할 마스크)으로 표현되며, 각 양상은 동일한 기저 구조의 서로 다른 측면을 포착한다. 대부분의 기존 멀티모달 방법은 처음부터 공동 학습을 통해 공유 잠재 변수를 학습하는 하향식 패러다임을 채택하며, 이는 확장성을 제한한다. 우리는 샘플링 시점에 사전학습된 단일 모달 확산 모델을 결합하는 상향식 멀티모달 생성 프레임워크 분할과 연결(Split and Bridge, SnB)을 제안한다. SnB는 통합된 잠재 공간을 학습하는 대신, 분할 지점까지 공유 확산 궤적을 따른 뒤 브리지 모듈이 안내하는 양상별 궤적으로 분기함으로써 일관된 멀티모달 샘플을 생성한다. 이 설계는 공동 학습 없이 강력한 사전학습 모델을 플러그 앤 플레이로 재사용할 수 있게 하여 확장성이 높고 쉽게 적응시킬 수 있다. 표준 벤치마크(PolyMNIST, CelebAMask-HQ)와 더 복잡한 환경(PIE-Bench++, ROCO) 전반에서 SnB는 샘플 품질과 일관성 사이의 강한 균형을 달성한다. 우리는 SnB가 교차 공동 생성, 이미지 편집, 스타일 결합/분리와 같은 하위 제로샷 과제로 자연스럽게 확장됨을 보인다. 우리의 결과는 상향식 생성이 기존 하향식 멀티모달 접근법을 보완하는 실용적인 프레임워크를 제공함을 보여준다. 코드는 https://github.com/AhmadArrabi/SnB 에서 이용할 수 있다.

arXiv:2606.24548v4cs.CV

텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크

Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning

텍스트-이미지(T2I) 생성 모델은 자연어 프롬프트로부터 시각적으로 사실적인 이미지를 생성하는 데 괄목할 만한 진전을 이루었다. 그러나 이러한 성공이 진정한 인과적 이해를 반영하는지, 아니면 시각-텍스트 상관관계에 대한 정교한 패턴 매칭인지는 여전히 불분명하다. 러셀의 귀납주의 칠면조에서 착안하여, 본 논문은 텍스트-이미지 모델이 현실 세계의 사전 지식과 체계적으로 모순되는 규칙 아래에서 이미지를 생성할 수 있는지 조사하기 위해 설계된 반사실 벤치마크인 Counterfactual-World(CF-World)를 소개한다. CF-World는 각 시나리오를 세 가지 점진적 수준으로 구성한다. 일반적인 세계 지식에 따른 사실 생성, 직접적인 시각 지시를 포함한 명시적 반사실 생성, 그리고 변경된 규칙으로부터의 인과적 연역이 필요한 암묵적 반사실 생성이다. 시각-언어 모델 기반 점수 산정 파이프라인인 CF-Eval을 사용하여 오픈소스 및 클로즈드소스 텍스트-이미지 모델을 평가한다. 각 프롬프트 수준의 점수를 주요 결과로 보고하고, 사전 저항률(Prior Resistance Rate, PRR)과 추론 유지율(Reasoning Retention Rate, RRR)을 보조적 기술 지표로 사용한다. 평가한 모든 모델은 반사실 프롬프트에서 사실 프롬프트보다 낮은 점수를 받았다. 진단 실험은 변경된 규칙을 따르는 것과 드물게 함께 나타나는 시각적 속성을 재조합하는 것에 어려움이 있음을 보여준다. 객체와 속성 이름을 바꿔 표현했을 때의 향상은 반사실 생성에서 학습된 시각적 사전 지식이 역할을 한다는 해석과 부합한다. 본 벤치마크와 평가 코드는 https://jylei16.github.io/CF-World.github.io/ 에서 공개되어 있다.

arXiv:2605.06660v2cs.LG

수학적 추론을 위한 검증기 기반 고난도 문제 생성

Verifier-Backed Hard Problem Generation for Mathematical Reasoning

대규모 언어 모델(LLM)은 과학 및 수학 문제 풀이에서 강력한 능력을 보이지만, 유효하면서도 도전적인 새로운 문제를 만드는 데에는 어려움을 겪는다. 이는 LLM 학습을 발전시키고 자율적 과학 연구를 가능하게 하는 데 필수적인 요소이다. 기존의 문제 생성 접근법은 비용이 많이 드는 인간 전문가의 참여에 의존하거나, 보상 해킹으로 인해 유효하지 않은 문제를 자주 만들어내는 단순한 자기 대결(self-play) 방식을 채택한다. 본 연구는 3자 자기 대결에 기반한 검증기 기반 고난도 문제 생성 프레임워크 VHG를 소개한다. 기존의 출제자-풀이자 이원 구조에 독립적인 검증기를 통합함으로써, 출제자의 보상이 문제의 유효성(검증기가 평가)과 난이도(풀이자가 평가)에 의해 함께 결정되도록 제약한다. 우리는 두 가지 검증기 변형, 즉 하드 기호 검증기와 소프트 LLM 기반 검증기를 구현하고, 부정적분 과제와 일반 수학적 추론 과제에서 평가를 수행하였다. 실험 결과 VHG는 모든 기준 방법을 뚜렷한 차이로 크게 능가한다. 코드는 https://github.com/Miaow-Lab/VHG 에서 확인할 수 있다.

arXiv:2608.06041v2cs.SE

LangChoiceBench: LLM의 프로그래밍 언어 선택 측정 및 설명

LangChoiceBench: Measuring and Explaining Programming-Language Choice in LLMs

대규모 언어 모델(LLM)은 프로젝트 수준의 코드를 생성할 때 강한 Python 선호도를 보이는 것으로 나타났지만, 현재 새로운 모델들에 걸쳐 이러한 동작을 체계적으로 측정할 수 있는 방법은 없습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Python 선호도, 추천-구현 일관성, 언어 다양성을 측정하기 위한 프로젝트 수준 코드 생성 벤치마크인 LangChoiceBench를 소개합니다. LangChoiceBench는 Python이 기본 선택지로 부적절한 경우가 많은 7개 소프트웨어 분야의 28개 프로젝트를 다룹니다. 25개의 다양한 LLM을 평가한 결과, 여전히 Python이 과도하게 선택되고 있으며 추천-구현 일관성이 낮고, 더 작은 오픈 가중치(open-weight) 모델일수록 일반적으로 더 강한 Python 선호도와 더 낮은 언어 다양성을 보인다는 점을 확인했습니다. 나아가 9,826개의 추론 과정을 분석하여 대부분의 Python 선택이 프로젝트 요구사항을 명시적으로 고려하기보다는 자동적이거나 주로 용이성에 의해 이루어진다는 점을 밝혔습니다. 규모는 작지만 중요한 일부 사례에서는 모델이 Python을 선택하기 위해 맥락적 근거를 꾸며내는 유령 증거(phantom evidence) 오류를 보이거나, 자체 추론에서 선택한 언어와 모순되는 코드를 생성하기도 합니다.

arXiv:2509.24773v5eess.AS

ViSSFlow: 결합 학습을 통한 비디오 조건부 소리 및 음성 생성의 통합

ViSSFlow: Unifying Video-Conditioned Sound and Speech Generation via Joint Learning

비디오-소리 변환(V2S)과 시각적 텍스트-음성 변환(VisualTTS)을 포함하는 비디오 조건부 오디오 생성은 시각적 콘텐츠를 조건으로 오디오를 생성한다는 공통 목표에도 불구하고 전통적으로 두 개의 별개 과제로 연구되어 왔다. 기존 방법은 과제별 아키텍처와 학습 패러다임에 의존하며, 이질적인 조건 신호와 제한된 결합 학습 데이터 때문에 통합 생성 프레임워크의 가능성은 대체로 탐구되지 않았다. 본 논문에서는 V2S와 VisualTTS를 모두 위한 통합 플로 매칭 프레임워크인 ViSSFlow를 제안한다. 확산 트랜스포머(DiT) 내에서 다양한 조건 양식을 효과적으로 통합하기 위해, 어텐션 계층의 상호 보완적 역할을 활용하는 분리형 조건 집계 메커니즘을 도입하는데, 교차 어텐션으로 의미적 조건을 모델링하고 셀프 어텐션으로 시간적으로 조밀한 시각 단서를 포착한다. 또한 V2S와 VisualTTS의 결합 최적화가 과제 간 간섭을 일으킨다는 통념과 달리, 단일 모델을 과제별 성능 저하 없이 종단간으로 학습할 수 있음을 보인다. 소리와 음성 생성을 모두 포괄하는 짝지어진 학습 데이터의 부족을 해결하기 위해, 견고한 결합 학습을 가능하게 하는 단순하면서도 효과적인 특징 수준 데이터 합성 전략을 추가로 제안한다. V2S, VisualTTS, 결합 생성 벤치마크에 대한 폭넓은 실험은 ViSSFlow가 최첨단 과제별 기준 모델을 일관되게 능가하면서 비디오 조건부 오디오 생성을 위한 통합 해법을 제공함을 보여준다. 코드와 데모는 보충 자료에 제공된다.

arXiv:2610.05608v2cs.CV

Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation

We present Kandinsky 6.0 Video, a family of foundation diffusion models for synchronized text-to-audio-video generation, comprising Kandinsky 6.0 Video Lite (3B parameters) and Kandinsky 6.0 Video Pro (29B parameters). Both models generate 5-second video clips with synchronized 44 kHz audio, including lip-sync, in text-to-audio-video (T2AV) and image-to-audio-video (I2AV) modes; a built-in super-resolution model raises the output resolution to Full-HD (1920x1080). Building on the video generation capabilities of Kandinsky 5.0, Kandinsky 6.0 Video employs a dual-stream CrossDiT architecture that connects a pretrained video stream and a newly trained audio stream through bidirectional cross-attention for temporal and semantic alignment. Our continuous pretraining strategy first trains the audio stream from scratch on large-scale audio corpora and then trains both streams jointly on paired audio-video data while preserving unimodal fidelity; pretraining is followed by supervised fine-tuning, reinforcement-learning-based post-training, and distillation. In side-by-side human evaluation, Kandinsky 6.0 Video Pro clearly outperforms its predecessor, Kandinsky 5.0 Video Pro, and remains competitive with leading audio-video generation models, outperforming LTX 2.5 and Seedance 2.0 in speech quality. To accelerate open research and deployment in multimedia generation, we release the code, model checkpoints, and diffusers integration under the MIT license.

arXiv:2401.00788v2cs.CL공식 코드 · Papers with Code

Astraios: 코드 대규모 언어 모델의 매개변수 효율적 지시 튜닝

Astraios: Parameter-Efficient Instruction Tuning Code Large Language Models

대규모 언어 모델(LLM)의 전체 매개변수 미세조정(FFT)에 드는 높은 비용으로 인해 일련의 매개변수 효율적 미세조정(PEFT) 방법이 등장하였다. 그러나 모델 규모별로 어떤 방법이 최선의 비용 대비 성능 균형을 제공하는지는 여전히 불분명하다. 본 논문에서는 7가지 튜닝 방법과 최대 160억 매개변수에 이르는 4가지 모델 크기를 사용한 28개의 지시 튜닝 OctoCoder 모델 모음인 Astraios를 소개한다. 코드 이해와 코드 생성 과제를 모두 포괄하는 5개 과제와 8개의 서로 다른 데이터셋에 걸친 조사를 통해, FFT가 모든 규모에서 대체로 최고의 다운스트림 성능을 보이며 PEFT 방법들은 모델 규모에 따라 효과가 크게 다르다는 것을 확인하였다. LoRA는 대체로 비용과 성능 간 가장 유리한 균형을 제공한다. 이러한 방법들이 모델의 견고성과 코드 보안에 미치는 영향을 추가로 조사한 결과, 더 큰 모델일수록 견고성이 낮아지고 보안성도 떨어지는 경향이 있음이 드러났다. 마지막으로 갱신된 매개변수, 교차 엔트로피 손실, 과제 성능 간의 관계를 탐구한다. 작은 모델에서 관찰된 튜닝 효과가 더 큰 모델로 잘 일반화되며, 지시 튜닝의 검증 손실이 전반적인 다운스트림 성능의 신뢰할 만한 지표가 될 수 있음을 확인하였다.

arXiv:2603.05026v4cs.SE

RepoLaunch: 다양한 언어와 플랫폼에 걸친 코드 저장소의 빌드 및 관리 자동화

RepoLaunch: Automating Build and Management of Code Repositories across Languages and Platforms

언어 모델(LM) 에이전트는 자동화된 소프트웨어 공학(SWE)에서 상당한 진전을 이끌었으나, 소프트웨어 저장소를 대규모로 빌드하고 테스트하는 일은 여전히 대체로 수작업에 의존하는 노동집약적 병목으로 남아 있다. 본 연구에서는 다양한 프로그래밍 언어와 운영 체제에 걸쳐 의존성을 자동으로 해결하고, 소스 코드를 컴파일하며, 테스트 결과를 추출하는 새로운 에이전트 프레임워크인 RepoLaunch를 소개한다. RepoLaunch는 78%의 빌드 성공률을 달성하여 Python/Linux만 지원하던 기존 시스템보다 18% 높은 성능을 보인다. 그 응용을 보이기 위해, 과제 설계 단계에서만 사람의 입력을 요구하는, RepoLaunch 기반의 완전 자동화된 SWE 데이터셋 생성 파이프라인도 추가로 제시한다. RepoLaunch는 오픈소스로 공개되어 있으며, 그 자동 과제 생성 파이프라인은 에이전트 벤치마킹 및 학습에 관한 여러 최근 연구에서 채택되었다.

arXiv:2605.10727v2cs.LG

커널 그래디언트 드리프팅 모델

Kernel-Gradient Drifting Models

우리는 드리프팅 모델의 고정된 유클리드 변위 방향을 커널 자체가 유도하는 방향으로 대체하는 단일 단계 생성 모델링 프레임워크인 커널 그래디언트 드리프팅을 제안한다. 표준 드리프팅은 대규모 사전학습 확산 모델을 증류하지 않고도 빠르고 고품질의 생성을 가능하게 하여 매력적이지만, 현재 그 이론은 주로 드리프트가 평활화된 스코어 매칭과 일치하며 식별 가능한 가우시안 커널에 대해서만 이해되어 있다. 우리의 그래디언트 기반 재정식화는 일반 커널에 대해 이러한 스코어 기반 구조를 드러낸다. 즉 결과적인 드리프트는 커널로 평활화된 데이터 분포와 모델 분포 간의 스코어 차이이며, 이로부터 특성(characteristic) 커널에 대한 식별 가능성과 평활화된 드리프팅 동역학의 평활화 KL 하강 해석을 얻는다. 커널 그래디언트는 본질적인 접벡터이므로, 동일한 구성이 리만 다양체와 확률 심플렉스의 피셔-라오 기하를 통한 이산 데이터로 자연스럽게 확장된다. 구면 지리공간 데이터, 프로모터 DNA, 분자 생성 전반에서 커널 그래디언트 드리프팅은 증류 없이 유클리드 설정을 넘어서는 최고 수준의 단일 단계 생성을 가능하게 한다. 코드는 \href{https://github.com/jcarrascopollo/kgd_thesis}{여기}에서 이용할 수 있다.

arXiv:2604.15001v3cs.AI

COEVO: LLM 기반 RTL 코드 생성에서 기능적 정확성과 PPA 최적화를 동시에 달성하기 위한 공진화 프레임워크

COEVO: Co-Evolutionary Framework for Joint Functional Correctness and PPA Optimization in LLM-Based RTL Code Generation

LLM 기반 RTL 코드 생성 방법은 기능적 정확성과 PPA 품질을 모두 목표로 하는 경우가 늘고 있으나, 기존 접근법은 두 목표를 분리하여 완전한 정확성이 달성된 후에야 PPA를 최적화한다. 순차적 다중 에이전트 파이프라인, 이진 정확성 게이트를 둔 진화적 탐색, 계층적 보상 의존성은 모두 부분적으로만 올바르지만 구조적으로 유망한 후보를 버린다. 더욱이 기존 방법은 다목적 PPA 공간을 하나의 스칼라 적합도로 축소하여 면적, 지연, 전력 간의 트레이드오프를 가린다. 이러한 한계를 해결하기 위해, 우리는 정확성과 PPA 최적화를 단일 진화 루프 안에서 통합하는 공진화 프레임워크 COEVO를 제안한다. COEVO는 세밀한 점수 산정을 갖춘 향상된 테스트벤치를 통해 정확성을 면적, 지연, 전력과 함께 연속적인 공동 최적화 차원으로 정식화한다. 이 프레임워크는 PPA 측면에서 유망하지만 부분적으로만 올바른 후보가 탐색을 공동 최적해로 이끌도록 하며, 수동 가중치 조정 없이 PPA 트레이드오프 구조를 보존하기 위해 4차원 파레토 기반 비지배 정렬을 추가로 사용한다. VerilogEval 2.0과 RTLLM 2.0에서 COEVO는 네 가지 LLM 백본 전반에 걸쳐 모든 에이전트 기반 기준선을 능가한다. GPT-5.4-mini를 사용할 때 COEVO는 Pass@1 97.5%와 94.5%를 달성하며, 합성 가능한 RTLLM 2.0 설계 49개 중 43개에서 최고의 PPA를 얻는다.

arXiv:2604.02097v2cs.CV

LatentUM: 잠재 공간 통합 모델을 통한 교차 모달 interleaved 추론의 잠재력 발휘

LatentUM: Unleashing the Potential of Interleaved Cross-Modal Reasoning via a Latent-Space Unified Model

통합 모델(Unified Model, UM)은 이질적인 모달리티에 걸쳐 콘텐츠를 이해하고 생성할 수 있다는 점에서 기대를 모으고 있다. 단순히 시각 콘텐츠를 생성하는 것에 비해, UM을 interleaved 교차 모달 추론에 활용하는 것은 더욱 유망하고 가치가 크다. 예를 들어 밀도 높은 시각적 사고가 필요한 이해 문제를 해결하거나, 자기 성찰을 통해 시각 생성을 개선하거나, 단계별 행동 개입에 따라 물리 세계의 시각적 동역학을 모델링하는 경우가 이에 해당한다. 그러나 기존 UM은 이해와 생성을 위한 시각 표현이 서로 분리되어 있을 때 대개 픽셀 디코딩을 가교로 사용하는데, 이는 비효율적이며 계산 부담도 크다. 본 논문에서는 모든 모달리티를 공유된 의미적 잠재 공간에서 표현하여, 생성된 시각 상태에 대한 모델 내부 추론에서 픽셀 공간 매개를 제거한 새로운 통합 모델 LatentUM을 제안한다. LatentUM은 생성된 시각 토큰을 모델 자신이 직접 해석할 수 있게 함으로써 유연한 interleaved 교차 모달 추론과 생성을 가능하게 한다. 실험적으로 LatentUM은 Visual Spatial Planning 벤치마크에서 최고 성능을 달성하고, 자기 성찰을 통해 시각 생성의 한계를 끌어올리며, 공유된 의미적 잠재 공간에서 미래의 시각 상태를 예측함으로써 세계 모델링 능력을 보여 준다. 코드와 모델은 https://github.com/SJTU-DENG-Lab/LatentUM 에서 확인할 수 있다.

arXiv:2601.22230v2cs.LG

JURIST: 코드 생성의 테스트 시점 확장을 위한 데이터 재가중 소형 추론 판정 모델 학습

JURIST: Training Small Data-Reweighted Reasoning Judges for Test-Time Scaling in Code Generation

코드 생성에서의 Best-of-N 선택은 후보들 중에서 고르는 판정 모델의 성능에 좌우되며, 이 역할을 할 만큼 정확한 판정 모델은 비용이 큰 최첨단 LLM이다. 소형 판정 모델은 단위 테스트로 레이블링된 풍부한 과거 데이터로 학습할 수 있지만, 실제로는 더 새로운 문제에 배포된다. 과거 문제는 더 쉬워 배울 것이 적고, 과제 구성이 다르며, 후보가 더 약한 정책에서 나온 반면, 배포 환경에 가까운 데이터는 부족하다. 본 논문은 배포 환경에 가까운 소규모 메타 집합을 사용하여 각 과거 학습 샘플이 얼마나 반영되어야 하는지를 학습하는 1.7B 추론 판정 모델 JURIST를 제안한다. 실험 결과, 메타 집합만으로 학습하거나 이를 학습 데이터에 추가하는 것은 도움이 되지 않는 반면, 이중 수준(bi-level) 목적함수를 통해 과거 데이터에 가중치를 부여하는 데 사용하면 학습 데이터에 추가하는 것보다 Hard 점수가 3.9점 향상된다. LiveCodeBench에서 JURIST는 전체 84.7%에 도달하고 Hard 문제(73.8%)에서 Claude Sonnet 4.6과 대등한 성능을 463배 낮은 비용으로 달성하며, BigCodeBench에서는 모든 테스트 시점 확장 기준선(35.9%)을 능가한다. 따라서 배포에 정렬된 소규모 메타 집합의 안내를 받은 풍부한 과거 데이터로, 낮은 비용으로 정확하게 선택하는 소형 판정 모델을 학습할 수 있다.

arXiv:2611.16217v2cs.CV

WorldDraft: 코드가 세계를 만든다면, 비디오 모델은 그것을 렌더링하기만 하면 되는가?

WorldDraft: If Code Builds the World, Can Video Models Just Render It?

멀티모달 코딩 에이전트는 4D 세계 구성을 시각 생성과 분리하여, 비디오 모델의 역할을 세계 생성기에서 생성적 렌더러로 전환한다. 이러한 역할 분담은 근본적인 질문을 제기한다. 코드가 세계를 만든다면, 비디오 모델은 그것을 렌더링하기만 하면 되는가? 신뢰할 수 있는 생성적 렌더러는 두 가지 상호 보완적인 기준에 달려 있다. (i) 규정된 4D 운동학과 카메라 경로를 유지하는 세계 보존, (ii) 텍스트로 지정된 대상 속성을 시간에 걸쳐 지속적으로 결합하는 시각적 구현이다. 이 능력을 평가하기 위해 우리는 여섯 가지 동적 난이도 범주에 걸친 48개의 실행 가능한 4D 세계 계열에서 엄격하게 짝지어진 $432$개의 테스트 케이스로 구성된 벤치마크 WorldDraft를 소개한다. $3 \times 3$ 요인 설계 하에서 WorldDraft는 동일한 동역학 아래 초안의 세분성(추상적 프록시에서 프리비즈까지)과 외형 정렬(중립에서 상충까지)을 직교적으로 교차시킨다. $12$개의 대표 모델에 대한 광범위한 평가는 다음을 보여 준다. (I) 세계 보존과 시각적 구현은 여전히 운용상 뚜렷한 긴장 관계에 있다. (II) 더 풍부한 초안 스캐폴딩은 구조를 고정하지만 역설적으로 외형 충실도를 해친다. (III) 상충하는 소스 단서는 심각한 소스 누출(최대 $64\%$)을 유발하여 취약한 교차 모달 분리를 드러낸다. 이러한 병목을 완화하기 위해 우리는 고정된 비디오 렌더러 전반에서 두 목표를 모두 일관되게 개선하는 플러그 앤 플레이 방식의 시각적 프롬프팅 전략인 WorldDraft-Primer를 제안한다. WorldDraft와 WorldDraft-Primer는 함께 프로그램 기반 4D 시뮬레이션과 비디오 생성을 연결하는 토대를 마련하며, 물리적으로 근거 있는 생성적 렌더링을 발전시킨다.

arXiv:2609.36685v2cs.CV

의미가 중요할 때: 신뢰도를 고려한 의미-리듬 제어 기반 음성 동반 제스처 생성

When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation

음성 동반 제스처 생성은 음성과 시간적으로 동기화되고 발화 내용과 의미적으로 일치하는 자연스러운 제스처를 합성하는 것을 목표로 한다. 최근 방법들은 리듬 면에서 그럴듯한 동작을 생성할 수 있지만, 특히 의미 주석이 불완전하거나 잡음이 있거나 이용할 수 없을 때 음향 운율에 크게 의존하고 텍스트 의미는 충분히 활용하지 못하는 경우가 많다. 그 결과 생성된 제스처는 음성 리듬을 따르면서도 의도된 의미를 표현하지 못할 수 있다. 이 문제를 해결하기 위해 우리는 음성 동반 제스처 생성을 위한 신뢰도 인식 의미-리듬 제어 프레임워크를 제안한다. 먼저 연속적인 제스처를 간결하고 구조화된 모션 코드 공간으로 표현하는 이산 모션 사전 분포를 학습한다. 이어서 전체 멀티모달 브랜치와 오디오 전용 브랜치로 구성된 이중 브랜치 의미 기여도 추정 메커니즘을 도입한다. 두 브랜치 간의 분포적 불일치는 텍스트에 의해 유발되는 예측 영향에 대한 모델 기반 대리 지표를 제공하며, 이는 세그먼트 수준의 의미 관련성과 함께 해석된다. 이 추정을 바탕으로 제어 가능한 의미-리듬 목적 함수는 내용과 관련된 세그먼트에서는 의미 가이던스를 선택적으로 강화하고, 리듬이 지배적인 세그먼트에서는 불필요한 의미적 개입을 제한한다. 나아가 배경 잡음을 음향 신뢰도 조건으로 간주하여, 현실적인 음향 환경에서 생성의 강건성을 높이기 위해 잡음 조건부 특징 변조와 이득 정규화된 잠재 섭동을 도입한다. 벤치마크 데이터셋에서의 실험을 통해 제안한 프레임워크가 의미 표현력, 리듬 동기화, 동작 다양성, 강건성 간의 우수한 균형을 달성하여 신뢰할 수 있고 제어 가능한 음성 동반 제스처 생성을 가능하게 함을 보인다.

arXiv:2609.07276v2cs.IR

모델 인지형 압축 의미 검색을 위한 마트료시카 해시 표현

Matryoshka Hash Representations for Model-Aware Compact Semantic Retrieval

검색 증강 생성(RAG)은 밀집 검색에 의존한다. 각 문서는 학습된 벡터로 저장되고, 질의는 최근접 이웃 탐색으로 처리된다. 문서당 전 정밀도 벡터 하나를 유지하는 것은 코퍼스 규모에서 색인 비용의 대부분을 차지하므로, 시스템은 각 벡터를 몇 바이트의 짧은 코드로 대체한다(양자화). 곱 양자화(PQ)와 같은 표준 양자화기는 원래 벡터를 가장 잘 재구성하는 코드를 선택하지만, 재구성은 검색의 대리 지표일 뿐이다. 문서당 몇 바이트 수준에서는 검색기의 순위 신호로 학습된 모델 인지형 코드가 예산을 더 잘 활용한다. 하나의 코드의 짧은 접두사 각각을 직접 검색할 수 있다면 더욱 유용하며, 이를 통해 코퍼스를 다시 인코딩하지 않고도 배포 환경이 효율-품질 동작점을 설정할 수 있다. 그러나 모든 접두사를 하나의 목적 함수로 학습하면 초기 비트가 여러 예산 사이의 타협물이 되어, 짧은 코드는 개선되지만 전체 길이 코드는 저하된다. 이진 코드는 경사 하강 단계가 저장된 비트를 뒤집거나 그대로 두거나 둘 중 하나이므로 이 충돌을 더욱 심화한다. 우리는 전체 길이 학습과 접두사 구성을 분리하는 2단계 절차인 마트료시카 해시 표현(MHR)을 제안한다. MHR은 먼저 더 긴 이진 코드를 학습한 뒤, 모델을 고정하고 직접 검색 가능한 접두사를 위한 영 초기화 잔차 코드 어댑터를 학습한다. 문서는 좌표당 1비트로 저장되고, 질의는 PQ에서처럼 연속적인 로짓을 유지하며, 검색은 FAISS FastScan에서 실행된다. MS MARCO로 학습하고 7개의 BEIR 데이터셋에 제로샷으로 전이한 결과, 하나의 MHR 코드는 16바이트에서 NDCG@10 0.502, 32바이트에서 0.556에 도달하여, 최고의 압축 기준선의 0.404 및 0.524를 앞선다. 이 이득은 학습 시드, 공개된 13개 BEIR 데이터셋 전체, 그리고 더 강력한 백본을 가진 기성 이진 마트료시카 임베딩에 대해서도 유지된다. 동일한 코드는 재순위화를 위한 후보 선별과 LEANN과 같은 저장 공간이 적은 그래프 색인의 가지치기에도 도움이 된다.

arXiv:2610.07684v2cs.CV

개인화 생성을 위한 주파수 인지 확산 모델에서의 이중 이미지 참조 얽힘 해소

Disentangling Dual Image References in Frequency Aware Diffusion Models for Personalized Generation

개인화 이미지 생성은 참조 이미지를 조건으로 텍스트 기반 이미지를 합성하는 것을 목표로 하며, 주로 전경에는 이미지 커스터마이징을, 배경에는 스타일 전이를 적용하는 방식으로 생성을 구성한다. 기존 확산 모델은 노이즈 제거 과정에서 이미지 커스터마이징 시 배경에, 스타일 전이 시 전경에 텍스트가 정렬되지 않는 문제를 겪는다. 관찰한 바와 같이 이러한 문제는 노이즈 제거 과정에서 혼합된 주파수 대역들이 서로 얽혀 있는 데서 비롯된다. 특히 저주파 대역은 주로 색상 정보를, 중주파 대역은 전역 구조를, 고주파 대역은 국소 질감을 담는다. 또한 초기(높은 노이즈) 노이즈 제거 단계는 주로 저·중주파 대역에 집중하고, 후기(낮은 노이즈) 단계에서는 점차 고주파 대역이 나타나는데, 이들이 모두 합쳐져 텍스트 프롬프트 안내를 압도하여 참조 이미지에 크게 의존하게 된다. 이러한 뚜렷한 한계를 해결하기 위해 본 논문은 커스터마이징 참조와 색상 스타일 참조라는 이중 참조에 기반한 개인화 생성을 연구하며, 주파수 영역에서 마스크 전략으로 서로 다른 주파수 대역을 분리하여 커스터마이징 스타일 전이와 색상 스타일 전이라는 두 핵심 개인화 이미지 생성 과제를 동시에 처리하는, 주파수 인식 확산 모델 내에서 이중 이미지 참조를 분리하는 패러다임인 Dual-FDM을 제안한다. 또한 대체된 주파수 대역의 정보 엔트로피 비율을 계산하여 초기와 후기 단계 사이의 노이즈 제거 시점을 적응적으로 조절한다. 광범위한 실험을 통해 개인화 이미지 생성에서 Dual-FDM이 최신 확산 모델보다 우수함을 검증한다. 코드는 https://github.com/htyjers/Dual-FDM 에서 확인할 수 있다.

arXiv:2602.13585v3cs.CV

Diff-Aid: 정류 텍스트-이미지 생성을 위한 추론 시점 적응형 상호작용 디노이징

Diff-Aid: Inference-time Adaptive Interaction Denoising for Rectified Text-to-Image Generation

최근 텍스트-이미지(T2I) 확산 모델은 놀라운 발전을 이루었으나, 텍스트와 시각 특징 간의 상호작용이 부족하여 복잡한 텍스트 설명을 충실히 따르는 것은 여전히 어렵다. 기존 접근법은 구조 설계나 수작업 텍스트 조건 가중치로 이러한 상호작용을 강화하지만, 유연성이 부족하고 서로 다른 블록과 디노이징 단계에 걸친 동적 상호작용을 간과한다. 이 문제에 대한 더 유연하고 효율적인 해법을 제공하기 위해, 우리는 트랜스포머 블록과 디노이징 시간 단계에 걸쳐 토큰별 텍스트-이미지 상호작용을 적응적으로 조정하는 경량 추론 시점 방법인 Diff-Aid를 제안한다. 생성 품질을 개선하는 것을 넘어, Diff-Aid는 디노이징 중에 서로 다른 블록, 시간 단계, 텍스트 토큰이 의미 정렬에 어떻게 기여하는지를 보여 주는 해석 가능한 변조 패턴을 제공한다. 플러그 앤 플레이 모듈로서 Diff-Aid는 스타일 LoRA, 제어 가능한 생성, 제로샷 편집을 비롯한 하위 응용에 원활하게 통합되어 추가적인 개선을 가져올 수 있다. 강력한 베이스라인(SD 3.5 및 FLUX)에 대한 실험에서 다양한 지표에 걸쳐 프롬프트 충실도, 시각 품질, 인간 선호도가 일관되게 향상됨을 확인하였다. 코드와 모델은 공개될 예정이다.

arXiv:2509.14594v3cs.AI

SynBench: 차등 프라이버시 텍스트 생성을 위한 벤치마크

SynBench: A Benchmark for Differentially Private Text Generation

차등 프라이버시(DP) 보장을 갖춘 합성 텍스트 생성은 재식별 및 멤버십 추론의 위험을 제한하면서 기관과 규제의 경계를 넘어 민감한 데이터셋의 공유를 가능하게 하는 원리적인 접근법으로 부상하고 있다. LLM 기반 방법이 유망한 결과를 보이지만, 평가 설정과 "비공개" 데이터셋이 서로 달라 비교가 어려워지고, 사전 학습 오염 가능성이 고려되지 않으며, 보장이 DP 감사로 검증되지 않는다. 이 분야를 발전시키기 위해, 우리는 표준화된 유용성 및 충실도 지표와 프라이버시 감사를 갖춘 통합 평가 프레임워크를 도입하며, 전문 용어, 장문 맥락 의존성, 특수한 문서 구조와 같은 도메인별 복잡성을 담은 9개의 선별된 데이터셋을 포함한다. 대규모 실증 연구에서 크기가 1~8B인 다양한 LLM 기반 최신 DP 텍스트 생성기를 벤치마킹한다. 결과는 DP 합성 텍스트 생성이 여전히 해결되지 않은 과제이며, 비공개 데이터셋이 생성기의 사전 학습 코퍼스에서 멀어질수록 품질이 더 크게 저하됨을 보여준다. 분석에 따르면 LLM이 생성 대상인 "비공개" 데이터의 일부에 대해 DP 없이 사전 학습된 경우 합성 데이터 품질이 과대평가될 수 있으며, 합성 텍스트에 대한 우리의 멤버십 추론(MIA) 감사 설정은 엄격한 프라이버시 예산 하에서도 측정 가능한 멤버십 신호를 드러낸다. 마지막으로, "공개 사전 학습, 비공개 생성" 패러다임에서는 명목상의 $(\varepsilon,\delta)$ 보장이 사전 학습 중의 노출을 반영하지 않음을 지적하며, 이는 DP 합성 텍스트 생성에 대한 오염 인지 평가의 필요성을 뒷받침한다. 코드와 데이터 분할: https://github.com/ImperialGlobalSingapore/synbench

arXiv:2611.06781v2cs.CV

수어 생성을 위한 의미적 잔차 벡터 양자화

Semantic Residual Vector Quantization for Sign Language Generation

수어 생성(SLG)은 문장을 어휘 내용과 세밀한 조음을 모두 보존하는 수어 동작으로 변환한다. 이를 위해 모델은 어떤 수어를 표현해야 하는지를 결정하고, 정밀한 손 모양, 궤적, 얼굴 표정, 신체 협응을 통해 이를 구현해야 한다. 기존의 포즈 기반 시스템과 복원 전용 동작 토크나이저는 이 두 결정을 뒤섞는 경우가 많아, 생성기가 어떻게 수어로 표현할지를 다듬기 전에 무엇을 수어로 표현할지에 대해 텍스트와 정렬된 명시적 중간 목표를 갖지 못한다. 이 문제를 해결하기 위해 본 논문은 생성을 의미에서 운동학으로 나아가는 2단계 과정으로 구성하는 SLG 프레임워크인 의미적 잔차 벡터 양자화(SRVQ)를 제안한다. 새로 도입한 SRV 양자화기는 첫 번째 잔차 수준이 수어 내용을 인코딩하고 이후 수준들이 포즈, 손 모양, 궤적, 신체 협응을 정제하는 계층 구조를 학습하며, 이 모든 과정이 별도의 의미 표현이나 외부 계획 단계 없이 하나의 양자화기 안에서 이루어진다. 계층적 코드 생성을 위한 단어 인식 조건화를 통해, 마스킹된 의미 생성기가 의미 코드를 예측하고 운동학 생성기가 잔차 코드를 완성하여 전체 SMPL-X 동작을 합성한다. 평가는 공유된 텍스트-동작 임베딩 공간에서의 검색 및 FID와 함께 표준 기하학적 지표를 사용하여 수행한다. CSL-Daily와 Phoenix-2014T에서 SRVQ는 각각 R@1 82.3과 70.3을 달성하여 기존 최고 성능을 30점, 46점 앞선다.

arXiv:2607.21609v2cs.AI

HierFlow: 자동 에이전트 워크플로 생성을 위한 계층적 결합 이중 공간 탐색

HierFlow: Hierarchical Coupled Dual-Space Search for Automatic Agentic Workflow Generation

구조화된 워크플로우는 대규모 언어 모델(LLM)이 복잡한 문제를 해결할 수 있게 해주지만, 이를 자동으로 생성하는 것은 방대한 조합적 탐색 공간으로 인해 심각하게 저해되며, 이는 종종 유연하지 않고 자원을 많이 소모하는 오프라인 학습 의존성을 초래한다. 이를 해결하기 위해, 우리는 워크플로우 생성을 상위 토폴로지 층이 하위 작업 경계를 규정하고 하위 수준의 실행 결과가 토폴로지 자체를 능동적으로 재형성하는, 토폴로지와 실행이 맞물린 탐색 패러다임으로 개념화한다. 이 기반 위에서, 우리는 피드백 기반 토폴로지 조정과 하위 워크플로우 최적화를 위한 빠른 MCTS(Monte Carlo Tree Search) 기반 트리 탐색을 결합하여 에이전트형 워크플로우 설계를 자동화하는, 학습 불필요·테스트 시점 계층적 탐색 아키텍처인 HierFlow를 제안한다. HierFlow는 맥락적 필요에 따라 실행 수준 탐색을 선택적으로 트리거하는 지능형 게이팅 모듈을 통해 효율성을 극대화하며, 우리는 작업 간 결합 정도가 계층적 분할의 효과에 미치는 영향을 상세히 분석함으로써 이 메커니즘을 추가로 뒷받침한다. 질의응답, 수학적 추론, 코드 생성 벤치마크에 걸친 종합적인 테스트는 HierFlow가 강력한 베이스라인을 지속적으로 능가하며, 추가 학습 부담 없이 고품질 결과와 계산 효율성의 최적 균형을 제공함을 확인한다.