한국어 초록
비단조 시퀀스 생성 방법, 예를 들어 마스크드 디퓨전 모델은 토큰이 고정되지 않은 사전 지정 순서로 생성되도록 허용함으로써 좌에서 우로 진행하는 자기회귀 모델링에 대한 유연한 대안을 제공합니다. 이러한 실용적 장점에도 불구하고, 기존의 대부분 비단조 모델은 순서 비의존적이며 고정 길이 그리드에 의존하므로, 가변 길이 생성과 적응형 삽입 순서를 지원하는 능력이 제한됩니다. 본 연구에서는 가변 길이 삽입 모델에서의 삽입 순서를 학습하기 위한 확률적 프레임워크를 제안합니다. 우리는 삽입 궤적과 순열 사이의 전단사 대응을 정식화하여, 데이터 우도를 순열의 합으로 정확히 재매개변수화할 수 있음을 보입니다. 이 결과를 바탕으로, 어디에 삽입할지, 무엇을 삽입할지, 그리고 언제 종료할지를 공동으로 학습하는 확률적 생성 모델인 삽입 프로세스(Insertion Process, IP)를 제안하며, 이는 순열 기반 변분 추론으로 학습됩니다. 기존의 고정 캔버스 접근법과 달리, IP는 본질적으로 가변 길이 생성을 지원하고 삽입 순서에 대한 데이터 기반 선호를 학습합니다. 목표 조건부 계획과 분자 문자열 생성에서의 실험은 삽입 순서를 학습하는 것이 정형화된 좌에서 우로의 구조가 없는 도메인에서 모델링 품질과 일반화 성능을 모두 향상시킴을 보여줍니다.
요약
비단조 시퀀스 생성(non-monotonic sequence generation)은 토큰을 반드시 왼쪽에서 오른쪽으로만 채우는 자기회귀 모델링(left-to-right autoregressive modeling)의 제약을 넘어, 생성 순서를 유연하게 다룰 수 있다는 점에서 중요한 대안으로 주목받아 왔습니다. 그러나 기존의 많은 삽입 기반 생성(insertion-based generation) 또는 마스크 확산(masked diffusion) 계열 방법은 순서에 둔감한(order-agnostic) 설계와 고정 길이 그리드(fixed-length grid)에 의존하는 구조를 유지해, 길이가 가변적인 문제나 데이터에 따라 삽입 순서가 달라져야 하는 상황을 충분히 반영하지 못했습니다. 이러한 한계를 넘어, 이 연구는 삽입 궤적(insertion trajectory)과 순열(permutation) 사이의 전단사 대응(bijective correspondence)을 정식화함으로써, 삽입 과정을 순열 공간 위에서 정확하게 다룰 수 있는 확률적 틀을 제시합니다. 이를 통해 데이터 우도를 단순한 경로 추적이 아니라 순열들의 합으로 재매개변수화할 수 있게 되었고, 생성 순서 자체를 학습 가능한 잠재 구조로 해석할 수 있게 되었습니다. 이 이론적 정식화를 바탕으로 제안된 Insertion Process(IP)는 어디에 삽입할지(where to insert), 무엇을 삽입할지(what to insert), 그리고 언제 종료할지(when to terminate)를 하나의 확률적 생성 모델 안에서 동시에 학습합니다. 특히 이 모델은 삽입 순서를 미리 고정하거나 사람이 설계한 규칙에 맡기지 않고, 순열 기반 변분 추론(variational inference)을 통해 데이터로부터 적절한 삽입 순서를 직접 학습한다는 점에서 기존 접근과 구별됩니다. 다시 말해, 생성 과정의 중간 단계가 단순한 구현 세부가 아니라, 모델이 학습해야 할 핵심 확률 변수로 승격됩니다. 또한 가변 길이 생성을 자연스럽게 지원하므로, 고정된 캔버스를 채우는 방식보다 더 유연하고 표현력 있는 생성이 가능합니다. 종료 처리 측면에서도 이 논문은 중요한 단순화를 보여 줍니다. 기존의 정책 기반 종료(policy-based termination)는 별도의 종료 헤드와 손실 전환을 필요로 하여 학습 구조가 복잡해지는 반면, 여기서는 종료를 End-of-Sequence(EOS) 토큰 예측으로 흡수하는 분류 기반 종료(classifier-based termination)를 사용합니다. 이 방식은 증강된 증거 하한(augmented Evidence Lower Bound, ELBO)을 통해 정리되며, 종료 항이 사실상 일반적인 예측 문제의 일부로 통합되도록 만듭니다. 그 결과 학습 목적이 단순해질 뿐 아니라, 종료 시점에 대한 변분 분포도 안정적으로 다룰 수 있어 샘플 효율과 최적화 안정성이 함께 향상됩니다. 실험에서는 goal-conditioned planning과 molecular string generation이 사용되었으며, 두 과제 모두 명확한 좌에서 우로의 생성 구조가 본질적이지 않다는 공통점을 가집니다. 이런 환경에서 IP는 데이터 주도적 삽입 선호도를 학습하여 모델링 품질과 일반화를 동시에 개선하는 모습을 보입니다. 특히 분자 문자열 생성처럼 순서의 자의성이 큰 문제에서는, 삽입 순서를 학습하는 접근이 단순히 토큰을 채우는 것보다 더 나은 구조적 이해를 제공할 수 있음을 보여 줍니다. 종합하면, 이 연구는 삽입 기반 생성의 순서를 부차적인 구현 요소가 아니라 확률적으로 학습해야 할 핵심 대상으로 재해석함으로써, 가변 길이 생성과 비단조 구조 학습을 하나의 일관된 변분적 프레임워크로 통합한 의미 있는 진전을 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.