arXiv:2606.17409v1 cs.LG

생성형 메커니즘 합성을 위한 이산형 자기회귀 트랜스포머

Discrete Autoregressive Transformer for Generative Mechanism Synthesis

Anar Nurizada, Anurag Purwar

제출 2026-06-16

한국어 초록

평면 경로 합성(planar path synthesis)은 커플러 곡선(coupler curve)이 지정된 궤적과 일치하는 메커니즘을 요구하며, 곡선에서 링키지(linkage)로의 매핑은 4절, 6절, 8절 링키지 위상(topology) 전반에 걸쳐 본질적으로 일대다(one-to-many) 관계입니다. 본 연구는 100만 개 이상의 메커니즘으로 구성된 선별된 말뭉치(corpus)에 대한 시뮬레이션 기반 평가를 통해 이 설계 문제를 다루며, 순기구학(forward kinematics) 및 기하학적 정렬 후 Chamfer 거리와 동적 시간 왜곡(dynamic time warping)을 보고합니다. 합성 과정을 조건부 자기회귀 시퀀스 모델링(conditional autoregressive sequence modeling)으로 공식화하였습니다. 관절 좌표는 토큰으로 균일하게 양자화되며, 목표 곡선의 변분 오토인코더(VAE) 잠재 표현(latent)과 명시적인 메커니즘 유형 토큰을 입력으로 받는 디코더 전용 트랜스포머(transformer)에 의해 생성됩니다. 학습(training)은 토큰 교차 엔트로피(cross-entropy)와 빈(bin) 간의 순서 구조를 반영하는 가우스 스무딩된 빈 보조 손실(loss)을 결합하여 수행됩니다. 추론(inference) 시에는 제한된 잠재 노이즈 스케줄을 사용하여 각 노이즈 수준에서 모든 메커니즘 유형을 디코딩하며, 기하학적 오차가 가장 낮은 상위 5개 후보를 선정하여 데이터셋(dataset) 조회 없이도 다양하고 정확한 메커니즘 계열을 도출합니다. 홀드아웃 테스트(held-out tests) 결과 총 평균 Chamfer 거리는 0.0132, 평균 동적 시간 왜곡은 0.153이었습니다. VAE 공간 내 학습 세트 이웃 잠재 표현을 조건으로 사용하는 잠재 $k$-최근접 이웃($k$-nearest-neighbor) 기준선(baseline)은 동일한 디코더를 사용하여 동일한 위상 구조(matched-topology)에 대해 평균 Chamfer 거리 0.0071 및 평균 동적 시간 왜곡 0.117을 달성했습니다.

원문 초록

Planar path synthesis requires mechanisms whose coupler curves match a prescribed trajectory; the mapping from curve to linkage is inherently one-to-many across four-, six-, and eight-bar topologies. We address this design problem with simulation-grounded evaluation on a curated corpus of over one million mechanisms, reporting Chamfer distance and dynamic time warping after forward kinematics and geometric alignment. We formulate synthesis as conditional autoregressive sequence modeling: joint coordinates are uniformly quantized to tokens and generated by a decoder-only transformer with a variational-autoencoder (VAE) latent of the target curve and an explicit mechanism-type token. Training combines token cross-entropy with a Gaussian-smoothed bin auxiliary loss that respects ordinal structure among bins. At inference, a bounded latent-noise schedule decodes all mechanism types at each noise level; we retain the top five candidates by geometric error, yielding diverse accurate families without dataset lookup. On held-out tests, aggregate mean Chamfer distance is $0.0132$ and mean dynamic time warping is $0.153$; a latent $k$-nearest-neighbor baseline that conditions on training-set neighbor latents in VAE space achieves matched-topology mean Chamfer distance $0.0071$ and mean dynamic time warping $0.117$ using the same decoder.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17409v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23811v3cs.SD공통 태그 Quantization, Decoder

분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성

Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers

Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.

arXiv:2609.03641v2cs.CV공통 태그 Quantization, Decoder

Tree-VQ: 사전학습된 벡터 양자화기 기반 점진적 이미지 압축

Tree-VQ: Progressive Image Compression from Pretrained Vector Quantizers

점진적 이미지 압축(progressive image compression)은 수신된 접두 문맥(prefix)을 원본 소스의 재인코딩 없이 디코딩할 수 있는 단일 임베디드 표현을 필요로 한다. 최신 벡터 양자화(vector-quantized, VQ) 이미지 모델은 강력한 이산 종단점 표현을 제공하지만, 기존의 평면적인 코드워드 인덱스는 신경망 디코더에 의미 있는 중간 상태를 정의하지 못한다. 우리는 Tree-VQ를 제안한다. 이는 사전학습된 평면 VQ 토크나이저를, 인코더 할당과 학습된 모든 리프 벡터를 보존하면서, 세밀하고 임의 접두 문맥(arbitrary-prefix) 기반의 점진적 표현으로 사후 변환(post-hoc conversion)하는 방법이다. 핵심 아이디어는 원본 코드북을 균형 이진 계층 구조로 조직화하고, 내부 노드에 명시적 표현을 연결하며, 분기 결정을 깊이 우선(depth-major) 순서로 전송하는 것이다. 그 결과 이미지 헤더가 확보된 이후에는 모든 페이로드 접두 문맥이 유효한 잠재 상태를 고유하게 지정하게 된다. 즉, 추가되는 분기 비트 하나마다 정확히 하나의 토큰(token)이 정제되며, 따라서 전송은 소수의 단계 경계에서만이 아니라 사실상 임의의 페이로드 위치에서도 절단될 수 있다. 더 나아가 우리는 이러한 임의 절단에서 나타나는 전체 깊이 및 혼합 깊이 잠재 상태에 대해 하나의 공유 디코더를 적응시킴으로써, 이렇게 촘촘하게 배치된 접두 문맥들이 단순히 구문적으로 디코딩 가능할 뿐 아니라 재구성에도 실질적으로 유용하도록 만든다. Kodak 데이터셋에서 Tree-VQ는 ProGIC 대비 DISTS 기반 BD-rate 52.1% 절감을 달성하는 동시에, 단일 임베디드 비트스트림으로부터 수천 개의 유효한 임의 접두 문맥 동작점(operating point)을 제공한다.

arXiv:2610.02800v2cs.AI공통 태그 Quantization, Decoder

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2609.23900v2cs.LG공통 태그 Quantization, Decoder

LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증

LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models

하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.

arXiv:2609.27729v1q-bio.NC공통 태그 Decoder, Variational Inference

인지-정서 신경조절 표적의 in silico 설계를 위한 AI 기반 신경 대리 모델

AI-Driven Neural Surrogates for In Silico Design of Cognitive-Affective Neuromodulation Targets

신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.

arXiv:2609.23548v1cs.CV공통 태그 Decoder, Variational Inference

SewFusion: 재봉 패턴을 위한 위상 및 패널 수준 기하학의 맞춤형 생성

SewFusion: Tailored Generation of Topology and Panel-Level Geometry for Sewing Patterns

이미지와 텍스트로부터 재봉 패턴을 생성하려면 이산적 위상(topology)과 연속적 기하학(geometry)으로 구성된 이종 표현(heterogeneous representation)을 모델링해야 합니다. 기존 방법들은 주로 두 가지 패러다임을 따릅니다. 확산 기반(diffusion-based) 방법은 전체 패턴을 연속적인 표현으로 변환하여 전체적인 기하학 생성을 가능하게 하지만 이산적 위상 모델링을 약화시킵니다. 반면, 자기회귀(autoregressive) 방법은 다음 토큰 예측(next-token prediction)을 통해 이산적 위상을 보존하지만, 연속적 기하학 회귀를 패널 수준의 문맥이 제한된 토큰 수준의 은닉 상태(hidden states)에 결속시킵니다. 이러한 격차를 해소하기 위해, 우리는 이산적 위상과 패널 수준의 연속적 기하학에 대해 맞춤형 생성 메커니즘을 채택하여 전자에는 다음 토큰 예측을, 후자에는 플로우 매칭(flow matching)을 사용하는 통합 자기회귀 프레임워크인 SewFusion을 제안합니다. 패널 수준의 연속적 기하학 생성을 지원하기 위해 가변 길이의 패널 기하학에 대한 고정 크기 잠재 공간(latent space)을 학습하는 Panel Geometry VAE와 잠재 생성을 위한 Panel Geometry Flow를 도입합니다. 나아가 위상 문맥에서의 학습-추론 불일치를 줄이고 위상 예측 오류에 대한 강건성을 향상시키기 위해 Panel-Forcing을 제안합니다. SewFactory 및 GCD-MM에 대한 광범위한 실험은 SewFusion이 다양한 설정에서 기존의 최첨단 방법들을 일관되게 능가하며, 이미지-텍스트 기반 생성 설정에서 패널 정확도(Panel Accuracy) +6.36%, 스티치 정확도(Stitch Accuracy) +11.30%, 정점 L2 오차(Vertex L2 error) -1.90을 달성함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.