PyTorchKR Papers

최신 논문

총 9,642편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26796v1cs.CL

Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs

확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.

arXiv:2609.26638v1cs.CL

확산 모델이 초안을 작성하고 자기회귀 모델이 검증한다: 자기-투기적 디코딩을 통한 문서 OCR 가속

Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

자기회귀(AR) OCR 비전-언어 모델은 문서 이미지를 텍스트와 구조화된 마크업으로 정확하게 변환하지만, 출력 토큰당 하나의 순차적 디코딩 단계를 필요로 하여 추론(inference) 속도가 제한됩니다. 자유형 텍스트 생성과 달리 OCR 출력은 입력 이미지에 강력하게 그라운딩(grounding)되어 있어, 확산(diffusion) 기반 병렬 생성이 유망합니다. 그러나 하나의 확산 단계에서 여러 토큰이 예측될 때, 각 토큰은 다른 토큰들을 알기 전에 예측됩니다. 따라서 이를 직접 확정(commit)하면 오류가 발생할 수 있습니다. 이에 따라 우리는 병렬 초안 작성(drafting)과 인과적 AR 검증을 위해 공동 학습(joint training)된 매개변수 공유 AR-블록-확산 모델인 GravityOCR을 제안합니다. 확정 전에 초안을 검증함으로써 모델은 별도의 초안 작성 네트워크 없이도 라운드당 여러 출력 토큰을 확정할 수 있습니다. 또한 인과적 AR 경로는 시퀀스 및 구조 수준의 OCR 보상을 사용하는 GRPO를 가능하게 하여, 확산 궤적의 가능도(likelihood) 추정을 피하면서 공유된 초안 작성기 매개변수를 업데이트합니다. OmniDocBench v1.6에서 AR 경로 GRPO는 확산 초안 작성 효율성을 저하시키지 않으면서 종합(Overall) 점수를 94.92에서 95.16으로 향상시키며, 최종 모델은 원래 GLM-OCR 점수인 95.48에 근접하게 유지됩니다. SGLang 서빙 배포 환경에서 GravityOCR은 순전파(forward pass)당 평균 9.7개의 출력 토큰을 확정하며, 영역 크롭(region crop)에서 디코드 전용 속도 $3.94\times$ 향상 및 AR 디코딩 대비 $1.32\times$ 엔드투엔드 페이지 처리 가속을 달성합니다.

arXiv:2609.26368v1cs.CL

HySparse2: 이단계 KV 공유 하이브리드 희소 어텐션

HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

장기 지평 및 다중 턴 에이전트는 일반적으로 짧은 액션을 생성하고 도구와 환경으로부터 긴 관측을 처리한다. 이렇게 늘어나는 컨텍스트는 효율적인 prefill, 컴팩트한 KV-cache 저장, 정확한 장문맥 검색을 요구한다. 이를 충족하기 위해 이단계 KV 공유를 갖는 하이브리드 희소 어텐션 아키텍처 HySparse2를 제안한다. 외부 수준에서 KV Bridging은 YOCO 스타일의 self-decoder와 cross-decoder 구조를 채택하되, full-attention 레이어만 연결한다. self-decoder는 하이브리드 슬라이딩 윈도우 어텐션(SWA)을, cross-decoder는 하이브리드 희소 어텐션을 사용한다. cross-decoder의 full-attention 레이어용 KV cache는 self-decoder의 full-attention 레이어 은닉 상태에서 생성된다. 내부 수준에서 HySparse2는 HySparse의 핵심 KV Reuse 설계를 유지하면서 두 가지를 개선한다. 첫째, 더 세밀한 장문맥 검색을 위해 블록 수준 희소성을 토큰 수준 희소성으로 바꾼다. 둘째, 희소 레이어의 별도 SWA 분기를 제거하고, 대신 최근 토큰의 슬라이딩 윈도우를 희소 선택에 반드시 포함시킨다. 이 이단계 KV 공유로 cross-decoder의 모든 KV cache를 self-decoder 은닉 상태만으로 구성할 수 있다. 따라서 prefill은 self-decoder 이후 종료되어 cross-decoder 레이어 전체를 건너뛸 수 있다. 80B-A3B MoE 모델에서 HySparse2는 장문맥 검색과 다중 턴 에이전틱 태스크에서 HySparse 및 Hybrid SWA보다 우수하며, prefill 연산과 KV-cache 저장을 크게 줄인다.

arXiv:2609.26182v1cs.CL

모달리티 게이트 딥 어댑터: 기존 출력을 정확히 보존하면서 고정된 임베딩 모델에 모달리티 추가하기

Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation

멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.

arXiv:2609.25537v1cs.CL

LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축

Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference

대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.

arXiv:2609.25028v1cs.CL

QMSum에서 효율적인 질의 중심 회의 요약을 위한 검색된 스팬 학습

Retrieved-Span Training for Efficient Query-Focused Meeting Summarization on QMSum

QMSum은 채점기(scorer)를 제공하지 않아 질의 중심 회의 요약 결과를 비교하기 어렵게 만듭니다. 본 연구에서는 단일 구현 환경에서 15개 시스템을 재채점하거나 생성합니다. 공통 추론 포트를 통해 공개된 406M Fusion-in-Decoder 전문 모델은 제한된 긴 입력에서 2,000단어의 검색된 스팬(retrieved span)으로 전환될 때 6.30 ROUGE-1의 손실을 보입니다. 이러한 스팬 체제에서 모델을 미세조정하면 해당 손실이 회복됩니다. 테스트 셋에서 이 모델은 36.33 ROUGE-1을 기록하여 본 연구의 1.2B 시스템의 35.41과 비교되며, 그 차이에 대한 회의 군집 95% 신뢰구간은 [-0.27, +2.22]로 나타나 QMSum상에서 통계적으로 유의미하게 구분되지 않습니다. 더 작은 시스템은 전체 파라미터를 약 3분의 1만 사용하며 최대 추론 메모리는 절반 미만으로 사용합니다. 고정된 1.2B 베이스 내에서는 스팬 체제 미세조정으로 5.29 [+4.02, +6.56]가 향상되는 한편, 트랜스크립트 앞부분 4,500단어를 검색된 2,000단어로 대체하면 테스트에서 1.55, 검증에서 0.29가 추가됩니다. 별도로 단일 간결한 프롬프트 및 참조 중복 채점기 환경에서 공개된 406M 전문 모델은 5개의 독점 호스팅 모델보다 ROUGE-1 기준으로 최소 6.2 이상 앞서지만, 출력 길이와 인간 평가 또는 사실성 평가의 부재로 인해 이러한 순위 매기기에는 한계가 있습니다. 본 결론은 QMSum 및 자동 평가 지표에 국한됩니다.

arXiv:2601.21262v4cs.CL

CausalEmbed: 시각 문서 임베딩을 위한 잠재 공간에서의 자기회귀 멀티벡터 생성

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding

멀티모달 대규모 언어 모델(MLLM)은 고품질 멀티벡터 임베딩을 생성함으로써 시각 문서 검색(Visual Document Retrieval, VDR)에서 놀라운 잠재력을 보여 왔지만, 한 페이지를 수천 개의 시각 토큰으로 표현하는 데서 발생하는 막대한 저장 오버헤드가 실제 응용에서의 활용성을 제한한다. 이러한 문제를 해결하기 위해 우리는 멀티벡터 임베딩을 구성하는 자기회귀 생성 방식인 CausalEmbed를 제안한다. CausalEmbed는 대조 학습 과정에서 반복적 마진 손실(iterative margin loss)을 도입하여 임베딩 모델이 간결하고 구조가 잘 잡힌 표현을 학습하도록 유도한다. 우리의 방법은 수십 개의 시각 토큰만으로도 효율적인 VDR 작업을 가능하게 하며, 다양한 백본과 벤치마크에서 매우 경쟁력 있는 성능을 유지하면서 토큰 수를 30~155배 감소시킨다. 이론적 분석과 실험 결과는 학습 효율성과 테스트 시점의 확장성 측면에서 자기회귀 임베딩 생성이 갖는 고유한 장점을 보여 준다. 그 결과 CausalEmbed는 멀티벡터 VDR 표현을 위한 유연한 테스트 시점 스케일링(test-time scaling) 전략을 제시하며, 멀티모달 문서 검색에서 생성적 패러다임에 대한 통찰을 제공한다. 코드는 https://github.com/Z1zs/Causal-Embed 에서 확인할 수 있다.

arXiv:2609.24847v1cs.AR

SPECTRA: 런타임 재구성 가능한 타일형 아키텍처 상에서의 추측 디코딩 적응형 실행

SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

엣지 디바이스에서의 LLM 추론은 연산 및 메모리 자원의 제약을 받아, 효율적인 자기회귀적(autoregressive) 디코딩을 어렵게 만든다. 추측 디코딩(speculative decoding)은 더 작은 드래프트 모델(draft model)로 토큰을 생성하고, 배치된 타겟 모델(target model) 패스로 여러 토큰을 병렬로 검증함으로써 이러한 병목을 완화한다. 그러나 검증(verification) 과정은 디코딩에서의 메모리 바운드(memory-bound) 범용 행렬-벡터 곱(GEMV) 연산과 프리필(prefill)에서의 연산 바운드(compute-bound) 범용 행렬-행렬 곱(GEMM) 연산 사이에 런타임에 의존적인 중간 영역(intermediate regime)을 만들어내는데, 이는 산술 강도(arithmetic intensity)가 추측 길이(speculation length)와 수락률(acceptance rate)에 따라 달라지기 때문이다. 우리는 전체 추측 디코딩 파이프라인에 걸쳐 높은 활용률을 유지하는 런타임 재구성 가능한 타일형 아키텍처인 SPECTRA를 제시한다. 각 타일 내에서 연산 엔진은 GEMM을 위한 시스톨릭(systolic) 실행과 GEMV를 위한 벡터 레인(vector-lane) 실행 사이를 전환한다. 타일 간에는 SPECTRA가 타일 개수, 커널 분할(kernel partitioning), 통신 패턴을 선택함으로써 연산 병렬성을 동적으로 적응시킨다. 타일 수준과 시스템 수준의 재구성 모두 커널 단위로 동작하여, 이러한 다양한 영역에서 효율적인 실행을 가능하게 한다. Pythia, SmolLM2, GPT-2 계열에 걸쳐 20개 타일 FPGA 프로토타입에서 평가한 결과, SPECTRA는 고정 설계 대비 타일 수준 재구성으로 최대 $2.09\times$의 속도 향상을, 시스템 수준 적응성으로부터 추가로 $1.25\times$의 향상을 달성한다.

arXiv:2609.22410v1cs.AI

2D 이미지와 세포 집단 통계로부터 3D 생물물리적 세포 특성 학습

Learning 3D biophysical cell properties from 2D images and cell-population statistics

기준 장비가 개별 세포 라벨이 아니라 집단 통계만 보고할 때, 2D 현미경 영상으로부터 3D 세포 특성을 추론하기는 어렵다. 본 연구에서는 단일 2D 적혈구 이미지를 잠재 생물물리량에 매핑하고 이를 평균적혈구용적(MCV), 적혈구 분포 폭(RDW), 평균적혈구헤모글로빈(MCH)으로 집계하는 집단 감독(population-supervised) 프레임워크를 제안한다. 모델은 공유 국소 추론(inference), 부피와 헤모글로빈을 위한 생물물리적으로 구조화된 디코더, 학습된 인스턴스 가중치, 장치별 보정을 결합한다. 집계 관측이 제한된 인스턴스 예측기를 식별하는 조건을 형식화하고, 집단 수준의 일치만으로는 단일 세포 특성이나 3D 기하를 식별할 수 없음을 보이며, 부분집합 평균 매칭(subset mean matching)에 의해 유도되는 분산 페널티를 유도한다. 개발 데이터셋(dataset)은 6대 장치에 걸친 390개 시검체와 1,105회 촬영으로 구성되며, Sysmex 분석기 대비 Pearson 상관계수 0.86–0.98이 보고되었다. 이 프레임워크는 명시적 3D 재구성을 주장하지 않으면서, 2D 이미지와 집단 감독으로부터 3D 세포 생물물리학에 이르는 검증 가능한 경로를 제공한다.

arXiv:2609.16752v2cs.AI

에피소딕 AI를 넘어서: 생물학적으로 영감을 받은 지속적 인지를 위한 인지 필드 네트워크

Beyond Episodic AI: Cognitive Field Networks for Biologically Inspired Persistent Cognition

인지 장 이론(CFT)은 인지가 지속적인 거시적 인지 장(cognitive field)을 생성하는 기억 기반의 집합적 동역학에서 비롯된다고 제안합니다. 본 논문에서는 체계화된 은닉 장이 \[ \Phi_{n+1}=F_{\theta}(X_{n+1},\Phi_n) \] 을 통해 후속 추론(inference)에 다시 진입하는 순환 트랜스포머(recurrent Transformer)인 인지 필드 네트워크(CFN)를 개발합니다. 명시적인 기억 연산을 규정하기보다, CFN은 새로운 정보가 이미 과거 이력에 의존적인 집합적 상태에 작용하도록 합니다. 연구 결과, 학습을 통해 지속적이고 내용에 의존적인 순환 동역학이 체계화되며, 그 시간 척도는 훈련된 순환 지평(horizon)에 따라 체계적으로 증가함을 발견했습니다. 의미론적 연속성은 목표 정답을 재생하지 않고도 순환 상태를 이 지평을 훨씬 넘어 전파합니다. 내용에 특화된 지원이 없으면 장은 유한한 수동적 이완을 보이는 반면, 관련 입력에 주기적으로 재노출되면 잔존 상태가 반복적으로 갱신되어 거의 정적인 비영(nonzero) 영역으로 수렴합니다. 무관한 입력 및 순환 비활성화 대조군은 이러한 거동을 재현하지 못하며, 유사하게 바꾸어 표현한(near-paraphrased) 재노출은 더 약한 갱신을 보여 표현에 민감한 지속성을 입증합니다. 이러한 결과는 세 가지 동역학적 과정을 구분합니다. 집합적 기억 장식이 이력 의존적인 인지 장을 형성 및 유지하고, 구조화된 입력이 이 장을 재구성하며, 주기 간 재진입이 그 결과로 나타난 상태를 후속 추론에서 인과적으로 활용할 수 있게 만듭니다. 따라서 CFN은 별도로 규정된 기억 시스템 없이도 지속적이고 이력에 의존적인 인지 동역학을 연구할 수 있는 통제된 계산 플랫폼을 제공합니다.

arXiv:2609.12551v2cs.DC

RoofLang: AI 주도 LLM 추론 시스템 아키텍처 설계 활성화

RoofLang: Enabling AI-Driven Architecting of LLM Inference Systems

AI가 LLM 추론 최적화에 실질적인 기여를 하기 시작했다. 기존 AI 최적화는 대부분 프로파일링 기반이다. 프로파일링에 묶인 피드백은 탐색을 기존 소프트웨어 스택의 역량과 성능 범위 안으로 한정하여, LLM 추론 시스템의 근본적으로 더 나은 아키텍처가 밝혀지는 것을 막는다. AI 주도 LLM 추론 시스템 아키텍처링 루프를 가능하게 하려면 일반적인 워크로드 표현, 검증 가능한 변이 공간, 구현에 독립적인 평가자가 필요하다고 우리는 주장한다. 우리는 이러한 기능을 제공하는 RoofLang 도메인 특화 언어(DSL)를 제시한다. 평가에서 RoofLang은 DeepSeek V4 시리즈 모델이 다른 대표 모델들보다 3.5–39.5$\times$ 더 높은 최대 디코드 처리량을 달성할 수 있음을 보여준다. 이 격차는 총 매개변수 수와 비례하지 않으며, 더 큰 배치를 지원하고 메모리 트래픽을 줄이는 컴팩트 KV-cache 설계에서 대체로 비롯된다. 지속형 옵티마이저 에이전트는 NVIDIA B300에서 DeepSeek V4 Pro의 처리량과 상호작용성을 모두 6.23–50.1% 개선하는 여러 새로운 아키텍처를 추가로 발견했다.

arXiv:2608.05926v2cs.NI

BALANCE: 네트워크 엣지에서의 하이브리드 자기회귀-추측 LLM 추론

BALANCE: Hybrid Autoregressive-Speculative LLM Inference at the Network Edge

엣지 추론은 차세대 모바일 네트워크에서 대규모 언어 모델(LLM) 추론 서비스를 제공하기 위한 유망한 패러다임이다. LLM 추론은 주로 두 가지 접근에 의존한다. 자기회귀 디코딩(AD)은 출력 토큰을 순차적으로 생성하여 긴 지연을 초래한다. 추측 디코딩(SD)은 소형 언어 모델(SLM)을 사용해 LLM 검증을 위한 여러 초안(draft) 토큰을 생성함으로써 추론을 가속하지만 추가 메모리 비용이 발생한다. 이러한 지연-메모리 트레이드오프로 인해, 제한된 엣지 컴퓨팅 자원 하에서 이질적인 수요를 가진 사용자를 어느 한 접근만으로는 효율적으로 서비스할 수 없다. 이 문제를 해결하기 위해 우리는 엣지 LLM 추론을 위한 하이브리드 자기회귀-추측 추론(BALANCE) 프레임워크를 제안한다. BALANCE에서는 엣지 서버가 SLM과 LLM을 모두 호스팅하고, 사용자를 수용하며, 수용된 각 사용자를 AD 또는 SD 모드에 배정하고 두 모드를 동시에 수행한다. 서비스 가능한 사용자 수를 최대화하기 위해, 사용자 지연 요구사항과 서버 메모리 제약 하에서 사용자 수용과 AD와 SD 간 컴퓨팅 자원 할당을 공동으로 결정하는 작업 처리량(task throughput) 최대화 문제를 수식화한다. 문제가 NP-hard이므로, 원 문제를 두 개의 하위 문제로 변환하고 상수 근사 보장을 갖는 차준 최적(sub-optimal) 해를 구하는 다항 시간 알고리즘을 개발한다. 실험 결과 BALANCE가 기존 AD 및 SD를 일관되게 능가하며 작업 처리량을 크게 향상시킴을 보여준다.

arXiv:2608.03921v3cs.AI

트랜스포머 혁명, 파트 1: 출력-가중치 상호연결을 통한 동적 처리

The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections

본 연구에서는 트랜스포머(Transformer)의 기능적 아키텍처에 대해 기능적으로 동등한 기계-구조적 기술을 개발함으로써 트랜스포머 추론(inference)을 재해석한다. 토큰(token) 표현의 매개변수화된 변환, 즉 변환 개념(transforming concepts)은 출력-입력 및 출력-가중치 상호연결을 통해 조직된 단순 신경망으로 규명된다. 이러한 재기술은 표준 행렬 기술 방식에서는 두드러지지 않는 조직적 특징(feature)을 명시적으로 드러낸다. 즉, 추론 중에 일부 네트워크의 출력이 다른 네트워크의 가중치(weight), 나아가 변환을 결정한다는 점이다. 이러한 출력-가중치 상호연결은 프롬프트(prompt)에 의존하는 동적 변환을 생성하며 시퀀스 수준 상호작용 동적 병렬 처리(Sequence-level Interactive Dynamic Parallel Processing, SIDPP)를 유발한다. 우리는 동적 매개변수의 수가 프롬프트 길이에 따라 선형적으로 증가하며, 학습(training)을 통해 고정된 정적 매개변수의 수에 필적하거나 이를 초과할 수 있음을 보인다. 우리는 이 현상을 강한 프롬프트 민감도(strong prompt sensitivity)라고 부른다. 철학적으로 이는 트랜스포머에 대한 개념적 관점을 학습을 통해 획득된 정적 구조 중심에서 추론 중 동적으로 구성되는 프롬프트 의존적 변환 또한 작동의 구성적 특징으로 다루는 관점으로 전환시킨다. 최근 GPT-4.5의 튜링 테스트(Turing test) 결과는 이 현상에 대한 행동적 예시를 제공한다. 마지막으로, 출력-가중치 상호연결과 형태학적·기능적으로 대응하는 생물학적 메커니즘을 밝혀 SIDPP의 원리적 신경 구현 가능성을 뒷받침하고 '가설 T(Conjecture T)'를 제안한다. 즉, 인간 신경계가 트랜스포머와 유의미하게 유사한 기능적 아키텍처를 구현하고 있을 수 있다는 점이다.

arXiv:2606.17317v2cs.RO

우주 매니퓰레이터를 이용한 회전 객체에 대한 실행 가능하고 최적인 터미널 접근을 위한 트랜스포머 기반 웜 스타트

Transformer-Based Warm-Starting for Feasible and Optimal Terminal Approach to Tumbling Objects with Space Manipulators

우주 매니퓰레이터로 회전하는 객체를 자율 포착하려면 실시간 온보드 제약 하에서 궤적 생성이 필요하다. 그러나 결합된 버스-암(bus-arm) 동역학, 회전하는 안전 기하, 가시성 요구사항 때문에 기본 최적화(optimization)는 매우 비볼록(nonconvex)해져 해석 비용이 크고 초기화(initialization)에 민감하다. 본 논문은 2단계 순차 볼록 프로그래밍(SCP, sequential convex programming) 프레임워크에서 계산적으로 지배적인 자세-매니퓰레이터(attitude-manipulator) 단계를 위한 인과적(causal) 트랜스포머 웜 스타트를 제안한다. 임베드 하드웨어에서 평가한 300개의 홀드아웃(held-out) 시나리오에서, 학습된 웜 스타트는 수치적 실행 가능성(feasibility)을 유지하고 최종 제어 비용을 맞추면서 2단계 SCP의 반복 횟수를 최대 32%, 실행 시간을 16% 줄였다. 또한 action-chunk 길이와 학습(training) 데이터셋(dataset) 크기에 걸쳐 선형(linear)과 flow matching 액션 디코더를 비교했으며, flow matching 디코더가 선형 디코더보다 더 강한 학습 데이터 효율을 보였다. SCP를 실행 가능성(feasibility) 기준으로 종료하면 실행 시간이 더 줄어들며, 학습된 사전(prior)은 휴리스틱 초기화(heuristic initialization)에서 관측된 심각한 고비용 꼬리(high-cost tail)를 억제한다. 이러한 결과는 학습된 웜 스타트가 온보드 최적화 비용을 줄이면서 SCP를 실행 가능하고 저비용 해를 포함하는 유역(basin)으로 유도할 수 있음을 보여준다.

arXiv:2601.08450v2cs.SD

자기회귀 음성 합성에서 디코딩 순서의 중요성

Decoding Order Matters in Autoregressive Speech Synthesis

자기회귀(autoregressive) 음성 합성은 흔히 좌에서 우(left-to-right) 순서를 채택하지만, 생성 순서는 모델링 선택 사항 중 하나입니다. 본 연구에서는 위치의 마스크를 점진적으로 해제하여 학습(training) 및 추론(inference) 과정에서 임의의 디코딩 순서를 허용하는 마스크드 디퓨전(masked diffusion) 프레임워크를 통해 디코딩 순서를 조사합니다. 항등 순열과 무작위 순열 사이를 보간함으로써, 디코딩 순서의 무작위성이 음성 품질에 영향을 미친다는 것을 보여줍니다. 더 나아가 \texttt{l2r} 및 \texttt{r2l}과 같은 고정 전략을 Top-$K$와 같은 적응형 전략과 비교하여, 지배적인 좌에서 우 방식을 포함한 고정 순서 디코딩이 차선책이며 적응형 디코딩이 더 나은 성능을 낸다는 점을 발견했습니다. 마지막으로 마스크드 디퓨전은 이산적(discrete) 입력을 필요로 하므로 음향 표현을 양자화(quantization)하였으며, 1비트 양자화만으로도 상당히 고품질의 음성을 지원할 수 있음을 확인했습니다.

arXiv:2601.06352v3cs.AI

CARD: 개인화 텍스트 생성을 위한 보상 유도 디코딩 기반 클러스터 수준 적응

CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

대규모 언어 모델(LLM)을 개별 사용자에 맞게 적응시키는 것은 세밀한 개인화와 확장 가능한 배포 사이의 긴장 때문에 여전히 어렵다. 우리는 점진적 정교화를 통해 효과적인 개인화를 달성하는 계층적 프레임워크인 CARD를 제안한다. CARD는 먼저 공유된 스타일 패턴에 따라 사용자를 클러스터링하고 그룹별 LoRA 어댑터를 학습하여, 견고한 일반화와 저자원 환경에서의 강한 성능을 가능하게 한다. 각 클러스터 내 개인 차이를 포착하기 위해, 사용자가 작성한 텍스트와 클러스터 수준 생성물을 대조하는 암시적 선호 학습 메커니즘을 제안하여, 모델이 수동 주석 없이 사용자별 스타일 선호를 추론할 수 있게 한다. 추론 시 CARD는 기본 모델을 고정한 채, 경량 사용자 선호 벡터와 저랭크 로짓 보정을 통해 디코딩 단계에서만 개인화를 주입한다. LaMP 및 LongLaMP 벤치마크 실험에서 CARD는 기준선 대비 우수한 생성 품질을 달성하면서, 실용적 개인화 텍스트 생성을 위한 효율성과 확장성을 크게 개선함을 보여준다.

arXiv:2609.24095v1cs.CV

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2609.23715v1cs.CV

멀티모달 대규모 언어 모델의 시각적 토큰 가지치기를 위한 층 인식 위치 임베딩

Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 이미지를 표현하기 위해 수백 개의 시각적 토큰에 의존하기 때문에 상당한 계산 오버헤드를 발생시킵니다. 토큰 가지치기(token pruning)는 MLLM의 추론(inference) 비용을 줄이기 위한 유망한 접근법으로 부상했으나, 기존 방법들은 일반적으로 희소(sparse) 또는 연속적(continuous) 위치 임베딩(position embedding)을 사용하여 유지된 토큰에 위치 임베딩을 재할당하며, 각각 고유한 한계를 야기합니다. 희소 위치 임베딩은 시각적 토큰에 할당되는 어텐션(attention) 값을 감소시키는 경향이 있어 MLLM의 인식 능력을 저하시키는 반면, 연속적 위치 임베딩은 시각적 토큰의 원래 공간적 대응 관계를 왜곡하여 그라운딩(grounding) 능력을 약화시킵니다. 이러한 문제를 완화하기 위해 본 논문에서는 언어 디코더에 대한 층별 분석을 수행하고, 중간 층이 토큰 가지치기 상황에서 MLLM의 그라운딩 능력을 유지하는 데 중요한 역할을 한다는 점을 관찰했습니다. 이 관찰을 바탕으로, 그라운딩에 민감한 층에서는 희소 위치 임베딩으로 전환하고 그 외의 층에서는 연속적 위치 임베딩을 유지하는 층 인식(layer-aware) 위치 임베딩 전략을 제안합니다. 대표적인 가지치기 방법들과 다양한 벤치마크에 걸친 광범위한 실험을 통해, 본 접근법이 표준 희소 및 연속적 위치 임베딩과 비교하여 가지치기된 MLLM의 포괄적인 멀티모달 성능을 향상함을 입증합니다.

arXiv:2609.23586v1cs.CV

비디오 생성 모델의 지식 재산권 보호를 위한 효율적이고 효과적인 워터마킹 기법

An Efficient and Effective Watermarking Scheme for the Protection of the Intellectual Property Rights of Video Generative Models

비디오 생성 모델(VGM)의 급격한 발전으로 매우 사실적인 합성 비디오 생성이 가능해졌으나, 동시에 이러한 모델들의 지식 재산권(IPR)에 대한 우려를 낳고 있습니다. 특히 밀접하게 연관된 두 가지 포렌식 과제, 즉 합성 비디오 검증(특정 비디오가 보호 대상 VGM에 의해 생성되었는지 판별)과 모델 소유권 검증(의심되는 VGM이 보호 대상 VGM의 무단 복제본인지 판별)은 여전히 제대로 다루어지지 않고 있습니다. 본 논문에서는 이 두 가지 검증 과제를 해결할 수 있는 새로운 생성 중(in-generation) 워터마킹 기법을 제안합니다. 먼저, 2-스케일 이산 웨이블릿 변환(DWT) 분해와 전역 시간 어텐션 블록(GTAB)을 통합하여 워터마크의 강인성과 비가시성을 강화하는 VidMark라는 새로운 비디오 워터마킹 네트워크를 제시합니다. 둘째로, 디코더 유도 미세조정(fine-tuning) 절차를 제시합니다. 고정된(frozen) VidMark 디코더를 활용함으로써, 이 과정은 VGM이 인지하기 어렵고 강인하며 모델에 특화된 워터마크를 포함하는 비디오를 합성할 수 있도록 합니다. 마지막으로, 합성 비디오 검증과 모델 소유권 검증을 수행하기 위한 두 가지 검증 프레임워크를 구축합니다. 대표적인 VGM들을 대상으로 한 광범위한 실험을 통해 제안된 기법이 비디오 생성 품질에 미치는 영향을 최소화하면서도 두 과제 모두에서 99% 이상의 워터마크 추출 정확도와 100%의 검증 정확도를 달성함을 입증합니다. 또한, 해당 워터마크는 포괄적인 범위의 비디오 수준 및 모델 수준 공격에 대해 강력한 강인성을 나타냅니다.

arXiv:2609.23548v1cs.CV

SewFusion: 재봉 패턴을 위한 위상 및 패널 수준 기하학의 맞춤형 생성

SewFusion: Tailored Generation of Topology and Panel-Level Geometry for Sewing Patterns

이미지와 텍스트로부터 재봉 패턴을 생성하려면 이산적 위상(topology)과 연속적 기하학(geometry)으로 구성된 이종 표현(heterogeneous representation)을 모델링해야 합니다. 기존 방법들은 주로 두 가지 패러다임을 따릅니다. 확산 기반(diffusion-based) 방법은 전체 패턴을 연속적인 표현으로 변환하여 전체적인 기하학 생성을 가능하게 하지만 이산적 위상 모델링을 약화시킵니다. 반면, 자기회귀(autoregressive) 방법은 다음 토큰 예측(next-token prediction)을 통해 이산적 위상을 보존하지만, 연속적 기하학 회귀를 패널 수준의 문맥이 제한된 토큰 수준의 은닉 상태(hidden states)에 결속시킵니다. 이러한 격차를 해소하기 위해, 우리는 이산적 위상과 패널 수준의 연속적 기하학에 대해 맞춤형 생성 메커니즘을 채택하여 전자에는 다음 토큰 예측을, 후자에는 플로우 매칭(flow matching)을 사용하는 통합 자기회귀 프레임워크인 SewFusion을 제안합니다. 패널 수준의 연속적 기하학 생성을 지원하기 위해 가변 길이의 패널 기하학에 대한 고정 크기 잠재 공간(latent space)을 학습하는 Panel Geometry VAE와 잠재 생성을 위한 Panel Geometry Flow를 도입합니다. 나아가 위상 문맥에서의 학습-추론 불일치를 줄이고 위상 예측 오류에 대한 강건성을 향상시키기 위해 Panel-Forcing을 제안합니다. SewFactory 및 GCD-MM에 대한 광범위한 실험은 SewFusion이 다양한 설정에서 기존의 최첨단 방법들을 일관되게 능가하며, 이미지-텍스트 기반 생성 설정에서 패널 정확도(Panel Accuracy) +6.36%, 스티치 정확도(Stitch Accuracy) +11.30%, 정점 L2 오차(Vertex L2 error) -1.90을 달성함을 입증합니다.