PyTorchKR Papers

최신 논문

총 9,642편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22455v4cs.CL

Apollo Restore: 고대 그리스어 텍스트의 Fill-in-the-Middle 복원에 최적화된 역사적 그리스어용 기반 대규모 언어 모델

Apollo Restore: A Foundation LLM for Historical Greek Optimized for Fill-in-the-Middle Restoration of Ancient Greek Texts

본 논문에서는 단편적인 고대 그리스어 텍스트의 결손(lacunae, 물리적 공백)을 복원하기 위한 240억 개 매개변수(parameter) 대규모 언어 모델(LLM)인 Apollo Restore를 소개합니다. Fill-in-the-middle 목표로 Mistral Small을 파인튜닝(fine-tuning)한 Apollo Restore는 결손 길이에 대한 오라클(oracle) 지식 없이도 누락된 구간을 재구성합니다. 우리가 아는 한, 이는 역사적 그리스어를 위한 최초의 대규모 디코더 모델이자 고대 지중해 언어를 통틀어 최초의 모델입니다. 선행 연구와 동일하게 최대 10자의 짧은 결손에 대해 평가했을 때, Apollo Restore는 문서 파피루스, 문학 파피루스, 석문 비문 결손의 80.6%/54.6%/61.0%에서 올바른 복원 결과를 상위 20개 후보 안에 올렸으며, 발표된 가장 강력한 모델들을 $1.6\times$/$2.6\times$/$1.4\times$ 능가했습니다. 그러나 기존 평가 프로토콜은 사소하게 짧은 결손 쪽으로 쏠린 바이어스(bias)로 인해 점수를 부풀립니다. 길이 균형 메트릭에서 발표된 가장 강력한 모델 대비 Apollo Restore의 우위는 $2.3\times$/$3.5\times$/$1.6\times$로 증가하며, 부정확한 길이 힌트가 주어지더라도 성능이 완만하게 저하됩니다. 블라인드 연구에서 파피루스학, 비문학, 문헌학 전문가 20명은 가장 강력한 기준선(baseline)보다 Apollo Restore를 강하게 선호했으며, 77%의 사례에서 그 성능이 인간의 복원만큼 우수하다고 판단했습니다. 또한 Apollo Restore는 서기 79년 베수비오 화산 폭발로 탄화되어 Apollo Restore의 학습(training) 데이터가 구축된 이후 디지털 방식으로 펼쳐지고 편집된 파피루스 두루마리인 PHerc. 1667의 발표된 판독 결과를 개선합니다. Apollo Restore는 오스트리아 과학 아카데미가 주도하는 역사적 언어 및 필사본 특화 LLM 구축을 위한 Decoding Antiquity 이니셔티브의 결과물입니다.

arXiv:2605.27813v2cs.CV

확산 모델 해석을 위한 잔차화된 시간 희소 오토인코더

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models

텍스트-이미지 확산 모델(diffusion model)은 반복적인 노이즈 제거(denoising)를 통해 이미지를 생성하므로, 내부 레이어는 단일 정적 표현이 아닌 활성화 궤적을 생성합니다. 최근 희소 오토인코더(SAE)를 사용하여 확산 활성화를 해석 가능한 특징(feature)으로 분해하려는 시도가 있었지만, 대부분의 접근법은 전체 궤적으로부터 학습하기보다는 개별 타임스텝을 분석하거나 시간에 조건을 부여합니다. 전체 궤적에 대해 하나의 SAE를 학습시키면 각 특징이 타임스텝 전반에 걸친 단일 궤적이 되지만, 인접한 활성화는 서로에 대해 대부분 선형적으로 예측 가능하므로 이러한 SAE는 단계마다 계속 이어지는 내용에 잠재 변수(latent)를 소모하게 됩니다. 본 연구에서는 이웃한 타임스텝 사이에 선형 예측기를 적합시키고 초기 활성화 및 이러한 동역학으로 설명되지 않는 잔차로 각 궤적을 표현하는 잔차화된 시간 SAE(ReSAE)를 소개합니다. 이 표현에서 SAE를 학습하는 것은 선형 동역학에 의해 유도된 메트릭 하에서 원본 궤적에 대해 학습하는 것과 동등하며, 선형적으로 예측 가능한 범위를 넘어서는 구조를 잠재 변수가 포착하도록 유도합니다. 각 잠재 변수의 디코더 방향은 노이즈 제거 시간에 걸친 특징 궤적으로서 활성화 공간에 다시 매핑됩니다. Stable Diffusion 1.5와 Diffusion Transformer 전반에서 ReSAE 특징은 전체 궤적에 걸쳐 나타나는 동시에 변화가 궤적에 유입되는 시점을 정확히 짚어내므로, ReSAE는 확산 모델이 시간에 따라 이미지를 생성하는 방식을 연구하는 데 자연스러운 도구가 됩니다.

arXiv:2605.09492v3cs.CL

APCD: 신뢰할 수 있는 대규모 언어 모델 생성을 위한 적응형 경로 대조 디코딩

APCD: Adaptive Path-Contrastive Decoding for Reliable Large Language Model Generation

신뢰할 수 있는 텍스트 생성은 특히 의료와 같은 고위험 영역의 실제 응용 분야에 대규모 언어 모델(LLM)을 배포하는 데 매우 중요합니다. 사실적 신뢰성을 향상시키기 위해 토큰 확률 분포를 수정하는 로짓(logit) 수준 방법과 중간 모델 표현을 조작하는 표현 수준 방법을 포함하여 다양한 추론 시점 기법들이 제안되었습니다. 그러나 대부분의 기존 접근 방식은 단일 디코딩 궤적에서 작동하므로 대안적 추론 경로를 탐색하는 능력이 제한되며 오류 누적에 취약합니다. 이러한 한계를 해결하기 위해 본 논문에서는 모델 재학습이나 미세조정(fine-tuning) 없이도 사실적 신뢰성을 향상시키는 적응형 다중 경로 대조 디코딩 프레임워크인 APCD(Adaptive Path-Contrastive Decoding)를 제안합니다. APCD는 두 가지 핵심 구성 요소로 이루어져 있습니다. 즉, 불확실성이 높은 결정 시점에서만 디코딩 과정을 적응적으로 확장하는 엔트로피 기반 경로 확장(Entropy-Driven Path Expansion)과, 다양성과 일관성의 균형을 맞추기 위해 분포 발산(divergence)에 기반하여 병렬 디코딩 경로 간의 대조적 상호작용을 동적으로 조절하는 발산 인식 경로 대조(Divergence-Aware Path Contrast)입니다. 일반 도메인 및 의료 질의응답 작업을 모두 아우르는 8개 벤치마크에 걸쳐 4개의 LLM 백본에서 APCD를 평가합니다. 실험 결과에 따르면 APCD는 경쟁력 있는 추론 효율성을 유지하면서 사실적 정확도 측면에서 강력한 추론 시점 베이스라인들을 일관되게 능가합니다. 이러한 결과는 다양한 모델과 작업 전반에 걸친 APCD의 견고성과 일반화 가능성을 입증하며, 특히 의료와 같은 고위험 영역에서 신뢰할 수 있는 LLM 배포를 위한 실용적인 다중 경로 디코딩 프레임워크로서의 효과성을 강조합니다. 코드는 https://github.com/zty-king/APCD 에서 확인할 수 있습니다.

arXiv:2602.06317v3cs.LG

희소 디코딩을 위한 어텐션 질량 응축

Attention-Mass Condensation for Sparse Decoding

어텐션 질량(attention-mass)의 집중은 희소 디코딩(sparse decoding)의 기회를 제공하지만, 유지된 질량만으로는 안정적인 탐욕적 결정(greedy decision)을 보장할 수 없습니다. 즉, 검색 오류, 생략된 밸류(value) 방향, 재귀적 디코딩이 모두 중요한 영향을 미칩니다. 본 연구에서는 정확한 생략 질량 항등식과 충분한 다운스트림 마진 조건을 통해 이러한 차이를 정형화하고, 쿼리 의존적 평균 풀링 블록 선택기(query-dependent mean-pooled block selector)의 특성을 규명합니다. Qwen2-0.5B 모델을 대상으로 한 대응 신규 선택 탐색(paired fresh-selection sweep)은 97~769개 위치의 지지 집합(support), 2K~16K의 컨텍스트, 그리고 컨텍스트당 5개의 접두사(prefix)를 다룹니다. 주요 완전 일치(exact-match) 결과에 따르면, 60회의 실행 중 128개 토큰에 걸쳐 밀집 디코딩(dense decoding)과 동일하게 유지된 경우는 단 하나도 없었습니다. 분포적 품질은 이와 다릅니다. 193 이상의 지지 집합에 대해 9개의 컨텍스트-지지 집합 조건 중 7개에서 밀집 모델 대비 교사 강제(teacher-forced) 연속 펄플렉서티(perplexity) 변화 중앙값이 5% 이내였으나, 프롬프트 수준의 범위에는 심각한 16K 이상치(outlier)가 포함되어 있습니다. 교사 강제 일치율이 70% 미만인 7번의 실행 모두에서 펄플렉서티가 100% 이상 증가했습니다. 이러한 관찰 결과는 두 개의 접두사에서 비롯된 것으로 일반적인 임계값이 아닌 경고 영역을 시사합니다. 측정된 펄플렉서티는 희소 모델의 자유 실행(free-running) 출력이 아닌 밀집 모델 자체의 연속 생성에 대해 교사 강제된 값입니다. 분리된 검색 및 어텐션 질량 프로브(probe)는 포착된 질량만으로는 검색이나 결정을 보장할 수 없는 이유를 보여줍니다. 독립된 연산자 측정 시간만으로는 동일 품질에서의 가속이나 엔드투엔드 서빙 속도를 입증하지 못합니다.

arXiv:2610.02800v2cs.AI

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2609.24088v2cs.CV

잠재 생성 모델의 평가 및 개선을 위한 잠재 분포 관점

A Latent Distribution Perspective on Evaluating and Improving Latent Generative Models

잠재 생성 모델(latent generative models)에서는 일반적으로 재구성 품질이 생성 성능과 상관관계가 있다고 가정합니다. 그러나 재구성 FID(rFID)는 생성 FID(gFID)와 약한 상관관계를 보이거나 심지어 음의 상관관계를 나타내기도 합니다. 본 연구에서는 이러한 불일치가 잠재 분포 불일치(latent distribution mismatch)에서 기인한다고 봅니다. 즉, 재구성은 인코더가 유도한 잠재 공간에서 디코더를 평가하는 반면, 생성은 생성 모델이 만든 잠재 변수 상에서 동일한 디코더를 사용하기 때문입니다. 이러한 분포 변화를 규명하기 위해, 인코더 잠재 변수에 노이즈를 더해 섭동을 주고 디코딩 전에 생성 모델을 통해 노이즈를 제거함으로써 표준 재구성에서 생성으로 이어지는 연속적인 궤적을 구축하는 생성 인지 재구성(generation-aware reconstruction, GAR)을 제안합니다. GAR은 이 궤적을 따라 디코더의 동작을 탐색하여 인코더 분포에서 생성 시점의 잠재 분포로 전환되는 과정을 관찰하고 진단할 수 있게 합니다. 그 결과 도출된 궤적 기반 진단 지표인 GAR-FID는 다양한 토크나이저와 스케일 전반에서 gFID와 강력한 실증적 상관관계를 보여줍니다. 중요한 점은, 중간 단계의 GAR 잠재 변수가 원본 이미지와의 대응 관계를 보존하면서도 생성 과정을 더 잘 인지하게 되며, 이를 통해 완전 생성된 잠재 변수에는 부재한 쌍(paired) 지도 학습 신호를 유지한다는 것입니다. 이러한 대응 관계 덕분에 중간 GAR 잠재 변수 상에서 디코더 적응(adaptation)이 가능해져, 모델 스케일 전반에서 생성 품질이 일관되게 향상됩니다. 종합적으로, 잠재 분포 불일치는 잠재 생성 모델을 평가하고 개선하기 위한 유용한 관점을 제공합니다.

arXiv:2609.03641v2cs.CV

Tree-VQ: 사전학습된 벡터 양자화기 기반 점진적 이미지 압축

Tree-VQ: Progressive Image Compression from Pretrained Vector Quantizers

점진적 이미지 압축(progressive image compression)은 수신된 접두 문맥(prefix)을 원본 소스의 재인코딩 없이 디코딩할 수 있는 단일 임베디드 표현을 필요로 한다. 최신 벡터 양자화(vector-quantized, VQ) 이미지 모델은 강력한 이산 종단점 표현을 제공하지만, 기존의 평면적인 코드워드 인덱스는 신경망 디코더에 의미 있는 중간 상태를 정의하지 못한다. 우리는 Tree-VQ를 제안한다. 이는 사전학습된 평면 VQ 토크나이저를, 인코더 할당과 학습된 모든 리프 벡터를 보존하면서, 세밀하고 임의 접두 문맥(arbitrary-prefix) 기반의 점진적 표현으로 사후 변환(post-hoc conversion)하는 방법이다. 핵심 아이디어는 원본 코드북을 균형 이진 계층 구조로 조직화하고, 내부 노드에 명시적 표현을 연결하며, 분기 결정을 깊이 우선(depth-major) 순서로 전송하는 것이다. 그 결과 이미지 헤더가 확보된 이후에는 모든 페이로드 접두 문맥이 유효한 잠재 상태를 고유하게 지정하게 된다. 즉, 추가되는 분기 비트 하나마다 정확히 하나의 토큰(token)이 정제되며, 따라서 전송은 소수의 단계 경계에서만이 아니라 사실상 임의의 페이로드 위치에서도 절단될 수 있다. 더 나아가 우리는 이러한 임의 절단에서 나타나는 전체 깊이 및 혼합 깊이 잠재 상태에 대해 하나의 공유 디코더를 적응시킴으로써, 이렇게 촘촘하게 배치된 접두 문맥들이 단순히 구문적으로 디코딩 가능할 뿐 아니라 재구성에도 실질적으로 유용하도록 만든다. Kodak 데이터셋에서 Tree-VQ는 ProGIC 대비 DISTS 기반 BD-rate 52.1% 절감을 달성하는 동시에, 단일 임베디드 비트스트림으로부터 수천 개의 유효한 임의 접두 문맥 동작점(operating point)을 제공한다.

arXiv:2609.00355v3cs.AI

비전은 오버헤드가 아니다: 비전-언어 모델에서의 손실 없는 추측 디코딩을 위한 원패스 블록 드래프팅

Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models

추측 디코딩(speculative decoding)은 출력을 바꾸지 않으면서 생성을 가속화하지만, 비전-언어 모델(VLM)에서는 자기강화적 순환 구조가 이를 가로막는다. 자기회귀(autoregressive) 드래프터는 드래프트한 토큰마다 순차적인 패스를 거쳐야 하므로 작은 크기를 유지해야 하며, 매 패스마다 이미지에 주의를 기울이기 어렵다. 이 때문에 기존 연구들은 이미지를 압축하거나 숨기는 방식을 택했고, 그 결과 드래프터는 이미지가 결정하는 텍스트에 대해 가장 취약해졌다. 우리는 수정되지 않은 VLM 타겟에서 이러한 순환을 깨는 원패스 블록 드래프터인 GLANCE를 제시한다. GLANCE의 블록-디퓨전(block-diffusion) 헤드는 타겟의 이미 융합된 비전-언어 상태에 대해 단 한 번의 순전파(forward pass)로 블록 전체를 드래프트하며, 드래프트가 얼마나 깊든 멀티모달 컨텍스트를 단 한 번만 읽는다. 타겟은 넓은 후보 트리를 한 번의 패스로 검증하고 자신의 그리디(greedy) 출력을 정확히 커밋한다. 고정된 라운드 예산을 사용하는 하나의 프로덕션 엔진에서, GLANCE는 자기회귀 디코딩보다 최대 3.05배 빠르게 디코딩하며, 평균적으로, 그리고 그라운딩(grounded) 작업에서는 약 11% 더 높은 성능으로 프로덕션 EAGLE3-VL 헤드를 앞선다. 엔트로피 법칙은 드래프팅이 언제 유리한지를 설명하며, 타겟의 다음 토큰 엔트로피가 가장 낮은 그라운딩 작업에서 가장 긴 수용 블록을 예측한다. 코드는 https://github.com/js-lee-AI/GLANCE 에서 확인할 수 있다.

arXiv:2607.20791v2cs.AI

거절 게이트 디코딩: 고온 샘플링 환경에서 거절 동작 보존

Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

절단 기반(truncation-based) 샘플링의 최근 발전은 신경망 텍스트 퇴화와 같은 고온(high-temperature) 샘플링의 단점을 완화하는 데 기여하여, 일관성을 해치지 않으면서도 더 높은 다양성을 확보할 수 있게 했습니다. 그러나 높은 온도를 통해 토큰 확률 분포의 엔트로피를 높이는 것은 모델의 거절(refusal) 반응을 약화시키는 것으로도 나타났습니다. 대규모 언어 모델(LLM)의 거절 동작을 유지하기 위한 기존 해결책들은 모델 자체의 거절 결정을 별도의 안전성 분류기로 대체하거나, 모든 프롬프트에 대해 출력 분포를 변경합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 최소한의 추가 지연 시간(latency)만을 유발하면서 고온에서도 모델의 그리디 디코딩(greedy decoding) 거절 반응을 보존하고 다른 모든 프롬프트는 원래의 정확한 직접 고온 분포로부터 샘플링하는 효율적인 순차적 디코딩 접근 방식인 거절 게이트 디코딩(Refusal-Gated Decoding, RGD)을 제안합니다. RGD는 프롬프트의 KV 캐시를 재사용하는 짧은 그리디 프로브(probe)를 실행하고, 학습된 거절 접두사 집합과 일치하지 않게 되는 즉시 조기 종료합니다. 프로브가 호환성을 유지하면 그리디 응답을 반환하고, 그렇지 않으면 프로브를 폐기하고 원래 프롬프트로부터 샘플링을 진행합니다. T=2.0에서 7개 모델과 3개 벤치마크 데이터셋에 걸쳐 평가한 결과, RGD는 다양한 온도 조건에서 비거절(non-refusal) 요청의 중앙값 기준 요청당 지연 시간을 2.2~4.3%만 증가시키면서 직접 샘플링 시 91.9%였던 그리디 거절 보존율을 평균 98.3%로 향상시켰습니다. 다수의 그리디 비거절 응답을 그리디 디코딩으로 라우팅하는 프롬프트 필터링(prompt-screening) 베이스라인과 달리, RGD는 그리디 비거절 응답의 98.1% 이상을 변경되지 않은 고온 샘플링으로 유지하여 모델 본래의 고온 샘플링 동작을 보존합니다. 또한 본 연구에서는 유사한 프롬프트 라우팅 정확도를 유지하면서 이러한 지연 시간 오버헤드를 최대 0.5%까지 낮추는 잔차 스트림(residual-stream) 변형 방식도 제안합니다. 본 연구는 고온 샘플링을 통해 더 높은 다양성을 확보하더라도 모델의 거절 동작이 훼손될 필요가 없음을 보여줍니다.

arXiv:2510.11593v3quant-ph

표면 코드 디코딩을 위한 큐비트 중심 트랜스포머

Qubit-centric Transformer for Surface Code Decoding

신뢰할 수 있는 대규모 양자 컴퓨팅을 위해서는 여러 물리적 큐비트(qubit)에 분산된 논리적 정보를 보호하는 양자 오류 정정(QEC)이 필수적입니다. 최근 심층 학습(deep learning)의 발전을 활용하여, 신경망(neural network) 기반 디코더가 QEC의 신뢰성을 향상시키는 유망한 접근 방식으로 떠올랐습니다. 본 논문에서는 큐비트 중심 어텐션(attention) 메커니즘을 갖춘 트랜스포머(transformer) 아키텍처 기반의 새롭고 범용적인 QEC 디코더인 큐비트 중심 트랜스포머(QCT)를 제안합니다. 제안하는 디코더는 특화된 임베딩(embedding) 전략을 통해 안정자(stabilizer) 도메인의 입력 신드롬을 큐비트 중심 토큰으로 변환합니다. 이러한 큐비트 중심 토큰은 어텐션 레이어를 거쳐 처리되어 기저의 논리적 오류를 효과적으로 식별합니다. 나아가 양자 코드의 위상학적 구조를 통합하여 관련 큐비트 상호작용에 어텐션을 집중시키는 그래프 기반 마스킹 방법을 도입합니다. 표면 코드(surface code)의 다양한 코드 거리에 걸쳐 QCT는 기존 신경망 디코더와 정렬 통계 디코딩(OSD)을 결합한 신념 전파(BP) 기준선(baseline)을 크게 능가하며 최고 수준(SOTA)의 디코딩 성능을 달성합니다. 특히 QCT는 탈분극 노이즈(depolarizing noise) 환경에서 이론적 한계인 18.9%에 근접하고 BP+OSD 및 최소 가중치(weight) 완벽 매칭(MWPM) 임계값을 모두 능가하는 18.1%의 높은 임계값을 달성합니다. 이러한 큐비트 중심 접근 방식은 표면 코드 디코딩을 위한 확장 가능하고 견고한 프레임워크를 제공하여 결함 허용(fault-tolerant) 양자 컴퓨팅으로 나아가는 길을 앞당깁니다.

arXiv:2509.07936v3cs.CV

유도 디퓨전 모델을 활용한 특징 공간 분석

Feature Space Analysis by Guided Diffusion Model

본 논문은 사용자가 지정한 특징(feature)과 매우 일치하는 특징을 가진 이미지를 생성할 수 있는 디코더를 제안하여, 비전 관련 심층 신경망(DNN)의 특징 공간을 분석하는 것을 목표로 합니다. 높은 특징 일치 정확도에 대한 정량적 근거를 바탕으로, 본 디코더는 DNN 특징 공간의 정밀한 분석을 용이하게 합니다. 제안하는 디코더는 각 단계에서 추정된 깨끗한 이미지의 특징과 사용자가 지정한 특징 간의 유클리드 거리를 최소화하도록 사전학습된 디퓨전 모델의 이미지 생성을 유도하는 유도 디퓨전 모델(guided diffusion model)로 구현됩니다. 본 디코더의 주요 장점은 서로 다른 DNN의 특징 공간을 분석할 때 추가 학습이 필요 없는(training-free) 적용성과 단일 상용(COTS) GPU에서의 실용적 실행 가능성입니다. CLIP의 이미지 인코더와 ResNet-50을 대상으로 한 실험을 통해 특징 일치 이미지 생성기이자 시각적 특징 공간 분석기로서 제안 디코더의 유효성을 입증합니다. 코드와 데이터는 https://github.com/ccilab-doshisha/FeatDec 에서 이용할 수 있습니다.

arXiv:2609.27248v2cs.LG

사전학습된 LLM을 고충실도 연속 텍스트 오토인코더로 재활용하기

Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders

다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.

arXiv:2605.09737v3cs.LG

교차 어텐션(Cross-Attention) 층을 활용한 시스템 프롬프트 앵커링

System-Prompt Anchoring with Cross-Attention Layers

교차 어텐션(cross-attention)은 선택된 정보 소스로부터 모델의 연산 과정으로 이어지는 전용 경로를 제공하지만, 해당 경로가 삽입되는 위치의 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 정보 소스가 특권적인(privileged) 시스템 프롬프트 구간일 때 이 문제를 조사합니다. 우리는 인과적 디코더(causal-decoder) 백본을 동결한 상태로 유지하면서, 시스템 프롬프트와 텍스트 사이에 교차 어텐션 층(Cross-Attention Layer, CAL) 블록을 삽입합니다. 1.5B 백본 모델에 대해 10가지 구성을 탐색한 결과, 성능은 작업에 따라 달라지며 배치 위치에 강하게 영향을 받는 것으로 나타났습니다. 대체로 후반부에 배치할수록 더 효과적이고 매개변수 효율적입니다. 8B 스케일링 연구에서는 전체적으로 가장 우수한 구성만을 학습(training)시켜 매개변수 수가 일치하는 적응(adaptation) 베이스라인들과 비교합니다. 평가된 벤치마크 전반에서 효과는 여전히 작업 의존적입니다. 즉, 교차 어텐션은 일반 작업 성능을 대체로 보존하면서도 지시사항 준수(instruction-following) 및 보안(security) 동작을 변화시킵니다. 종합적으로, 이러한 실험들은 교차 어텐션을 통해 시스템 프롬프트 정보를 주입할 때 배치 위치가 중요한 설계 변수임을 규명합니다.

arXiv:2605.24140v5cs.AI

HyperGuide: 대규모 언어 모델의 효율적인 다단계 추론을 위한 쌍곡 공간 유도

HyperGuide: Hyperbolic Guidance for Efficient Multi-Step Reasoning in Large Language Models

대안적인 후속 생성을 탐색하면 대규모 언어 모델(LLM)이 추론 단계를 확정하기 전에 이후의 결과를 비교할 수 있지만, 수많은 분기를 확장하고 평가하는 과정은 추론 비용을 크게 증가시킵니다. 중간 단계를 점수화하도록 가치 모델을 학습하더라도 추론 시점에 여전히 후보들을 순위화해야 하므로 이러한 비용을 피할 수 없습니다. 본 논문에서는 추론을 쌍곡 공간(hyperbolic space)에 임베딩된 상태 트리 상에서의 이동으로 다루는 프레임워크인 HyperGuide를 제안합니다. HyperGuide는 먼저 푸앵카레 공(Poincaré ball) 상에서 상태 인코더를 학습한 다음, 현재 상태로부터 최소 비용 전이의 방향을 예측하도록 유도 헤드(guidance head)를 학습합니다. 예측된 방향은 각 추론 단계 이후 가상 토큰으로 디코더에 삽입되므로, 후보를 확장하거나 재순위화하지 않고도 단일 자기회귀 궤적을 따라 추론이 진행됩니다. 또한 지도 방식이 이진이 아닌 순서형(ordinal)이므로 신뢰할 수 있으면서도 짧은 후속 생성을 선호하여 생성이 성공적이고 간결한 해결책을 향하도록 유도합니다. 경시 수학 및 코드 생성에 대한 실험 결과, HyperGuide는 탐색 및 검증기 기반 베이스라인보다 훨씬 적은 토큰을 생성하면서도 이들 베이스라인과 일치하거나 이를 능가하는 정확도를 달성하며, 퓨샷(few-shot) 프롬프트와 거의 비슷한 수준의 토큰만을 생성함을 보여줍니다.

arXiv:2610.03445v1cs.CV

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2609.23900v2cs.LG

LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증

LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models

하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.

arXiv:2605.05806v3cs.LG

내부로부터의 검색: 어텐션 기반 모델의 내재적 능력

Retrieval from Within: An Intrinsic Capability of Attention-Based Models

검색-증강 생성(RAG)은 일반적으로 검색과 생성을 별개의 시스템으로 다룹니다. 본 연구에서는 어텐션(attention) 기반 인코더-디코더가 외부 시스템 대신 자체 내부 표현에서 직접 검색할 수 있는지 질문을 던집니다. 이를 위해 디코더 어텐션 쿼리가 사전에 인코딩된 증거 청크(chunk)의 점수를 매긴 후 생성을 위한 문맥으로 직접 재사용하는 프레임워크인 INTRA(INTrinsic Retrieval via Attention)를 제안합니다. 구조상 INTRA는 검색과 생성을 통합하여 일반적인 RAG 파이프라인에서 나타나는 검색기-생성기 간의 불일치를 해소합니다. 또한 이러한 설계는 여러 쿼리에 걸쳐 사전 계산된 인코더 상태를 재사용함으로써 문맥 인코딩 비용을 상쇄(amortize)합니다. 질의응답 벤치마크에서 INTRA는 증거 재현율(recall)과 엔드투엔드(end-to-end) 답변 품질 모두에서 정교하게 엔지니어링된 강력한 검색 파이프라인을 능가합니다. 본 연구 결과는 어텐션 기반 모델이 외부 모듈로 추가할 필요 없이, 이끌어내어 활용할 수 있는 검색 메커니즘을 이미 내재하고 있음을 보여줍니다.

arXiv:2610.01439v1cs.AI

DRelay: 접두 문맥 인식 병렬 추측 디코딩 복구를 위한 전역 초안 문맥

DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair

병렬 초안 작성(parallel drafting)은 대규모 언어 모델(LLM)을 위한 추측 디코딩(speculative decoding)의 초안 생성 오버헤드를 줄여주지만, 그로 인한 성능 향상은 수락되는 접두 문맥(prefix) 길이에 의해 여전히 제한됩니다. 올바른 토큰이 후보군에 존재하더라도, 초기에 발생한 단 하나의 선택 오류로 인해 후속 예측을 사용하지 못하게 됩니다. 본 논문에서는 타깃 모델의 검증 전에 전체 초안 블록의 전역 정보를 활용하여 후보 선택에 대한 접두 문맥 인식 선택적 복구를 수행하는 DRelay를 제안합니다. DRelay는 후보 간의 상관관계와 선택된 경로를 기반으로 결정을 내립니다. 즉, 전역 리더(global reader)가 각 후보에 대해 여러 위치에 걸친 예측 정보를 추출합니다. 동시에 인과적 선택기(causal selector)는 전역 판독을 통해 추출된 후보 수준 정보와 이전 위치에서 선택된 토큰들을 결합하여, 현재 위치의 기본 선택이 전역 증거 및 선택된 접두 문맥과 일치하는지 판단합니다. 그런 다음 해당 토큰을 유지할지 또는 교체할지 결정함으로써 초기 오류를 복구하고 수락되는 접두 문맥을 연장합니다. 나아가 초안 백본과 선택기를 공동으로 학습(training)시켜 후보 지원 학습과 복구 목적 함수를 결합하는 한편, 연속적으로 수락되는 접두 문맥에 대한 각 블록 위치의 잠재적 기여도에 따라 복구 손실(loss)에 가중치를 부여합니다. H800 GPU 기반의 8가지 다양한 벤치마크 전반에서 DRelay는 DFlash, Domino, DSpark 대비 평균 수락 길이와 엔드투엔드 디코딩 성능을 일관되게 향상시킵니다. SGLang 서빙 환경에서 DRelay는 DFlash, Domino, DSpark 대비 평균 엔드투엔드 속도 향상을 각각 14.7%~16.8%, 8.7%~9.3%, 8.1%~9.3% 달성합니다.

arXiv:2608.08888v2cs.AI

풀 대역폭 트랜스포머

Full-bandwidth transformer

자기회귀(autoregressive) 트랜스포머는 두 축을 따라 계산을 수행합니다. 즉, 생성된 토큰들에 걸친 수평적 축과 모델 깊이를 통과하는 수직적 축입니다. 조밀한 어텐션(dense attention)은 각 토큰이 과거 정보에 폭넓게 수평적으로 접근할 수 있도록 하지만, 디코딩 단계 사이의 수직적 피드백 채널은 여전히 좁습니다. 즉, 최상위 층 은닉 상태(hidden state)는 버려지고 샘플링된 토큰만이 스택의 바닥으로 되돌아갑니다. 본 연구에서는 잠재 피드백(latent feedback)을 통해 이 채널을 넓히는 풀 대역폭 트랜스포머(full-bandwidth transformer)를 소개합니다. 이는 각 디코딩 단계에서 이전 최상위 층 은닉 상태를 게이트 선형 유닛(GLU)을 통해 샘플링된 토큰 임베딩과 융합한 후 다음 입력으로 다시 공급합니다. 잠재 피드백을 통해 언어화되지 않은(non-verbalized) 계산이 갱신된 깊이 예산을 가지고 스택에 다시 진입할 수 있으며, 동시에 표준 트랜스포머 아키텍처, KV 캐시, 언어 모델링 목표를 그대로 유지합니다. 병렬 티처 포싱(teacher forcing)을 잃지 않고 풀 대역폭 트랜스포머를 학습시키기 위해, 사전학습 후반부에 잠재 피드백을 도입하고 안정성을 위해 더 깊은 피드백 패스를 적은 비율로 혼합하는 스케줄링된 멀티패스 목표를 사용합니다. 1B 매개변수의 풀 대역폭 트랜스포머를 최대 400B 토큰으로 학습시킨 결과, 잠재 피드백이 검증 손실, 5-샷(5-shot) 언어 모델 평가, 수학 및 코딩 생성, 인스트럭션 튜닝 성능을 향상시키는 것을 확인했습니다. 토큰당 디코딩 오버헤드가 거의 발생하지 않으면서도, 풀 대역폭 트랜스포머는 약 1.5배 더 많은 토큰으로 학습된 표준 트랜스포머와 일치하거나 이에 근접한 성능을 보이며, 오프-정책 템플릿이 제공되지 않을 때 더 짧은 추론을 생성해 냅니다.

arXiv:2610.01687v1cs.CV

구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링

Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.