PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10203v2cs.LG

깊이가 합성에서 살아남는 시점은 언제인가? 잠재 월드 모델의 연산-품질 체제

Adaptive Compute in Latent World Models: When Depth Helps, Hurts, or Doesn't Matter

적응적 연산 월드 모델 -- 단계별로 가변적인 깊이를 소비하는 early-exit 또는 mixture-of-depths 예측기 -- 은 깊이가 더 나은 예측을 제공하며 적응적으로 라우팅될 수 있다고 가정한다. 자기회귀적 롤아웃에서 첫 번째 가정은 깊이의 단계별 정밀도가 합성에서 살아남을 것을 요구한다. 우리는 사전 등록된 지표인 얕은 패널티 $ρ=\mathrm{err}(\text{shallowest-exit rollout})/\mathrm{err}(\text{full-depth rollout})$를 이용하여, 단일 단계($K=1$) 및 다중 단계($K=4$) 학습 조건을 맞추어 아홉 가지 DeepMind Control 태스크에 대해 각 세 개의 시드로 이를 검증한다. 우리는 세 가지 체제를 발견한다: 6/9 태스크에서 깊이가 롤아웃에 도움이 되고(내재적, $ρ$ 최대 $4.7\times$), 2/9에서는 얕은 출구가 전체 스택을 능가하며(역전, $ρ$ 최소 $0.85\times$), 하나는 평탄하다. 강건한 역전(cheetah)은 역학의 속성이 아니라 학습에 의해 생성된다: 첫 번째 롤아웃 단계에서만 early exit를 감독하는 ablation이 이를 제거하며($ρ: 0.87\to1.18$, $n=8$, $Δ=+0.31$), 내재적 트레이드오프 태스크는 영향을 받지 않는다 -- 우리가 라우팅 가능성 캐치-22라고 부르는 이중 해리로, 출구를 라우팅 가능하게 만드는 감독이 바로 전체 스택보다 더 잘 롤아웃하도록 학습시키는 것이기 때문이다. 이 체제는 부분적으로 사전에 예측 가능하다: 관측/행동 차원과 단일 단계 모델 오류가 $ρ$와 $|\text{Spearman}|\approx0.75$ ($n=9$)의 상관관계를 보인다. CEM 플래너 내에서 $ρ$의 부호는 계획이 깊이로부터 혜택을 받는지를 예측하며, 역전 태스크에서 가장 뚜렷하게 나타나고, 이 경우 얕은 계획이 깊은 계획을 능가한다. 마지막으로, 세 가지 주의사항: 태스크의 체제는 메트릭 공간, 롤아웃 지평선, 인코더에 따라 달라진다. 모든 임계값과 게이트는 연산 실험 전에 고정되었으며, 연구를 촉발한 가설에 대한 사전 등록된 부정적 결과를 포함한다.

arXiv:2407.21082v3cs.CL

자기지도 조기 종료를 활용한 대규모 언어 모델 추론 가속화

Accelerating Large Language Model Inference with Self-Supervised Early Exits

본 논문은 중간 트랜스포머 레이어에 조기 종료 헤드를 추가하여 대규모 언어 모델(LLM)의 추론을 가속화하는 모듈형 접근법을 제시한다. 각 헤드는 메인 모델의 예측을 모방하도록 자기지도(self-supervised) 방식으로 학습되며, 보정된 신뢰도 임계값에 도달하면 연산을 조기에 중단할 수 있다. 여러 신뢰도 지표를 평가한 결과, 엔트로피(entropy)가 정확한 예측과 부정확한 예측 간의 가장 신뢰할 수 있는 분리 기준을 제공함을 보인다. Pythia 모델 스위트(70M~2.8B 파라미터)에 대한 실험을 통해, 본 방법이 다수의 벤치마크에서 정확도를 유지하면서 추론 비용을 크게 절감함을 입증한다. 나아가 이 접근법을 투기적 디코딩(speculative decoding)에 적용하여 Dynamic Self-Speculative Decoding(DSSD)을 제안하며, 이는 최소한의 하이퍼파라미터 튜닝으로 수동 조정된 LayerSkip 기준선 대비 1.66배 높은 토큰 수용률을 달성한다.

arXiv:2607.01792v1cs.CL

PARTREP: Learning What to Repeat for Decoder-only LLMs

디코더 전용 대규모 언어 모델(LLM)의 인과적 어텐션(causal attention)은 초기 토큰에 대한 문맥 정보가 부족한 비대칭 정보 흐름 문제를 유발하며, 이를 해결하기 위한 프롬프트 반복(prompt repetition) 기법은 KV 캐시 및 연산 비용이 두 배 이상 증가하는 한계가 있다. PartRep은 토큰별 negative log-likelihood(NLL)를 중요도 신호로 활용하여 가장 정보 밀도가 높은 토큰만 선택적으로 반복하고, 경량 게이팅 모듈로 조기 종료(early exit)를 통해 토큰을 선별함으로써 MMLU, GSM8K, RULER 등 8개 벤치마크에서 전체 반복의 성능을 유지하면서 KV 캐시를 59.4%, prefill FLOPs를 79.0% 수준으로 절감한다.

arXiv:2605.09165v2cs.LG

Sparse Layers are Critical to Scaling Looped Language Models

루프드 트랜스포머(looped transformer)가 표준 모델 대비 스케일링 성능이 떨어지는 문제를 해결하기 위해, 전문가 혼합(MoE) 희소 레이어를 루프 구조에 결합한 Looped-MoE 아키텍처를 제안하며, 루프마다 서로 다른 전문가가 활성화되는 라우팅 분기(routing divergence) 현상이 표현력을 회복시킴을 실험적으로 보인다. 그 결과 Looped-MoE는 동일 연산량 대비 표준 트랜스포머보다 낮은 테스트 손실을 달성하며, 루프 경계에서의 조기 종료(early exit)를 통해 품질 저하 없이 추론(inference) 연산량과 메모리를 크게 절감할 수 있음을 확인했다.

arXiv:2606.29223v1cs.LG

LLM 디코딩을 위한 깊이 탐험

Depth Exploration for LLM Decoding

자기회귀 LLM 디코딩에서 많은 토큰이 중간 레이어에서 이미 예측 가능함에도 전체 레이어를 통과해야 하는 비효율을 해소하기 위해, 단일 종료 깊이 선택 대신 여러 후보 깊이를 병렬 탐험하는 무손실 디코딩 알고리즘 DEX(Depth Exploration Decoding)를 제안한다. DEX는 확장-커밋-축소(expand–commit–collapse) 절차로 표준 자기회귀 디코딩과의 동등성을 유지하면서 기존 깊이 선택 기반 방법보다 높은 처리량을 달성하며, 탐험 깊이가 세밀해질수록 성능이 단조 향상됨을 이론·실험으로 입증한다.

arXiv:2606.24898v1cs.LG

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

루프형 언어 모델에서 루프마다 교차 엔트로피를 적용해도 readout이 노출하는 상태 변수만 지도되며, RMSNorm·LayerNorm 같은 스케일 불변 readout은 hidden-state scale을 즉시 손실에서 숨겨 pre-norm 잔차 반복 경로에서 norm이 수천~수만까지 drift하는 readout blind spot을 일으킨다. 스케일을 손실에 보이게 하거나 반복 경로에서 제거하는 보완과 함께 dense supervision을 쓰면 초기 종료(exit) 사용성을 유지한 채 매칭된 추론 깊이에서 perplexity가 낮아진다.

arXiv:2606.22167v1cs.LG

링크 예측을 위한 조기 종료 그래프 신경망

Early-Exit Graph Neural Networks for Link Prediction

그래프 신경망(GNN)은 다양한 네트워크 형태 구조에서 링크 예측에 매우 효과적이지만, 속도와 품질 간의 트레이드오프에 대한 연구는 거의 이루어지지 않았다. 실무에서는 작은 벤치마크에서 추론에 걸리는 시간이 크게 중요하지 않지만, 지연 시간은 대규모 도메인에서의 적용 가능성을 제한한다. 본 연구에서는 링크 예측 문제를 더 빠르게 해결하기 위해 그래프 신경망에 적용할 수 있는 조기 종료(early-exiting) 전략을 탐구한다. 조기 종료를 강제하기 위한 보조 손실(auxiliary loss)은 사용하지 않으며, 이를 아키텍처의 암묵적 특성으로 드러나게 한다. 여러 설정에서 본 방법이 조기 종료를 가능하게 하고, GCN 및 SAS-GNN 백본에 대해 HeaRT 벤치마크에서 파레토 프론티어(Pareto frontier)를 이동시킴을 보인다. 연구 결과, 많은 링크 예측 문제에서 GNN의 추론 속도를 개선할 수 있으며, 예측 품질 측면에서는 거의 손실이 없거나 오히려 더 나아질 수 있음을 보여준다. 코드는 다음 저장소에서 제공된다: https://github.com/knyazer/link_prediction.

arXiv:2606.07345v1cs.LG

TabSwift: 행 단위 어텐션을 갖춘 효율적인 테이블 파운데이션 모델

TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention

TabPFN으로 대표되는 테이블 파운데이션 모델은 문맥 내 학습(in-context learning)을 통해 예측을 수행하며, 레이블이 지정된 학습 예제로부터 직접 테스트 레이블을 추론합니다. 이들은 특히 소규모에서 중규모 데이터셋에서 경쟁력 있는 성능을 보여주었습니다. 그러나 최근 테이블 파운데이션 모델은 종종 점점 복잡해지는 아키텍처로 정확도를 높이며, 이로 인해 더 높은 추론 비용이 발생하고 실제 배포가 제한됩니다. 본 연구에서는 기존 TabPFN 설계를 다시 살펴보고, 가벼운 행 단위 어텐션 전용 백본이 두 가지 간단한 개선을 통해 매우 경쟁력을 유지할 수 있음을 보여줍니다: 전역 컨텍스트를 제공하고 사전학습 품질을 향상시키는 게이트 어텐션 안정화 메커니즘과 소수의 학습 가능한 레지스터 토큰입니다. 결과 모델인 TabSwift는 분류와 회귀를 모두 지원하며, 추론 시 더 효율적이면서도 더 강력한 테이블 파운데이션 모델(예: TabPFN v2 및 TabICL)과 경쟁력을 갖습니다. 지연 시간에 민감한 서빙을 위해, 샘플별로 추론 깊이를 동적으로 조정하는 적응형 층별 조기 종료 메커니즘을 추가로 도입합니다. 전반적으로, TabSwift는 실제 배포를 위한 효율적이고 언제든지 가능한 테이블 문맥 내 학습을 가능하게 합니다.