PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.33895v2cs.CV

잔차 스트림 부담이 디퓨전 트랜스포머의 표현 학습을 형성하는 방식

Residual-Stream Burden Shapes Representation Learning in Diffusion Transformers

디퓨전(diffusion) 기반 생성에서 신경망(neural network)은 노이즈가 섞인 입력으로부터 깨끗한 데이터, 노이즈, 또는 속도(velocity)를 예측하도록 학습될 수 있습니다. 이러한 예측 타깃들은 상호 변환이 가능하며 동일한 생성 과정을 기술하지만, 큰 픽셀 패치에서 동작하는 기본 디퓨전 트랜스포머(Diffusion Transformer)는 깨끗한 데이터 예측에서는 성공하는 반면 노이즈 또는 속도 예측에서는 실패합니다. 본 연구에서는 이러한 비대칭성이 최종 판독(readout)을 위해 노이즈 의존적 입력 변동을 깊이 방향 전체에 걸쳐 잔차 스트림(residual stream)에 보존해야 하므로, 이후 계층들이 노이즈가 섞인 표현을 바탕으로 연산하도록 강제되기 때문에 발생한다고 주장합니다. 스펙트럼상으로 집중된 깨끗한 타깃은 더 적은 부담을 주어 이후 연산을 위한 은닉 표현을 구성하는 데 더 큰 자유도를 제공합니다. 본 논문에서는 이러한 보존 요구 조건을 *잔차 스트림 부담(residual-stream burden)*이라 정의하고, 이것이 디퓨전 트랜스포머의 표현 학습을 어떻게 형성하는지 보여줍니다. 통제된 실험을 통해 활용 가능한 구조가 패치 공간에서의 스펙트럼 집중임을 확인하였으며, 지속되는 잔차 상태의 대역폭이 노이즈 예측을 위한 핵심 자원임을 밝혔습니다. 나아가 본 설명이 주 경로(main pathway)의 잔차 스트림 부담을 줄이도록 다양하게 설계된 최근의 분리형(decoupled) 픽셀 공간 아키텍처들과도 일치함을 보여줍니다. 이러한 이해를 상호 보완적인 방향에서 검증하기 위해 잔차 스트림 대역폭을 직접 확장하고 재구성하는 공간 인덱싱 하이퍼 커넥션(Spatially Indexed Hyper-Connections, SiHC)을 도입하였으며, ImageNet $256^2$에서 FID 1.71을 달성했습니다. 종합적으로 이러한 결과들은 잔차 스트림 부담이 예측 타깃과 아키텍처가 결합하여 디퓨전 트랜스포머의 표현 학습을 형성하는 핵심 메커니즘임을 규명합니다.

arXiv:2603.13911v2cs.AI

혀끝에서 맴도는 정답: LLM이 디코딩할 수 있는 답변에 대해 환각을 일으키는 이유

On the Tip of the Tongue: Why LLMs Hallucinate Answers They Can Decode

언어 모델은 중간 상태에서 정답을 디코딩할 수 있는 경우에도 오답을 출력할 수 있습니다. 이러한 디코딩 가능성(decodability)과 선택(selection) 사이의 간극을 연구하기 위해, 본 연구에서는 첫 번째 답변 토큰에서 읽기(read)와 쓰기(write)를 구분합니다. 읽기는 동일 관계 미끼 대조군(same-relation decoy controls) 하에서 중간 잔차 상태(intermediate residual states)로부터 정답 토큰을 디코딩할 수 있는지를 묻습니다. 쓰기는 최종 판독(final readout)에서 해당 토큰이 내용 토큰(content tokens) 중 1위로 순위가 매겨지는지를 묻습니다. 무작위 레이블 대조군과 함께 세 가지 서로 다른 판독기를 적용했을 때, 상당한 비율의 실패 사례에서 다른 내용 토큰이 선택되는 동안에도 정답은 여전히 읽어낼 수 있는 상태로 남아 있었습니다. 저자들은 이를 정답 로짓과 가장 강력한 대안의 로짓 간의 차이인 최종 판독에서의 선택 마진(selection margin)을 통해 설명합니다. 이 마진은 정답 지지도(answer support)에서 대안 지지도를 뺀 값이며, 토큰 빈도와 연관된 문맥 평균 기준선(context-averaged baseline)과 항목별 항(item-specific term)으로도 분해될 수 있습니다. 정답 지지도를 성공적인 생성에서 전형적으로 나타나는 수준으로 설정하면, 연구 대상 모델 대부분에서 실패 사례의 과반수에 대해 첫 번째 토큰 선택을 복구하기에 충분합니다. 이러한 수정 하에서도 나머지 대부분의 실패 사례에서는 원래 대안이 여전히 앞서 있으며, 이 결과는 판독 기하학(readout geometry)에서 직접적으로 기인합니다. 빈도 방향만을 제거하는 것은 선택을 변화시키지만 정답을 복구하는 경우는 드뭅니다. 동일한 사실에 대해 성공하는 프롬프트 변형은 잔차 스트림(residual stream)과 후기 MLP 출력을 통해 실패하는 변형으로 전이되는 지지도를 제공하지만, 후기 어텐션을 통한 효과는 덜 일관적입니다. 첫 번째 토큰의 복구에도 불구하고 대부분의 전체 답변은 여전히 오답으로 남아 있으며, 이는 이러한 수정을 통해 달성되는 복구를 제한하고 쉽게 혼동되는 세 가지 요소인 디코딩 가능성, 복구 가능성(recoverability), 생성을 구분 짓습니다.

arXiv:2607.10137v2cs.LG

RDQ: 대규모 언어 모델을 위한 잔차 분포 양자화

RDQ: Residual Distribution Quantization for Large Language Models

대규모 언어 모델의 사후 학습 양자화(PTQ)는 4비트 미만의 정밀도에서 성능이 급격히 저하된다. 우리는 그 근본 원인을 잔차 스트림 분포 드리프트로 규명한다: 각 트랜스포머 층에서 주입된 양자화 노이즈가 공유 잔차 표현에 누적되어, FP16 기준선으로부터의 KL 발산이 깊이에 따라 초선형적으로 증가한다(로그 퍼플렉서티와 Pearson r=0.999, p<0.001이며, 테스트된 모든 방법과 비트폭에서 확인됨). 우리는 LLaMA-3-8B 층의 84%가 비가우시안 잔차 분포를 보이며(KS 검정, p≤0.05), 층별 잔차 스트림 분산이 깊이에 걸쳐 6,548배 증가함을 발견하였다. 우리는 RDQ(Residual Distribution Quantization)를 제안한다. 이는 핵심 기여인 Cascaded Error Compensation(CEC)을 갖춘 PTQ 프레임워크로, 이미 양자화된 상위 층을 통해 교정 데이터를 실행하여 각 층이 실제로 수신하는 드리프트된 활성화를 포착하고, 해당 드리프트된 입력에 대해 채널별 AWQ 방식의 스케일을 적합시키며, 추론 오버헤드 없이 정확한 수학적 동등성을 위해 스케일을 선행 RMSNorm 가중치에 접합한다. RDQ는 테스트된 세 가지 아키텍처 모두에서 최첨단 결과를 달성한다: LLaMA-3-8B: 7.55 / 5.62 PPL (W3/W4); Qwen-2.5-7B: 7.46 / 6.38 PPL; Mistral-7B: 6.88 / 5.73 PPL. RDQ는 모든 모델과 비트폭 조합에서 최고의 공개 기준선(LeanQuant/SpinQuant)을 능가하며, LLaMA-3-8B의 W3A16에서 RTN 대비 최대 -46.4%의 성능 향상을 달성한다. 모든 출력은 표준 group-128 비대칭 양자화로, Qualcomm AIMET, GGUF 및 모든 표준 추론 스택에 런타임 오버헤드 없이 배포 가능하다.

arXiv:2606.20743v1cs.LG

대규모 활성화는 아키텍처적으로 견고하다: 제어된 스크래치/커밋 잔차 스트림 테스트

Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

학습된 트랜스포머는 대규모 활성화(massive activations)를 일관되게 발전시킨다. 이는 크기가 중앙값보다 훨씬 크고 시퀀스 시작 토큰에 집중되는 소수의 은닉 차원이다. 이러한 이상치가 잔차 스트림의 과부하된 읽기·쓰기 역할로 인한 제거 가능한 부산물인지, 아니면 기능적 필수 요소인지는 현재 활발히 논의 중이다. 우리는 아키텍처적 개입을 통해 부산물 가설을 직접 검증한다. 우리의 아키텍처인 Ledger Residuals는 잔차 스트림을 두 부분으로 분리한다: 중간 계산이 자유롭게 덮어쓸 수 있는 가변적 스크래치 스트림(Deliberation)과, 모델이 최종적으로 읽어내는 표현을 보관하는 보호된 디코드 전용 누산기(Commitment)이다. 만약 대규모 활성화가 하나의 스트림이 스크래치패드와 정답 역할을 동시에 수행하도록 강제되기 때문에만 존재한다면, 전용 정답 채널이 그 필요성을 제거해야 한다. 그러나 우리는 그렇지 않다는 것을 발견한다. 160M 및 290M 규모의 동일 손실 언어 모델에서, 모델은 보호된 채널 내부에 정형화된 고정 차원의 시작 토큰 이상치를 재구성한다. 재구성된 특징은 표준 트랜스포머보다 크기가 작지만 시작 토큰에 더 날카롭게 집중되며, 더 강한 희소성 패널티를 적용할수록 제거되기보다는 오히려 더 지속적이고 더 집중된 형태가 된다. 따라서 대규모 활성화는 아키텍처적으로 견고한 것으로 보인다: 이들은 모델이 디코딩하는 표현이 무엇이든 재출현하며, 이는 이들이 우발적이 아닌 기능적 요소임을 시사하는 결과이다. 우리는 아키텍처 및 측정 코드를 공개한다.