PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00544v1cs.CV

Memorizon: 컨텍스트 윈도우를 넘어서는 월드 모델 학습

Memorizon: Training World Models Beyond Their Context Window

스트리밍 월드 모델(world model)은 반복적인 방문 전반에 걸쳐 한 장소를 일관되게 렌더링해야 합니다. 이러한 재방문을 직접 지도학습(supervision)하려면 두 방문을 모두 포착하는 학습(training) 샘플이 필요한데, 이는 종종 수 분에 걸쳐 발생합니다. 그러나 전체 구간에 대한 밀집 어텐션(dense attention)은 2차 비용(quadratic costs)을 초래하여 긴 구간의 지도학습을 비싸게 만듭니다. Memorizon은 이러한 결합을 끊어냅니다. 즉, 지도학습에는 긴 구간이 필요하지만 어텐션에는 필요하지 않은데, 두 방문이 중간에 위치한 모든 프레임을 포함하지 않고도 단일 순전파(forward pass)를 공유할 수 있기 때문입니다. 학습 샘플은 어떤 길이의 구간도 포괄하지만, 마지막 $k$개 청크에 대해서만 점수가 매겨집니다. 그 이전의 히스토리를 토큰화하는 대신, 점수가 매겨지는 각 청크는 카메라 공동 가시성(co-visibility)을 통해 자체 상위 $K$개의 잠재 변수(latent)를 검색하며, 이러한 요청들의 합집합이 공유 뱅크(bank)를 형성합니다. 이 뱅크는 $kK$로 제한되므로 구간이 아무리 길어도 시퀀스는 제한된 상태를 유지합니다. 가장 짧은 구간에서 이 방식은 정확히 기존 학습과 동일합니다. 뱅크를 추가하면 스텝당 비용이 한 번 증가하지만, 그 이상에서는 구간이 길어져도 비용이 거의 들지 않으며 100초에서 400초로 늘려도 스텝 시간은 12%만 증가합니다. 슬라이딩 윈도우 기준선(baseline)과 비교할 때, 검색을 통해 모든 분할에서 재방문 일관성이 향상되며, 각 회귀의 첫 방문에 도달할 만큼 충분히 긴 구간은 이미지 품질의 일부 손실을 감수하고 24%에서 30%를 추가로 향상시킵니다. 해당 구간을 넘어서면 길이가 더 길어져도 더 이상 도움이 되지 않습니다. 다른 에피소드에서 뱅크를 채우면 재방문 상관관계가 83% 감소하므로, 모델이 검색된 정보를 실제로 활용함을 보여줍니다. 프로젝트 페이지: https://tingtingliao.github.io/memorizon

arXiv:2607.05583v2cs.CL

ResonatorLM: 효율적인 장문맥 언어 모델링을 위한 인과적 공명 필드 혼합

ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modeling

ResonatorLM은 트랜스포머의 셀프 어텐션을 물리학에서 착안한 감쇠 공명자(damped resonator) 기반의 인과적 공명 필드 믹싱으로 대체하는 새로운 언어 모델 아키텍처로, 학습 및 프리필 시에는 O(n log n) FFT 합성곱을, 자기회귀 디코딩 시에는 고정 크기 순환 상태를 사용한다. 6M 파라미터 설정에서 32K 토큰 기준 디코딩 속도 6.47배 향상을 달성하면서 WikiText에서 정확도도 55.32%에서 61.31%로 향상되었다.

arXiv:2601.12145v3cs.LG

Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

소프트맥스 어텐션의 어텐션 싱크(attention sink)와 확률 질량 분산 문제를 해결하기 위해, 임계값 차분 어텐션(TDA, Threshold Differential Attention)은 길이 의존적 게이트 기반의 행 단위 극값 임계화와 차분 트랜스포머의 억제적 뷰를 결합한 새로운 어텐션 메커니즘을 제안한다. TDA는 이론적으로 행당 허위 생존자 수를 O(1)로 제어함을 증명하며, 실험적으로 99% 이상의 완전한 영값(sparsity)을 달성하면서 표준 및 긴 컨텍스트 벤치마크에서 경쟁력 있는 성능을 유지한다.