PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.08663v2cs.LG

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2607.08775v1cs.CL

HALO: 언어 모델을 위한 하이브리드 적응적 잠재 추론

HALO: Hybrid Adaptive Latent Reasoning for Language Models

우리는 소량의 적응적 추가 연산을 통해 동결된 사전학습 언어 모델을 개선하는 방법을 연구한다. 간단한 접근법은 백본 은닉 상태 위에 추가적인 정제 단계를 적용하는 것이지만, 고정된 추가 정제는 비효율적일 수 있다: 1단계 정제 헤드는 너무 약할 수 있고, 전체 시퀀스에 걸쳐 2단계 정제를 강제하면 전이 성능 향상 없이 연산량만 증가할 수 있다. 우리는 HALO를 소개한다. HALO는 거친 정제 단계와 토큰 스코어링 및 단조 토큰 중단(monotonic token halting)으로 선택된 토큰 부분집합에 대한 선택적 2단계 잠재 정제를 결합한 하이브리드 적응적 잠재 정제 방법이다. MMLU-Pro와 GPQA-Diamond로 구성된 주요 공개 벤치마크 비교에서, HALO는 논문 대상 방법들 중 전체 평균 최고 성능을 달성하여 동결된 백본, fixed-1, fixed-2 기준선을 모두 능가한다. 내부 분석에서는 HALO가 fixed-1보다 적은 평균 정제 단계를 사용하고 fixed-2보다 훨씬 적은 단계를 사용하면서도 fixed-2와 거의 동일한 토큰 정확도 수준에 도달함을 추가로 보여준다. 이러한 결과는 핵심적인 이점이 단순히 더 많은 정제에 있는 것이 아니라 정제의 더 나은 배분에 있음을 시사한다: HALO는 두 고정 기준선 중 어느 것보다 적은 컨트롤러 연산량을 사용하면서도 논문 대상 결과에서 가장 강력한 성능을 달성한다.

arXiv:2606.18208v1cs.LG

Looped World Models

Looped World Models

현재 월드 모델은 근본적인 긴장 관계에 직면해 있다. 충실한 장기 시뮬레이션은 깊은 연산이 필요하지만, 더 깊은 모델은 배포 비용이 크고 오류가 누적되기 쉽다. 이를 해결하기 위해 Looped World Models(LoopWM)를 제안한다. 이는 월드 모델링을 위한 최초의 루프형 아키텍처이다. 우리 방법은 매개변수를 공유하는 트랜스포머 블록을 통해 잠재 환경 상태를 반복적으로 정제한다. 이를 통해 각 예측 단계의 복잡도에 맞춰 깊이가 자동으로 조절되는 적응적 연산으로, 기존 접근법 대비 최대 100배의 매개변수 효율을 달성한다. 모델 크기와 학습 데이터 스케일링과는 직교적으로, LoopWM은 반복적 잠재 깊이를 월드 시뮬레이션을 위한 새로운 스케일링 축으로 정립하며, 이는 커뮤니티를 크게 앞으로 이끌 수 있다.