PyTorchKR Papers

최신 논문

총 3,382편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06533v1cs.AI

입장서: 단순히 "사후에 수정"만 하지 마십시오: AI의 과학은 학습 역학을 연구해야 한다

Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

AI에 대한 과학적 이해란 무엇을 의미하는가? 모델(model)은 정적인 객체가 아닙니다. 이는 데이터, 목표, 아키텍처, 최적화 역학에 의해 형성되는 시간에 따라 진화하는 과정의 스냅샷입니다. 그러나 많은 AI 연구는 모델을 고정된 인공물로 취급하며, 왜 그러한 행동이 나타나는지 묻기보다는 학습(training) 후 행동을 분석합니다. 본 입장서는 AI의 과학이 사후 수정(post-hoc fixes)을 넘어서 모델 행동을 생성하는 학습 역학을 연구해야 한다고 주장합니다. 이러한 과학은 점진적으로 더 강력한 형태의 이해를 지원해야 합니다. 즉, 초기 학습 신호로부터 결과를 예측하고, 궤적이 잘못되었을 때 개입하며, 궁극적으로 원하는 속성을 더 신뢰할 수 있게 생성하는 학습 절차를 설계하는 것입니다. 스케일링 법칙은 손실(loss)에 대한 예측을 일상적인 것으로 만들었지만, 도전 과제는 이 성공을 능력, 바이어스, 강건성, 안전성 관련 행동으로 확장하는 것입니다. 우리는 과학사와 과학철학에 기반하여 이러한 이론들의 요구사항을 명확히 하고, 기계적 해석가능성, 공정성, 암기, 단순성 바이어스(simplicity bias)의 진전을 살펴보며, 구체적인 미해결 문제들을 식별합니다.

arXiv:2512.14391v3cs.LG

RePo: 컨텍스트 재배치 언어 모델

RePo: Language Models with Context Re-Positioning

문맥 내 학습(In-context learning)은 현대 대규모 언어 모델(LLM)의 기초이지만, 기존 아키텍처는 선형 또는 상수 위치 인덱스를 할당하여 경직되고 고정된 컨텍스트 구조를 강요합니다. 경직된 위치 정보는 입력 구조를 구성하는 부담을 어텐션(attention) 레이어에 전적으로 지우게 하여, 더 중요한 정보에 할당될 수 있는 어텐션 양을 줄입니다. 이를 해결하기 위해 우리는 컨텍스트 재배치를 통해 어텐션 레이어의 부담을 완화하는 새로운 메커니즘인 RePo를 제안합니다. 기존 접근 방식과 달리 RePo는 미리 정의된 순서에 의존하는 대신 문맥적 의존성을 포착하는 토큰 위치를 할당하기 위해 미분 가능한 모듈 $f_φ$를 활용합니다. OLMo-2 1B 및 7B 모델에 대해 지속적인 사전학습(pre-training)을 수행하여, RePo가 일반적인 짧은 컨텍스트 작업에서 경쟁력 있는 성능을 유지하면서도 노이즈가 포함된 컨텍스트, 구조화된 데이터, 더 긴 컨텍스트 길이와 관련된 작업에서 성능을 일관되게 향상시킴을 입증했습니다. 분석 결과 RePo는 멀리 떨어져 있지만 관련 있는 정보에 더 많은 어텐션 질량을 성공적으로 할당하고, 밀집되고 비선형인 공간에서 위치를 할당하며, 입력 컨텍스트의 내재된 구조를 포착하는 것으로 나타났습니다. 우리의 코드는 https://github.com/SakanaAI/repo 에 있습니다.