PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11019v1cs.CV

원시 비디오를 활용한 언어 모델의 중간 학습

Mid-Training Language Models on Raw Video

다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.

arXiv:2609.32791v2cs.AI

$T^5$: 강화 중간 학습에서 토큰 수준 사고를 위한 트윈 크리틱 학습

$T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training

강화 중간 학습(Reinforcement mid-training)은 언어 모델이 라벨이 없는 텍스트로부터 내부 사고(internal thoughts)를 학습할 수 있도록 하지만, 효율적인 토큰(token) 수준 신용 할당(credit assignment)은 여전히 어렵습니다. 기존의 그룹 상대적(group-relative) 방식들은 비용이 큰 반복 생성을 필요로 합니다. 학습된 크리틱(learned critic)은 단일 롤아웃(rollout) 피드백을 제공하지만, 정확한 리턴 예측만으로는 신뢰할 수 있는 정책 업데이트를 보장하지 못합니다. 본 연구의 분석에 따르면 학습(training)--추론(inference) 불일치와 PPO 클리핑으로 인해 이점(advantage) 추정치들의 공통 오프셋이 상쇄되지 못하여 추가적인 업데이트 표류(update drift)가 유발됩니다. 이에 본 연구는 단일 생성 궤적으로부터 토큰 수준 이점을 보정하는 트윈 크리틱(twin-critic) 방식인 \tfour{}를 제안합니다. 웜업(warmup) 및 홀드아웃 검증을 거친 후 크리틱들은 두 가지 이점 추정치를 제공하며, 이는 조건부 모멘트 안장점(conditional-moment saddle-point) 목적함수로 학습된 행동 의존적 가중치를 통해 결합됩니다. 이 목적함수는 각 접두 문맥(prefix)에서의 평균 이점을 0에 가깝게 유도하며, 신호 보존 제약식은 이러한 보정이 학습 신호를 지워버리는 것을 방지합니다. 텍스트 위치 전반에 걸쳐 정보를 공유함으로써 각 접두 문맥에 대한 반복 샘플링을 피할 수 있습니다. 이론적으로 본 연구는 신호 보존 제약 조건 하에서 최적의 혼합을 규명하고, 잔차 평균 유도 표류에 대한 상한을 설정합니다. 실험 결과, 최신 크리틱 프리(critic-free) 방식과 비교하여 \tfour{}는 평균 벤치마크 성능을 7.8\% 향상시키고 평균 학습 단계 시간을 최대 63.4\% 단축함을 보여줍니다.

arXiv:2607.12463v3cs.AI

코딩 에이전트 기반 모델의 중간 학습을 위한 함수 인식 중간 채우기(FIM)

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

코딩 에이전트는 진행 중인 추론에 외부 도구의 반환값을 통합해야 하며, 이 능력은 코드에 대한 표준 좌→우 사전학습(pre-training)에서 전방 방향으로만 드러납니다. 우리는 코딩 에이전트의 행동-관측-지속(action-observation-continuation) 루프가 구조적으로 함수 호출 지점과 동형(isomorphic)이라는 점을 관찰합니다. 호출자(caller)가 인자를 바인딩하고, 피호출자(callee)가 다른 곳에서 계산된 값을 반환하며, 하위 코드가 그 값을 소비합니다. 이러한 조건화(conditioning) 구조는 일반 코드에서 인터넷 규모로 존재합니다. 우리는 함수 인식 중간 채우기(FIM) 중간 학습을 통해 이를 활용합니다. 이는 프로그램 의존성 그래프 분석과 복잡도-추론 가능성(complexity-inferability) 이중 기준을 통해 선택된 함수를 마스킹하는 자기지도(self-supervised) 목적 함수입니다. Qwen2.5-Coder-Instruct(7B/14B)와 Qwen3-8B를 968개 GitHub 저장소에서 수집한 26억 토큰 규모의 오염 제거(decontaminated) 코퍼스로 중간 학습한 뒤, 기존 에이전트형 사후 학습 파이프라인을 적용합니다. 중간 학습은 7B/14B에서 SWE-Bench-Verified를 +2.8/+3.0, Qwen3-8B에서 +3.2 향상시킵니다. SWE-Bench-Lite에서는 동일 모델에서 +3.7/+4.0/+5.4의 향상을 얻습니다. 이 향상은 두 가지 사후 학습 파이프라인(R2E-Gym, SWE-Smith)과 비 Qwen2.5 기반(Qwen3-8B with SWE-Lego)에서도 유지됩니다. 도메인 내 이득을 넘어, 중간 학습은 에이전트형 사후 학습이 그렇지 않으면 비에이전트 코딩(예: LiveCodeBench) 및 비코딩 도구 사용 벤치마크(tau-bench, BFCL)에 가하는 능력 침식을 완화합니다. 중간 학습 코퍼스는 Python 코드만 포함하지만, 함수 호출 귀납적 바이어스(inductive bias)는 사후 학습 후에도 유지되어 일관된 향상을 가져옵니다.