arXiv:2611.24379v1 cs.AI

MoE-Context: 모델에게 필요한 것만 보여 주기

MoE-Context: Show the Model Only What It Needs

Vedant Navale

제출 2026-11-19

한국어 초록

AI 에이전트는 매 단계마다 전체 이력을 읽는다. 사람은 그렇게 일하지 않는다. 우리는 그 순간에 필요한 것만 간직하고 나머지는 다시 떠올릴 수 있는 대략적인 메모로 남겨 둔다. MoE-Context는 이를 언어 모델에 적용한다. 컨텍스트는 블록으로 나뉜다. 각 단계 전에 빠른 예/아니오 패스가 그 단계에 필요한 블록을 결정하고, 나머지는 다시 불러올 수 있는 한 줄 메모로 남으며 아무것도 삭제되지 않는다. 우리가 구축한 버전에서는 하나의 모델이 이 결정을 내린 뒤 답하며, 숨겨진 블록은 제거되지 않고 마스킹되는 단일 키-값 캐시를 사용한다. Qwen3-1.7B와 합성 조회 과제를 사용한 노트북 환경에서, 필요한 블록만 보여 주면 정확도가 120개 중 93개에서 119개로 높아지고, 마스킹된 블록은 삭제된 블록만큼 완전히 숨겨진다. 모델 자체의 선택이 약한 부분이다. 여분의 출력 행에 기록한 지도 학습 선형 프로브는 정확도를 120개 중 80개에서 110개로 끌어올리지만, 이 과제에서는 단순한 키워드 검색이 완벽하게 선택하며 프로브는 두 번째 과제로 전이되지 않는다. 우리는 이러한 결과를 숨김없이 보고하며, 블록 전환이 가능하게 하는 두 가지 저렴한 활용 패턴, 즉 실패한 시도의 취소와 새 컨텍스트 없이 하위 에이전트를 실행하는 방법도 함께 보고한다.

원문 초록

AI agents read their whole history at every step. People do not work like that: we keep what the moment needs and hold the rest as a rough note we can recall. MoE-Context applies this to language models. The context is split into blocks. Before each step a fast yes or no pass decides which blocks the step needs; the rest stay as one-line notes that can be brought back, and nothing is deleted. In the version we build, one model makes this decision and then answers, over a single key-value cache where hidden blocks are masked rather than removed. On a laptop with Qwen3-1.7B and a synthetic lookup task, showing only the needed block raises accuracy from 93 to 119 of 120, and a masked block is as hidden as a deleted one. The model's own picking is the weak part. A supervised linear probe written into spare output rows lifts its accuracy from 80 to 110 of 120, but simple keyword search picks perfectly on this task, and the probe does not transfer to a second task. We report these results openly, along with two cheap usage patterns that block switching enables: undoing a failed attempt and running subagents without a new context.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24379v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.