mimeo: 공개 전문가 코퍼스를 에이전트 스킬로 컴파일하고 무엇이 전이되는지 검증
mimeo: Compiling Public Expert Corpora into Agent Skills and Testing What Transfers
한국어 초록
이름 있는 전문가에 관한 파일을 에이전트에게 주면 찾기 어려운 자료를 제공하거나, 알아볼 수 있는 페르소나를 만들거나, 에이전트의 판단을 바꿀 수 있다. 이들은 서로 다른 주장이다. 우리는 각각을 검증한다. mimeo는 한 사람의 공개 작업을 찾고, 추출한 각 인용을 캐시된 원문과 대조해 검증한 뒤, 에이전트가 불러올 수 있는 파일을 작성하는 오픈소스 도구이다. 기록된 8회 빌드는 평균 38회의 모델 호출이었고, 검증 단계에서 추출 인용의 13.2%를 거부했다. 하나의 코딩 에이전트 하네스로 네 개의 전문가 파일을 시험했다. 지식 접근 효과가 가장 분명했다: mimeo는 난해하고 인용이 많은 20문항 모두에 답했고, 폐책(closed-book) 조건 중 어느 것도 10문항을 넘기지 못했다. 동일 페이지에 대한 키워드 검색(BM25)은 15–17문항에 답했으며, 이 표본만으로는 그 격차를 해소할 수 없다. 그라운딩(grounding)에서는 한 가지 뚜렷한 이점이 보였다: 모델 기억으로 작성한 페르소나는 모든 채점자 하에서 20개 답 중 1–4개에서 문서화된 입장을 잘못 서술했고, 일반 에이전트와 mimeo는 그렇지 않았다. 모든 페르소나는 짧은 개방형 프롬프트에서 쉽게 식별되었고, 과제 자료를 추가하면 식별률이 18–23%p 낮아졌다. mimeo는 기억 기반 프로필보다 더 식별되지 않았다. 판단 전이는 두 시험 모두 상한(ceiling)에 도달해 미결로 남았다: 모든 조건이 공학 과제에 심어 둔 문제의 94–97%를 찾았고, 16개의 새 응용 시나리오에서 94–100%를 받았다. AI가 매긴 "전문가처럼 들린다" 점수는 심사 모델에 따라 달랐다: 네 명 중 두 명은 모델 고정관념(stereotype)에 기반한 답을 선호했고, 두 명은 동일 텍스트에서 차이를 찾지 못했다. 이는 단일 AI 심사자에 의존하지 말아야 한다는 경고이다. 증거는 mimeo를 그 사람의 판단이 실증적으로 전이되었다고 보기보다, 한 사람에 대한 간결하고 검 inspectable한 참고 자료로 지지한다. 툴킷과 전문가 프로필: https://github.com/K-Dense-AI/mimeo
원문 초록
Giving an agent a file about a named expert can supply hard-to-find material, produce a recognizable persona, or change what the agent decides. These are different claims. We test each one. mimeo is an open-source tool that finds a person's public work, checks each extracted quotation against the cached source text, and writes a file an agent can load. Eight logged builds averaged 38 model calls; the check rejects 13.2% of extracted quotations. We tested four expert files with one coding-agent harness. Knowledge access was clearest: mimeo answered all 20 obscure, quotation-heavy questions; no closed-book condition answered more than 10. Keyword search (BM25) over the same pages answered 15-17, a gap this sample cannot resolve. Grounding showed one clear benefit: personas written from model memory misstated a documented position on 1-4 of 20 answers under every grader; the plain agent and mimeo never did. Every persona was easy to spot on short open prompts, and adding task material lowered identification by 18-23 points. mimeo was no more identifiable than a from-memory profile. Judgment transfer remained unresolved because both tests hit their ceiling: every condition found 94-97% of the problems planted in engineering tasks and scored 94-100% on 16 new application scenarios. An AI-judged "sounds like the expert" score changed with the judge: two of four preferred answers based on a model's stereotype, while two found no difference on the same text. That is a caution against relying on a single AI judge. The evidence supports mimeo as a compact, inspectable reference on a person, not as a demonstrated transfer of their judgment. Toolkit and expert profiles: https://github.com/K-Dense-AI/mimeo
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00453v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.