k-dense.ai

이 이메일 도메인이 관측된 논문 5건

arXiv:2610.00084v1cs.AI

Scientific Agents: 과학 작업에서 직업별 시스템 프롬프트 평가

Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

직업별로 상세화된 시스템 프롬프트(system prompt)는 일관된 정확도 향상 없이 응답당 토큰(token) 사용량과 예상 비용을 증가시킨다. 본 연구에서는 Pi 에이전트(agent) 환경 내 OpenRouter를 통한 Gemini 3.8 Flash를 활용하여 503개의 직업별 AGENTS.md 프로필로 구성된 오픈소스 말뭉치인 Scientific Agents를 평가한다. 매칭된 프로필을 최소 기준선("You are a helpful assistant"), 프로필의 시작 역할 문장, 일반적인 과학적 엄밀성 가이드, 관련 없는 도메인의 프로필이라는 네 가지 대조군과 비교한다. 9개의 텍스트 기반 과학 벤치마크(4,531개 표본 문항, 100개 매칭 프로필)에 걸쳐, API 오류 재시도 후 4,488개 항목이 5개 조건 모두를 완료하였으며 자동화된 규칙 기반 채점으로 평가되었다. 프로필과 기준선(baseline) 간의 평균 정확도 차이는 -0.6%p(고정 작업 전반에 걸친 95% 부트스트랩 신뢰구간 [-1.5, +0.2])였으며, 통계적으로 명확한 향상을 보인 벤치마크는 없었다. 매칭된 프로필은 1.5~2.3배 더 많은 출력 토큰을 생성했고 성공적인 호출당 2.2~4.5배 더 많은 비용이 들었다. 도구를 사용하는 60개의 BioMysteryBench 생물정보학 문제(기준선과 프로필 각각 3회 실행)에서 평균 해결률은 프로필 사용 시 46.7%, 기준선에서 56.7%로 -10.0%p의 차이(95% 신뢰구간 [-16.7, -3.3])를 보였으며, 이는 프로필 조건에서 더 빈번하게 발생한 토큰 및 시간 제한 중단에 기인했다. 더 긴 프롬프트는 한 가지 예상치 못한 운영상의 이점을 보였는데, SuperGPQA에서 빈번한 제공업체 API 누락으로 인해 짧은 기준선의 1차 통과 정답률이 54.0%에 불과했던 반면 프로필 조건에서는 71.6%였다. 일반 프롬프트와 불일치 프롬프트도 비슷한 신뢰도를 보였으므로, 이러한 이점은 도메인 전문성보다는 프롬프트 길이나 서식에서 비롯된다. 테스트된 모델(model)과 작업 전반에서 전체 직업 프로필을 기본값으로 로드하는 것은 정확도를 향상시키지 않으면서 비용을 상당히 증가시킨다. 프로필 섹션의 선택적 검색이나 개방형 과학 작업이 이를 변화시킬 수 있는지는 향후 검증 과제로 남아 있다.

arXiv:2610.00074v1cs.AI

K-Dense BYOK: 로컬에서 실행되며 해시 체인 기반의 연구실 노트를 유지하는 오픈소스 AI 연구 어시스턴트

K-Dense BYOK: An Open-Source AI Research Assistant That Runs Locally and Keeps a Hash-Chained Lab Notebook

K-Dense BYOK(bring your own keys)는 모든 분야의 과학자를 위해 연구자의 자체 컴퓨터에서 실행되는 무료 오픈소스 AI 연구 어시스턴트이다. 연구자가 호스팅되거나 로컬에서 실행되는 원하는 모델(model)에 대한 접근 권한을 제공하면, 애플리케이션은 작업이 실행될 공간, 과학적 스캐폴딩 층(layer), 완전한 기록 등 그 외 모든 것을 제공한다. 각 프로젝트는 일반 폴더이므로 데이터, 코드, 결과 및 기록이 연구자가 관리하는 머신에 보관되며 해당 애플리케이션 없이도 수년 후에도 읽을 수 있다. 이는 세 가지 측면에서 챗 어시스턴트나 범용 코딩 에이전트(agent)와 구별된다. 첫째, 작성된 과학적 절차 라이브러리, 가이드형 워크플로 템플릿, 연구 데이터를 찾을 수 있는 카탈로그, 그리고 에이전트가 작업을 넘길 수 있는 리뷰어 및 작성자 역할을 함께 제공한다. 둘째, 항목들이 하나의 논거로 연결되고 추가만 될 뿐 절대 삭제되지 않는 리빙 랩 노트(Living Lab Notebook)를 유지한다. 셋째, 에이전트가 쓸 수 있는 도구가 전혀 없는 로그에서, 에이전트의 말을 그대로 믿는 대신 에이전트가 수행하는 동작을 관찰하여 발생한 일을 기록한다. 이러한 선택은 9개의 프론티어 모델을 대상으로 한 이전 벤치마크(benchmark)에서 가장 흔했던 실패인 모델의 과장된 주장(overclaiming)을 목표로 하며, 주장을 방지하기보다는 검증 가능하게 만든다. 사전에 확정된 루브릭에 따라 평가된 20개의 학제 간 연구 프롬프트(prompt)에서, K-Dense BYOK는 과학적 품질과 연구 실행력 모두에서 두 개의 매니지드 플랫폼을 앞섰다. K-Dense BYOK의 산출물은 실행된 소프트웨어를 기록한 유일한 산출물이었으며, 결과를 재생성하는 명령어를 함께 제공한 경우가 대부분인 유일한 산출물이었다. 매니지드 플랫폼 중 하나는 동일한 프론티어 모델을 실행했음에도 둘 다 제공하지 못했다. 이러한 환경(environment) 기록은 에이전트가 작성한 파일이었으며, 아직 소프트웨어 환경 자체를 캡처하지는 못하는 관찰된 로그의 일부는 아니었다. 코드는 MIT 라이선스 하에 https://github.com/K-Dense-AI/k-dense-byok 에서 이용할 수 있다.

arXiv:2609.00065v2cs.CL

Scientific Agent Skills: 연구 에이전트를 위한 절차적 지식 라이브러리

Scientific Agent Skills: A Library of Procedural Knowledge for Research Agents

실험 분석을 요청받은 언어 모델 에이전트는 일반적으로 정상 작동하는 코드를 반환합니다. 하지만 그 분석이 타당한지(defensible)는 다른 문제입니다. 타당한 분석은 절차적 선택에 달려 있습니다. 즉, 해당 분야에서 어떤 검정을 인정하는지, 어떤 식별자 네임스페이스가 신뢰할 수 있는지, 그리고 결과에 어떤 주의사항이 수반되어야 하는지와 같은 선택입니다. 본 논문에서는 유전체학(genomics), 화학정보학(cheminformatics), 의료 영상, 연구 설계 및 과학 커뮤니케이션을 포함한 16개 실무 분야의 이러한 절차 163개를 모은 오픈 라이브러리인 Scientific Agent Skills를 소개합니다. 각 스킬은 버전 관리되며 사람이 읽을 수 있는 지침 파일을 중심으로 구성된 디렉터리입니다. 에이전트는 작업에서 요구할 때만 해당 파일을 로드하며, 디렉터리에는 참조 자료와 실행 가능한 스크립트가 함께 포함되어 있는 경우가 많습니다. 본 논문에서는 작업 수준 평가나 호스트 선택률은 보고하지 않습니다. 대신 문서 코퍼스의 두 가지 특성을 측정합니다. 163개 스킬 전체에 대한 상시 상주 설명은 200,000토큰 컨텍스트 윈도우의 7.1%를 차지하며, 모든 참조 파일을 로드할 경우 46개 중 29개에서 초과가 발생함에도 불구하고 문서화된 워크플로의 중앙값은 윈도우의 23.9% 이내에 들어맞습니다. 오픈 라이선스로 제공되며 https://github.com/K-Dense-AI/scientific-agent-skills 에서 이용할 수 있습니다.

arXiv:2608.21601v2cs.AI

K-Bench: 실제 과학 연구 에이전트 요청에 대한 모델 성능 측정

K-Bench: measuring model performance on real scientific agent requests

과학 인공지능을 위한 벤치마크는 대부분 채점이 가능하도록 작성됩니다. 객관식 질문, 참조 솔루션이 포함된 큐레이션된 에이전트 과제, 또는 생성 구조가 알려진 시뮬레이터 등이 이에 해당합니다. 하지만 실제 과학 연구에서의 요청은 이와 다르게 주어집니다. 명세가 불완전하고(underspecified), 첨부 파일이 포함되며, 정답(ground truth)이 존재하지 않습니다. 본 논문에서는 K-Dense Web의 실제 사용자 트래픽에서 표본 추출한 첫 턴(first-turn) 요청을 기반으로 구축되고, 동일한 샌드박스 환경에서 9개의 프론티어 모델이 엔드투엔드로 실행하여 1,602회의 완료된 에이전트 실행을 생성한 평가 체계인 K-Bench 01을 보고합니다. 3명의 블라인드 언어 모델 심사위원이 8개 차원의 루브릭을 기준으로 모든 실행을 평가했습니다. 해당 분야의 과학자가 경미한 수정만 거쳐 수용할 수준의 작업으로 정의된 8점 기준선(8-anchor) 루브릭에서, 세 심사위원 모두로부터 해당 기준선을 통과한 모델은 없었습니다. gpt-5.6-sol이 가장 높은 통합 평균(8.04)을 기록했으나 95% 신뢰구간([7.80, 8.23])이 기준선에 걸쳐 있으며, 세 심사위원 중 두 명은 claude-opus-5를 대신 1위로 평가했습니다. 이에 따라 본 연구는 시스템 간 순위를 재현 가능한 척도로, 절대적 점수 수준을 평가 도구의 속성으로 보고하며, 최고 순위는 아직 미결 상태인 것으로 보고합니다. 해당 없음 항목을 제외하고 각 평가의 8개 차원 점수와 종합 총점을 포함한 전체 39,934건의 채점 판정 중 47.6%가 8점 기준선에 미치지 못했습니다. 루브릭 전반에 걸친 난이도는 균일하지 않았습니다. 동일한 분모 조건에서 9개 모델 모두 일관되게 과학적 정확도(평균 6.22)가 커뮤니케이션(평균 7.33)보다 낮게 나타났습니다. 가장 두드러진 단일 실패 태그는 과장된 주장(overclaiming)으로, 전체 평가의 31.4%에서 나타났습니다. 우리는 과학 연구 에이전트에 있어 유의미한 정보는 단순한 리더보드 순위가 아니라 무엇이 전달되었는지, 무엇이 주장되었는지, 그리고 어떤 산출물(artifacts)이 생성되었는지에 대한 결합 분포라고 주장합니다.

arXiv:2609.00453v1cs.AI

mimeo: 공개 전문가 코퍼스를 에이전트 스킬로 컴파일하고 무엇이 전이되는지 검증

mimeo: Compiling Public Expert Corpora into Agent Skills and Testing What Transfers

이름 있는 전문가에 관한 파일을 에이전트에게 주면 찾기 어려운 자료를 제공하거나, 알아볼 수 있는 페르소나를 만들거나, 에이전트의 판단을 바꿀 수 있다. 이들은 서로 다른 주장이다. 우리는 각각을 검증한다. mimeo는 한 사람의 공개 작업을 찾고, 추출한 각 인용을 캐시된 원문과 대조해 검증한 뒤, 에이전트가 불러올 수 있는 파일을 작성하는 오픈소스 도구이다. 기록된 8회 빌드는 평균 38회의 모델 호출이었고, 검증 단계에서 추출 인용의 13.2%를 거부했다. 하나의 코딩 에이전트 하네스로 네 개의 전문가 파일을 시험했다. 지식 접근 효과가 가장 분명했다: mimeo는 난해하고 인용이 많은 20문항 모두에 답했고, 폐책(closed-book) 조건 중 어느 것도 10문항을 넘기지 못했다. 동일 페이지에 대한 키워드 검색(BM25)은 15–17문항에 답했으며, 이 표본만으로는 그 격차를 해소할 수 없다. 그라운딩(grounding)에서는 한 가지 뚜렷한 이점이 보였다: 모델 기억으로 작성한 페르소나는 모든 채점자 하에서 20개 답 중 1–4개에서 문서화된 입장을 잘못 서술했고, 일반 에이전트와 mimeo는 그렇지 않았다. 모든 페르소나는 짧은 개방형 프롬프트에서 쉽게 식별되었고, 과제 자료를 추가하면 식별률이 18–23%p 낮아졌다. mimeo는 기억 기반 프로필보다 더 식별되지 않았다. 판단 전이는 두 시험 모두 상한(ceiling)에 도달해 미결로 남았다: 모든 조건이 공학 과제에 심어 둔 문제의 94–97%를 찾았고, 16개의 새 응용 시나리오에서 94–100%를 받았다. AI가 매긴 "전문가처럼 들린다" 점수는 심사 모델에 따라 달랐다: 네 명 중 두 명은 모델 고정관념(stereotype)에 기반한 답을 선호했고, 두 명은 동일 텍스트에서 차이를 찾지 못했다. 이는 단일 AI 심사자에 의존하지 말아야 한다는 경고이다. 증거는 mimeo를 그 사람의 판단이 실증적으로 전이되었다고 보기보다, 한 사람에 대한 간결하고 검 inspectable한 참고 자료로 지지한다. 툴킷과 전문가 프로필: https://github.com/K-Dense-AI/mimeo