As Large Language Models (LLMs) deploy into mission-critical domains (e.g., finance, medicine, and law), output reproducibility has become a strict system requirement. While practitioners use greedy decoding to eliminate algorithmic stochasticity, empirical deployments with 16-bit precisions still exhibit catastrophic output divergence across heterogeneous GPUs. Through SASS-level profiling, we reveal that this inconsistency is fundamentally driven by truncation errors introduced during downcasting at kernel boundaries. However, achieving reproducibility via a global FP32 pipeline incurs prohibitive system penalties: bypassing 16-bit hardware accelerators hurts compute efficiency, while upcasting the KV cache doubles memory overhead. To bridge this gap, we propose Hybrid Error ALleviation (HEAL), a targeted intervention that approximates FP32 precision while resolving hardware constraints through two targeted mechanisms. First, recognizing that floating-point formats underutilize their bit-width for Q, K, V tensors, HEAL applies INT16 quantization that preserves numerical stability without expanding the KV cache footprint. Second, HEAL synthesizes high-precision matrix multiplications via an algebraic error compensation strategy, executing entirely on high-throughput 16-bit Tensor Cores. To evaluate our approach practically, we introduce MCR-Bench, a benchmark targeting reproducibility in mission-critical tasks. HEAL achieves the same level of reproducibility on downstream tasks as the FP32 baseline while reducing the performance overhead by up to 6.0$\times$.
Automated scores are often used to summarize how large language models describe brands across prompts, providers, and languages. Such scores can vary because the answers differ, because the scoring instrument behaves differently across texts or languages, or for both reasons. We examine this measurement problem in 12,933 responses from a design crossing 20 stored brand labels, eight query languages, three provider aliases, and 15 prompt identifiers. The outcome is the signed winning-class confidence from a multilingual sentiment classifier: neutral winners are coded zero, while positive and negative winners receive signed confidence. A crossed linear mixed model fitted to all responses assigns 26.49% of fitted variance to query language and 1.46% to brand. An exploratory refit after excluding English assigns 5.07% to language and 2.23% to brand. These percentages have different denominators: total fitted variance falls by 65.08%, and absolute brand variance falls by 46.65%. English contains 591 negative classifier scores among 1,620 answers, compared with 77 among 11,313 answers in the other seven languages. The result shows that the original variance decomposition is highly sensitive to English inclusion. It does not identify a causal English effect or establish that English answers are more negative toward the brands. The classifier was trained for tweet sentiment, receives no separate target-brand condition, and English is the only study language represented in its documented sentiment fine-tuning set. Automated score differences should therefore be checked as properties of both the answers and the measurement instrument before they guide substantive conclusions.
대규모 언어 모델(LLM) 기반 트레이딩 시스템 연구에서 체결 현실성(execution realism)은 여전히 표준화가 미흡하여, 백테스트, 시뮬레이션 및 포트폴리오 벤치마크 전반에 걸친 비교와 재현을 제한하고 있습니다. 본 논문은 체결 재현성 증거 감사가 중첩된 PRISMA-ScR 체계적 범위 고찰(systematic scoping review)을 제시합니다. 재현 가능한 8개의 쿼리 패밀리를 통해 쿼리 수준의 레코드 796건이 반환되었으며, DOI/제목 중복 제거 후 687건의 고유 레코드가 남았고, 101건의 보고서에 대해 원문 회수를 시도하여 직접 및 대체 오픈 액세스 경로를 통해 59건의 전문(full text)을 확보했습니다. 53건의 보고서는 2건의 맹검 저자 검증(validation) 패킷 조정 결과에 따라 확장된 증거 차팅(charting) 대상 잠정 적격으로 분류되었습니다. 차팅 프레임워크는 시점 통제(point-in-time controls), 시간적 분할(temporal splits), 홀드아웃 평가(held-out evaluation), 거래 비용 및 회전율, 체결 시맨틱, 유니버스 구성, 아키텍처 보고, 아티팩트 가용성을 개별적으로 평가합니다. 직접 트레이딩, 포트폴리오 또는 알파 구성, 벤치마크 연구는 공통의 성과 추정치(estimand)로 통합되지 않고 별도의 기술적 하위 그룹으로 유지됩니다. 검색 응답, 회수 시도 내역, 파일 해시, 증거 발췌본, 스크리닝 결정 및 코딩 워크시트는 리뷰 자료와 함께 아카이빙됩니다. 최종 필드 수준 집계치는 저자 검증이 완료될 때까지 의도적으로 공개를 보류합니다.
K-Dense BYOK(bring your own keys)는 모든 분야의 과학자를 위해 연구자의 자체 컴퓨터에서 실행되는 무료 오픈소스 AI 연구 어시스턴트이다. 연구자가 호스팅되거나 로컬에서 실행되는 원하는 모델(model)에 대한 접근 권한을 제공하면, 애플리케이션은 작업이 실행될 공간, 과학적 스캐폴딩 층(layer), 완전한 기록 등 그 외 모든 것을 제공한다. 각 프로젝트는 일반 폴더이므로 데이터, 코드, 결과 및 기록이 연구자가 관리하는 머신에 보관되며 해당 애플리케이션 없이도 수년 후에도 읽을 수 있다. 이는 세 가지 측면에서 챗 어시스턴트나 범용 코딩 에이전트(agent)와 구별된다. 첫째, 작성된 과학적 절차 라이브러리, 가이드형 워크플로 템플릿, 연구 데이터를 찾을 수 있는 카탈로그, 그리고 에이전트가 작업을 넘길 수 있는 리뷰어 및 작성자 역할을 함께 제공한다. 둘째, 항목들이 하나의 논거로 연결되고 추가만 될 뿐 절대 삭제되지 않는 리빙 랩 노트(Living Lab Notebook)를 유지한다. 셋째, 에이전트가 쓸 수 있는 도구가 전혀 없는 로그에서, 에이전트의 말을 그대로 믿는 대신 에이전트가 수행하는 동작을 관찰하여 발생한 일을 기록한다. 이러한 선택은 9개의 프론티어 모델을 대상으로 한 이전 벤치마크(benchmark)에서 가장 흔했던 실패인 모델의 과장된 주장(overclaiming)을 목표로 하며, 주장을 방지하기보다는 검증 가능하게 만든다. 사전에 확정된 루브릭에 따라 평가된 20개의 학제 간 연구 프롬프트(prompt)에서, K-Dense BYOK는 과학적 품질과 연구 실행력 모두에서 두 개의 매니지드 플랫폼을 앞섰다. K-Dense BYOK의 산출물은 실행된 소프트웨어를 기록한 유일한 산출물이었으며, 결과를 재생성하는 명령어를 함께 제공한 경우가 대부분인 유일한 산출물이었다. 매니지드 플랫폼 중 하나는 동일한 프론티어 모델을 실행했음에도 둘 다 제공하지 못했다. 이러한 환경(environment) 기록은 에이전트가 작성한 파일이었으며, 아직 소프트웨어 환경 자체를 캡처하지는 못하는 관찰된 로그의 일부는 아니었다. 코드는 MIT 라이선스 하에 https://github.com/K-Dense-AI/k-dense-byok 에서 이용할 수 있다.
많은 에이전트 안전성 평가 결과는 아직 부하 지지형 증거가 아니다. 동일한 명목상 결과(작업 성공, 공격 성공, 모니터 점수)가 실질적으로 다른 증거 체계 위에 놓일 수 있다. 캡처된 증거가 주장이 의존하는 결정을 재구성할 수 있는지 여부를, 재구성 가능성을 평가 유효성 지표로 점수화하는 벤더 중립적·실행 가능한 도구는 아직 없다. 본 논문은 8개의 결정-속성 클래스에 대한 속성 수준 재구성 가능성 지표와, 실행(run)별 모니터 커버리지 릴리스 검사를 뒷받침하는 결정별 Evidence Sufficiency Cards를 출력하는 크로스 하니스 어댑터를 제안한다. 반사실 재현(counterfactual-replay) 개입 프로토콜을 명세하고, 그 재현 가능성 전제조건 탐지기를 구현하며, 주장-증거 과장 격차(claim-evidence overclaim gap)를 정의한다. 공개 및 번들 추적(trace)에서 새 모델 실행 없이, 표면적으로 동일한 해석을 공유하는 4개 입력에 걸쳐 12개 필드 충분성은 0.458–0.833 범위이며, 재현 전제조건은 점수가 매겨진 모든 추적에서 충족되지 않았다. 합성 릴리스 게이트 쌍에서 충분성 게이트는 원시(raw) 변형(0.542)을 차단하고 계측(instrumented) 변형(0.667)은 통과시킨다. 안전성 평가 주장은 재구성 가능성 벡터와 함께 전달되어야 하며, 재현성 패키지가 보고된 모든 수치를 재생성한다.
컨테이너화는 재현성, 이식성, 환경 일관성을 제공하며 머신러닝(ML) 분야에서 점점 더 필수적인 요소가 되고 있다. 기존 연구들이 Dockerfile 구조와 모범 사례를 분석해왔으나, ML 워크플로우의 반복적 특성이 컨테이너 용량, 빌드 성능, 캐싱 동작에 미치는 영향을 ML 프로젝트에 특화하여 심층 분석한 연구는 없었다. 본 논문에서는 1,993개의 ML 관련 Dockerfile을 대상으로 한 최초의 대규모 실증 연구를 제시하며, ML 프로젝트 내 컨테이너 역할 및 빌드 동작에 대한 정량적 분석과 리팩토링 관행에 대한 정성적 조사를 결합하였다. 분석 결과, 컨테이너는 학습(training), 추론(inference), 인프라 전반에 걸쳐 각기 다른 역할을 수행함을 확인하였다. 컨테이너 크기는 평균 10.27 GB로 크며, 빌드 시간은 약 8.84분으로 길게 소요된다. 전체 커밋의 44.4%가 재빌드를 유발하는데, 이는 주로 컨텍스트 파일 변경(96.4%)에 기인하며, 재빌드를 시작하는 커밋의 주된 동기는 실험임을 확인하였다. 부분적인 캐시 재사용에도 불구하고 재빌드 작업의 71%가 중복 연산으로 낭비된다. 안정적인 프로젝트들로부터 빌드 효율을 높이고 컨테이너 용량을 줄이는 7가지 반복적인 ML 특화 Dockerfile 리팩토링 패턴을 도출하였다.
과학 출판은 여전히 주로 정적 원고를 중심으로 조직되어 있지만, 과학적 진전의 상당 부분은 암묵적 노하ow에 달려 있다: 코드 실행 방법, 그림 재현, 엣지 케이스 해석, 유용한 후속 연구 방향 선택, 실패한 경로 회피 등. 대규모 언어 모델 에이전트는 지식뿐 아니라 운영상의 노하ow도 미래의 독자와 연구자가 직접 활용할 수 있는 형태로 출판할 기회를 제공한다. 본 논문은 논문을 코드, 데이터, 환경 정보, 재현성 지침, 에이전트 대상 지시 파일과 함께 패키징하기 위한 경량 저장소 형식인 Agentic Publication Protocol(APP)을 개요한다. APP는 버전 관리 저장소를 출판 객체로 취급하며, \texttt{AGENTS.md}와 선택적 skills를 사용하여 연구를 설명하고, 가능한 경우 핵심 결과를 재현하며, 후속 연구를 지원할 수 있는 논문 에이전트를 정의한다. 우리는 프로토콜의 설계 원칙과 세부 사항, 또한 해당 프로토콜 하에서 논문을 출판하는 데 유용한 에이전트 skills를 설명한다. 또한 프로토콜 및 관련 에이전트 skills를 평가하고 개선하기 위한 개발 도구를 설명한다. 마지막으로, 에이전트 시대의 과학 연구 미래에 대한 더 넓은 논의를 제공한다.
재현성 위기(reproducibility crisis)는 AI 연구 커뮤니티를 문서화 관행 개선 방향으로 이끌었다. 여러 연구가 방법론적 문제를 확인했고, 이에 대응하여 해당 분야에서 가장 영향력 있는 학회들은 재현성 체크리스트를 도입했다. 우리는 지난 10년간 5개 주요 AI 학회에 게재된 모든 논문을 평가하여, 시간에 따른 문서화 관행의 변화 여부를 파악하고자 한다. 7개의 재현성 변수를 식별하고 품질을 보증한 뒤 56,800편의 논문을 분석에 활용했다. 분석 결과 2014년부터 2024년까지 문서화 관행이 개선되었음을 보여준다. 코드와 데이터를 모두 공유하는 논문은 11%에서 64%로 거의 6배 증가했다. 선행 연구의 실증적 재현성 비율을 바탕으로, 문서화 관행으로부터 추정한—직접 검증이 아닌—재현성은 2014년 28%에서 2024년 64%로 증가한 것으로 보인다. 문서화 관행의 개선은 재현성 체크리스트 도입 이전부터 나타났으며, 이는 형식적 요건에 대한 직접적 대응이라기보다 개방 과학(open science)으로의 더 넓은 움직임을 반영함을 시사한다.
대규모 언어 모델(LLM) 채점기(LLM-as-judge)의 샘플링 온도(temperature)를 0으로 두면 채점이 결정론적이라는 가정을 일본 AISI의 aisev 안전성 평가 코드와 690회 API 실험으로 검증했으며, 온도·시드 미설정 시 경계 항목에서 통과/실패가 최대 약 50%까지 뒤바뀌고 temperature=0·그리디 디코딩(top_k=1)으로도 7개 경계 항목 중 1~2개는 재현 불가능함을 보였다. 단일 실행 판정만 보고하는 평가 하네스는 노이즈를 안전성으로 오인할 수 있으므로, 채점기 불일치를 점수와 함께 핵심 건전성 지표로 다루어야 한다.
Agentic AI systems can behave differently across runs: the same request may produce a different plan, a different tool call, a different code edit, or a different final answer. Such variability arises from several layers that are often conflated. At the core of many current agents is a foundation model, a large pretrained model adaptable to many downstream tasks, embedded in an orchestration loop that plans, calls tools, observes results, and updates state. One explicit intrinsic source of variability in such systems is token generation: the model computes scores over possible next tokens, the scores are converted into probabilities, and a decoder may sample tokens using a pseudo-random number generator. A small sampled token difference can then propagate upward into a different tool call, code path, search query, or agent state. Other sources of variability are extrinsic to token sampling, including changing environments, live data, serving infrastructure, batch effects, and numerical details. By separating these layers, this tutorial clarifies what it means to call agentic AI systems stochastic, when such variability can be reproduced under matched conditions, and why deterministic execution need not imply identical behavior in deployed settings.
논문과 공개된 코드로부터 연구 결과를 재현하는 것은 과학적 진보의 핵심입니다. 기존 연구에서는 대규모 언어 모델(LLM) 에이전트가 재현성을 보조할 수 있는지 평가하기 위한 벤치마크를 도입했으나, 데이터 큐레이션과 평가에 막대한 수작업이 필요하기 때문에 확장하기 어렵습니다. 우리는 현실적인 재현 방해 요소(reproduction blockers)에 대해 자연적으로 발생하는 지도 신호로서 사람이 제기한 GitHub 이슈를 활용하는, 확장 가능한 재현성 평가 프레임워크인 ReproRepo를 소개합니다. 우리는 주요 컨퍼런스의 1,149편의 최근 머신러닝 논문에 ReproRepo를 적용하고 4가지 최첨단 모델-에이전트 구성을 평가했습니다. 결과에 따르면 LLM 에이전트는 코드를 실행하지 않고도 논문-저장소 쌍에서 많은 실제 재현성 문제를 식별할 수 있습니다: 본 연구에서 가장 우수한 에이전트인 Codex with GPT-5.5는 연구 대상 논문의 약 90%에서 최소 하나 이상의 의미적으로 관련된 사람이 보고한 방해 요소를 찾아냈습니다. 추가 분석 결과, 에이전트는 명백한 실패를 드러내고 올바른 의미적 영역을 식별하는 데 특히 효과적이지만, 정확한 위치 파악(localization)에는 여전히 부족할 수 있음을 보여줍니다. ReproRepo는 실제 재현성 감사에 대한 LLM 에이전트의 향후 평가를 위해 재사용 가능하고 확장 가능한 프레임워크로 활용될 수 있습니다. 우리의 코드는 https://github.com/LithiumDA/ReproRepo에서 공개됩니다.
자원 집약적인 사회 및 행동 과학의 재현성 평가 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 자동화 파이프라인을 제안합니다. 제안된 방법은 인간 재분석가보다 높은 비율로 원래 연구와 동일한 질적 결론에 도달하여 LLM이 재현성 평가를 위한 확장 가능한 도구가 될 수 있음을 입증했습니다.
데이터 유출(기준선에서 사용할 수 없는 정보로 모델이 오염되는 것)은 기계 학습 기반 과학에서 가장 지배적인 재현성 실패 원인이지만, 검출 도구는 학습 코드, 외부 데이터 또는 도메인 전문 지식을 필요로 합니다. 감사자가 가장 자주 보유하는 산출물인 모델의 출력에 대해 작동하는 도구는 없습니다. 우리는 예측과 결과만으로 유출에 대해 무엇을 결정할 수 있는지 질문합니다. 우리는 유출 진단이 예측 위험/결과 법칙의 범함수이며, 적절한 점수 규칙(proper scoring rules) 및 의사결정 곡선 분석과 연결된 임계값 가중치에 의해 매개변수화되는 의사결정 이론적 프레임워크를 제시합니다. 우리는 명확한 불가능성을 증명합니다: 정직한 모델의 보정(calibration) 및 식별력(discrimination)과 일치하는 재보정된 유출은 예측의 *어떤* 함수로도 정직한 성능과 구별할 수 없으므로, 이 광범위한 클래스는 달성 가능한 식별력에 대한 외부에서 제공된 상한선에 대해서만 검출 가능합니다. 그 다음 우리는 유출이 숨길 수 없는 것을 증명합니다: 거의 레이블 유출의 특징인 거의 결정론적인 하위 그룹은 비결정론적 결과의 합법적인 예측기가 만들어낼 수 없는 지속적인 단위 순도(unit-purity) 헤드를 생성하며, 이는 사전 정보 없는 테스트를 제공합니다. 이러한 결과들은 유출을 오보정된(miscalibrated), 광범위하게 보정된(broad-calibrated), 결정론적(deterministic)의 3가지로 분류하며, 각각은 일치하는 검출기와 실패 모드를 가집니다. 우리는 등급화된 심각도가 알려진 시간 창 기반 동반질환 유출을 사용하여 영국 바이오뱅크(UK Biobank)에서 검증하며, 이 종점에서 $Δ\cstar \approx 0.007$의 검출 하한선을 측정했습니다. 이 값 미만에서는 잔여 유출이 출력에서 검출할 수 없으며, 결론을 바꿀 수 없을 만큼 작습니다. 수치적 하한선은 코호트 및 종점에 따라 다르지만, 구조적 교훈은 일반적입니다. 출력 전용 검출은 잔여 유출이 정직하게 더 강력한 예측기와 구별할 수 없는 경우 실패합니다. 이 테스트는 범용 하드웨어에서 1초도 안 되는 시간 안에 예측 벡터에 대한 결과를 반환합니다.
최근의 일화적인 증거는 AI 코딩 에이전트가 원본 데이터와 코드가 주어지면 발표된 연구 결과를 재현할 수 있음을 시사하지만, 사회과학 전반에 걸친 체계적인 평가는 여전히 제한적입니다. 기존 평가 벤치마크는 규모가 작거나, 올바르게 실행되지 않는 코드와 같은 재현 자료 자체의 문제로 인해 에이전트 성능을 왜곡하는 등 부족한 점이 있습니다. 이에 본 연구에서는 SocSci-Repro-Bench를 소개합니다. 이 벤치마크는 4개 학문 분야와 13개 실질적 영역에 걸친 221개 작업으로 구성되어 있으며, 사용 가능한 자료로 결과가 완전히 재현 가능한 연구나 데이터 누락으로 인해 재현 불가능함이 명백한 연구를 바탕으로 구축되어 에이전트의 재현 능력을 분리하여 측정할 수 있게 합니다. 두 가지 최첨단 코딩 에이전트인 Claude Code와 Codex를 평가한 결과, 두 에이전트 모두 상당 부분의 사회과학 연구 결과를 재현할 수 있음을 확인했으며, Claude Code가 Codex보다 현저히 더 우수한 성능을 보였습니다. 이러한 재현율은 유사한 재현 가능성 벤치마크에서 일반적인 대규모 언어 모델(LLM) 기반 에이전트에 대해 이전에 보고된 수치를 상당히 초과합니다. 두 에이전트 모두 근본적인 연구 질문 식별이 필요한 추론 작업에서도 강력한 성능을 보였으며, 추가 분석 결과 이러한 결과가 주로 암기에 의해 주도되는 것은 아님을 시사합니다. 재현 자료와 함께 원본 논문 PDF를 제공하면 성능이 다소 향상되지만, 재현이 불가능한 작업에서는 바이어스(bias)가 발생합니다. 또한, 에이전트가 미묘한 프롬프트 프레이밍(prompt framing)을 통해 확인적 사양 검색(confirmatory specification search) 쪽으로 유도될 수 있음을 보여줍니다. 종합적으로 이러한 발견은 최소한 일부 최첨단 코딩 에이전트가 계산 워크플로우의 신뢰할 수 있는 실행자로 기능할 수 있음을 시사하며, AI 시스템이 과학적 생산에서 더 큰 역할을 담당하게 됨에 따라 신중한 벤치마킹과 프롬프트 설계의 필요성을 강조합니다.