올바른 답을 계산한 LLM 에이전트도 여전히 틀린 답을 낼 수 있다. 에이전트 하네스는 긴 도구 출력을 컨텍스트 창에 두지 않고 파일로 저장하여, 에이전트가 필요할 때 검색하거나 읽게 하는 방식을 점점 더 많이 사용한다. 본 논문은 실제 과학 도구를 이용해 이 방식이 어디에서 정확도 손실을 일으키는지 묻는다. 사용한 도구는 USGS의 널리 쓰이는 지구화학 시뮬레이터 PHREEQC이며, 그 보고서는 846.8k자에 이르고 결정론적 특성 덕분에 출력된 모든 값을 추적할 수 있다. 에이전트는 이를 사용해 실행으로 검증된 158개의 객관식 문항에 답한다. 에이전트가 시뮬레이터 보고서를 컨텍스트에 두지 않고 섹션 인덱스를 통해 읽을 때, GPT-5.1과 GPT-5.2는 정확도가 각각 11.3점, 7.9점 하락한 반면 Claude Opus 4.6과 Claude Sonnet 4.6은 감지 가능한 손실이 없었다. 기록된 시뮬레이터 호출 11,007건을 모두 다시 실행한 결과, 두 GPT 모델은 정답 키 값을 계산하는 빈도가 이전과 거의 같았으며, 달라지는 것은 답의 근거가 되는 증거였다. 검색 조건에서는 보고서를 건너뛰고 자체의 더 높은 정밀도의 출력 파일을 근거로 답하다가 인접한 선택지로 잘못 반올림하는 경우가 많았으며, 이를 증거 대체라 부른다. 시뮬레이션을 고정해도 검색은 GPT-5.2에서 여전히 9.4점의 손실을 초래한다. GPT-5.4의 경우 올바른 시뮬레이션이 더 자주 수행되어 약 10점의 증거 활용 손실을 가리며, 순변화는 0과 구별되지 않는다. 권위 있는 출력을 명시하면 세 GPT 모델에서 단순 검색 대비 정확도가 6.3-7.9점 상승하며, GPT-5.1과 GPT-5.2에서는 들어갈 수 있는 출력을 인라인으로 제공하는 것도 같은 효과를 내지만 올바른 반올림을 요청하는 것은 그렇지 않다. 에이전트 하네스의 컨텍스트 관리 선택은 최종 정확도만이 아니라 정확도가 어디에서 손실되는지를 기준으로 평가해야 한다.
판단 모델은 유한한 후보 결과 집합에 점수를 매겨 의미론적 질문에 답한다. 재사용 가능한 프로그램이 이러한 국소적 결정을 강력한 다단계 추론으로 바꿀 수 있을까? 본 논문은 고정된 판단 모델을 위한 판단 스키마와 합성 프로그램을 함께 구성하는 프레임워크 \method를 제시한다. 생성형 교사가 절차를 오프라인으로 설계하고, 판단 모델이 국소적 의미 질문을 온라인으로 해결하며, 저장된 프로그램이 그 결정들을 합성하여 답을 만든다. 공유 인터페이스를 통한 구성에 초점을 두어, 사람과 교사 사이의 설계 노력 배분 세 가지를 연구한다. 이 프레임워크를 Kev로 구현한다. 선별한 BIG-Bench Hard 과제 세 개에서, 독립적으로 구성된 프로그램 아홉 개가 150개 개발 입력의 450회 실행을 모두 해결한다. 별도의 배포 연구에서는 개발 세트 기준 일치도 정련 후 프로그램 세 개를 고정하고 보류된 질문 600개로 평가한다. 이 프로그램들은 거의 완벽한 99.67%의 매크로 정확도를 달성하며, 이는 Kev 직접 사용의 64.00%와 최종 답만 내는 Qwen3.5-4B의 68.80%에 비해 높다. 또한 Qwen의 제약 없는 응답 정책(99.07%)과 비교 가능한 관측 정확도를 보이면서, 질문당 0.255초 대 2.150초로 \textbf{8.43배의 온라인 속도 향상}을 달성한다. 이러한 결과는 재사용 가능한 프로그램이 파라미터를 고정한 채로 소형 판단 모델의 추론 능력을 크게 확장할 수 있음을 보여 준다.
소매업체는 동일한 수요를 바탕으로 서로 다른 입도에서 의사결정을 한다. 품목·일 단위의 매장 주문, 품목·주 단위의 판촉, 카테고리 검토와 공급업체 조건 등이 그 예이다. 본 논문은 가장 세밀한 입도에서 만든 하나의 예측을 더 거친 모든 입도로 합산하여 이 모두에 사용할 수 있는지, 그리고 어떤 모델이 이를 가장 잘 수행하는지를 묻는다. M5, Dominick's의 여섯 개 카테고리, Breakfast at the Frat, Corporacion Favorita에서 LightGBM, 사전학습된 파운데이션 모델(TimesFM, Chronos-Bolt, Timestral), Temporal Fusion Transformer, 그리고 가격 및 판촉 계획에 따라 각 품목의 상태를 앞으로 전개하는 월드 모델을 비교하며, 월드 모델과 LightGBM은 공통 탐색으로 튜닝한다. 평균을 사용할 때: 튜닝된 월드 모델과 LightGBM의 평균을 모든 입도로 합산하면 27개 입도·데이터셋 사례 중 22개에서 오차가 가장 낮고, 마지막 보류 기간에서는 가장 부정확한 경우가 한 번도 없다. 월드 모델을 사용할 때: 학습에서 제외한 기존 품목에서는 스케일 오차 손실이 최대 0.040인 반면 LightGBM은 최대 0.311이며, 이력이 짧은 품목에서는 아홉 개 데이터셋 중 여섯 개에서 분명히 더 정확하다. LightGBM을 사용할 때: 판촉이 많은 품목, 빠르게 팔리는 품목, 이력이 긴 품목(각각 아홉 개 데이터셋 중 여섯 개)과 가격 인하 주간이다. 결론이 불분명한 경우: 판촉이 없었던 품목과 느리게 팔리는 품목은 거의 대등하며, 52주 앞에서는 평균이 일곱 개 데이터셋 중 다섯 개에서 가장 정확하고 월드 모델은 일곱 개 중 두 개에서 LightGBM보다 앞선다. 이 결과는 이들 데이터셋과 가격 및 판촉 수단에 대해서만 성립하므로, 이를 도입하려는 경우 자신의 데이터에서 모든 비교를 다시 수행해야 한다.
전문가 채점자로 파인튜닝된 코칭 모델을 평가하는 것은 느리고 비용이 많이 들며, LLM 판정자는 정답 없이는 신뢰할 수 없다. 본 논문은 전문가 검토 이전에 후보 LLM 판정자와 학생 모델을 선별하는 단계별 파이프라인을 제시하며, 각 단계에서 판정자 출력 감사, 호스팅 판정자와의 유사도, 편향 점검, 결정 강건성이라는 명시적 결정 규칙을 사용한다. 이를 AI 치위생 코치에 적용하여 시연한다. 사례 연구는 합성되었고 임상적으로 검증되지 않은 학습 및 참조 데이터를 사용하며, 이는 파이프라인의 작동을 보이기 위한 것이지 결과 모델의 임상 성능을 입증하기 위한 것이 아니다. 파인튜닝된 두 소형 언어 모델(Granite-4.1-8B와 Qwen3-8B)을 각각 세 가지 데이터 크기로 학습하고, 다섯 판정자(로컬 3개, 호스팅 2개)가 일곱 개 지표로 채점하였다. 두 로컬 판정자인 Qwen3.8-27B와 Gemma-4-31B-it는 순위 상관 기준으로 일곱 개 지표 중 여섯 개에서 호스팅 판정자 간 일치도와 구별되지 않았으며, Qwen3.8-27B가 전반적으로 호스팅 판정자와 가장 유사하였다. 어떤 판정자도 자신의 모델 계열이나 학습 데이터 출처를 선호한다는 기준을 충족하지 않았다. 학생 모델 비교에서는 파이프라인의 규칙상 어떤 지표에서도 두 모델이 구분되지 않았으므로, 판정자-지표 셀 35개 중 29개에서 앞선 Granite-4.1-8B를 선택하는 것은 잘린 Qwen3-8B 출력에 부분적으로 의존하는 경향일 뿐이다. 또한 파이프라인은 원점수가 가린 문제를 드러냈는데, 잘린 출력과 다른 어떤 판정자도 뒷받침하지 않은 한 호스팅 판정자의 환각 표시가 그 예이다. 치위생 전문가가 이 응답들을 채점하지 않았으므로 결과는 예비적이며, 전문가 판단에 고정하는 파이프라인의 마지막 단계는 제안되었으나 수행되지 않았다.
블랙홀은 자신을 형성한 물질의 보존 전하 몇 가지만을 유지한다. 이러한 유추에서 착안하여, 우리는 자기회귀 트랜스포머가 $t$개의 토큰을 생성한 후 프롬프트를 얼마나 유지하는지를 묻는다. 동일한 연속 문장이 뒤따르는 두 프롬프트에 대해, 두 프롬프트의 은닉 상태 차이는 대략 멱법칙 $t^{-\alpha}$를 따라 감소하며, 여기서 $\alpha=1$은 고정된 프롬프트가 균일 어텐션에서 차지하는 비중이 줄어드는 속도이다. 첫 번째 층들을 지나면, 학습된 모델은 동일한 아키텍처의 학습되지 않은 모델($\alpha\approx0.2$--$0.5$)보다 더 빠르게 잊는다($\alpha\approx0.55$--$0.7$). 유한 깊이의 pre-LN 소프트맥스 트랜스포머에서 어텐션 로짓이 유계이고 정규화 이전 활성화가 비퇴화적이라는 조건 아래, 우리는 프롬프트 길이 $P$와 깊이 $L$에 대해 이 오프셋이 $O\big(P(\log t)^{L-1}/t\big)$임을 증명한다. 즉 컨텍스트가 커짐에 따라 프롬프트의 직접적 영향은 희석되며, 연속 토큰을 거치는 \emph{릴레이}는 로그 인자만을 추가한다. 따라서 생성된 텍스트를 조건으로 하면, 다음 토큰에 대한 프롬프트의 영향은 사라진다. 이 상계는 점근적 형태만을 규정하며 학습된 네트워크에서 우리가 측정한 길이에서는 정보를 주지 못한다. 정확히 풀 수 있는 선형 릴레이 모델은 이 상계를 더 개선할 수 없음을 보이고 학습되지 않은 모델의 곡선을 설명한다. 프롬프트에 대한 로짓 편향으로 희석을 상쇄하면 학습 초기에 감소가 멈추며, 학습은 어텐션 싱크가 형성되기 전인 약 10억 토큰 무렵에 릴레이를 억제한다. 임의의 Hugging Face 인과 언어 모델에 대해 $\alpha$를 측정하는 툴킷이 공개되어 있다.
인컨텍스트 학습(ICL)의 학습 알고리즘 관점은 고정 파라미터 트랜스포머가 제공된 예시로부터 어떻게 학습하는지를 연구한다. 언어 모델 에이전트는 상호작용을 통해 이 설정을 확장하며, 에이전트의 행동이 다음에 컨텍스트에 들어올 증거를 결정한다. 우리는 이러한 체제를 에이전틱 인컨텍스트 학습(Agentic ICL)이라 부른다. 기존 연구는 대체로 외부에서 제공된 컨텍스트나 보상이 포함된 상호작용 이력에 의존하며, 일반적인 도구 사용 에이전트에 관한 연구에는 학습 알고리즘 관점이 없다. 우리는 상호작용하는 학습자를 상태, 갱신, 결정 규칙으로 나타내며, 이는 능동 학습, 밴딧, 온라인 강화학습(RL)을 포괄한다. 표현력 측면에서, 우리는 유한 시계에서 이러한 알고리즘을 근사하는 인과 트랜스포머를 구성하고 그로 인한 수익 손실의 상계를 구한다. 학습 측면에서는, 과정 보상을 최적화할 때 최종 결과를 최대화하는 행동이 언제 보존되는지를 규명한다. 증류 실험은 트랜스포머가 대표적인 세 가지 재귀식을 실행하도록 학습할 수 있음을 보여 준다. 이어서 RL 사후 학습에서처럼, 오라클 행동이나 상태 목표 없이 결과 보상 또는 과정 보상으로 모델을 학습한다. 보상이 다르면 서로 다른 결정 정책이 나타난다. 과정 감독과 결과 최적 행동 선호의 정렬을 개선하면 학습된 결정도 그에 따라 달라진다. 이러한 행동 차이는 사전학습된 언어 모델에서도 텍스트 바꿔 쓰기에 걸쳐 지속된다.
실시간 상호작용은 에이전트가 변화하는 환경을 인지하고 시간 제약 아래에서 행동할 것을 요구하지만, 실시간 스트리밍 모델에 대한 기존 평가는 대화 품질과 스트리밍 인지에 초점을 두어 엄격한 시간 제약 아래에서의 효과적인 행동은 검증되지 않았다. 우리는 지연된 행동이 성공에 직접 영향을 미G치는 엄선된 동적 과제 모음인 Realtime-Bench를 소개한다. 환경이 실제 추론 지연에 따라 진행되는 Wall Clock 설정에서 최고 성공률은 44%, 최고 Pass^3는 36%에 불과하여 실시간 상호작용이 여전히 어려운 과제임을 보여 준다. 서빙 지연과 모델의 실시간 스트리밍 능력을 분리하기 위해, 우리는 추론 지연을 제거한 이상적 기준인 Paused Clock과 Wall Clock을 비교하고, 생성된 토큰 수에 따라 시뮬레이션 시간을 진행시켜 물리적 서빙 속도와 무관하게 시간 인식을 검증하는 Token Clock을 도입한다. 그 결과 시간 비용이 변화하는 환경에서의 성공을 제한하며, 더 높은 추론 노력은 시간 압박 아래에서 엇갈린 효과를 보임을 확인했고, 이는 결정 품질과 적시 실행 사이의 상충 관계를 반영한다. 이러한 결과를 바탕으로, 우리는 시간 인식을 갖춘 적응형 추론과 연속적인 인지 및 행동을 포함하여 실시간 멀티모달 모델을 개선하기 위한 향후 방향을 논의한다.
온폴리시 증류(OPD)는 학생이 생성한 롤아웃에 대한 피드백을 통해 교사의 지식을 학생에게 전달하지만, 완전한 롤아웃을 생성하고 토큰별 교사 피드백을 계산하는 데는 많은 연산 비용이 든다. 기존의 절단 방법은 롤아웃을 일찍 멈춰 연산을 절약한다. 그러나 이들은 절단된 토큰 그래디언트를 보정하지 않아 그래디언트 추정에 편향이 생기고 Vanilla OPD의 원래 학습 목표가 바뀐다. 더욱이 절단 결정은 감독 품질에 대한 가정이나 여러 설정에 일반화되지 않을 수 있는 기준에 의존한다. 우리는 학생 롤아웃을 무작위로 절단하고 그로 인한 샘플링 편향을 블록 단위 역확률 가중(IPW)으로 보정하여 OPD를 가속하는 확률적 절단 온폴리시 증류(STOPD)를 제안한다. 각 학습 단계에서 생성 전에 롤아웃마다 정지 위치를 샘플링하고, 학생이 그 위치 또는 자연 종료까지 생성하도록 한다. 생성된 모든 토큰에 대해 교사 피드백을 얻고, 가중치를 제어하면서 뒤쪽 토큰이 유지될 낮은 확률을 보상하기 위해 블록 단위 IPW를 사용한다. 우리는 이 가중이 기댓값에서 Vanilla OPD의 그래디언트 합을 보존함을 증명하고, SGD, Adam, Muon에 대한 한 단계 갱신 오차의 상계를 도출한다. 우리는 여러 교사-학생 모델 쌍, 과제 영역, 옵티마이저에 걸쳐 STOPD를 평가한다. STOPD는 Vanilla OPD와 비슷한 정확도를 유지하면서 생성 토큰을 25-48% 줄이고 1.3-2.2배의 학습 속도 향상을 달성한다.
여러 단계의 지시를 따르는 로봇은 장면이 변하더라도 올바른 물체에 올바른 순서로 행동해야 한다. 또한 과제 진행 상황을 계속 파악하고 언제 다음 단계로 넘어갈지 판단해야 한다. 이러한 과제를 해결하기 위해 우리는 과제 계획 및 실행 관리를 행동 생성과 분리하는 에이전트 하니스 Orchestra를 제안한다. Orchestra는 완전한 멀티모달 지시를 순서가 있는 하위 과제로 분해하고, 완료된 단계를 추적하며, 실행 중 관련 물체와 목적지의 위치를 갱신한다. 또한 현재 하위 과제, 공간적 접지, 최근 관측을 담은 공유 컨텍스트를 유지한다. 행동 정책은 이 컨텍스트를 사용해 행동을 생성하고, 별도로 학습된 진행도 평가기는 언제 다음 하위 과제로 넘어갈지를 추정한다. 원자적 지시와 짧은 궤적으로 학습된 로봇이 더 긴 하위 과제 시퀀스를 실행할 수 있는지 평가하기 위해, 우리는 RMBench-Compose라는 벤치마크를 도입한다. Orchestra는 RMBench의 9개 과제에서 평균 성공률 $68.22\%$를 달성하여 Mem-0을 $26.22$%p 앞선다. RMBench-Compose에서는 평균 성공 길이(ASL) $7.35$개 하위 과제를 달성하여 HarnessVLA의 $2.46$배이다. 실제 환경의 네 가지 다단계 과제에서는 기본 $\pi_{0.5}$ 정책을 사용한 Orchestra 대비 평균 ASL을 $25.0\%$ 향상시킨다. 이러한 결과는 Orchestra가 요청된 하위 과제 순서와 지정된 물체에 대한 행동을 유지하면서 로봇이 더 긴 하위 과제 시퀀스를 수행하도록 돕는다는 것을 보여 준다. 코드와 프로젝트 페이지는 https://youpengwen.github.io/Orchestra 에서 확인할 수 있다.
표준 혐오 표현 탐지 데이터셋은 명시적인 유해 언어에 주목하는 경우가 많지만, 특정 대상을 향한 해악은 뚜렷이 혐오적인 표현 없이 간접적으로도 나타날 수 있다. 풍자는 조롱 섞인 칭찬, 과장, 유머, 또는 겉보기의 공손함을 통해 해로운 의도를 전달할 수 있는 간접 표현의 한 형태이다. 본 논문에서는 풍자가 튀르키예어 혐오 표현 탐지에 미치는 영향을 분석하기 위한 목적형 외부 테스트 세트인 SarcasTraps를 소개한다. SarcasTraps는 혐오 표현과 풍자라는 두 차원으로 주석된 479개의 항목을 포함한다. 우리는 기존 튀르키예어 혐오 표현 데이터셋 두 개로 BERTurk와 XLM-RoBERTa 분류기를 학습시키고, SarcasTraps를 엄격히 외부 테스트 세트로만 사용하여 평가한다. 또한 GPT-4.1과 Llama-3.3-70B를 제로샷 설정에서 SarcasTraps로 평가한다. 결과는 풍자가 혐오 표현 탐지에 상당한 영향을 미친다는 것을 보여 준다. 미세조정된 인코더 모델은 풍자적 혐오에서 재현율이 떨어지는 반면, 제로샷 LLM은 더 높은 재현율을 유지하지만 풍자적 예시에서 정밀도가 크게 하락한다. 이러한 발견은 미세조정된 혐오 표현 탐지기와 제로샷 LLM 모두 풍자가 개입되면 어려움을 겪음을 보여 주며, SarcasTraps는 목적형 튀르키예어 테스트 세트를 통해 이 과제에 대한 정량적 증거를 제공한다. 민감하고 혐오적인 언어가 포함되어 있으므로, SarcasTraps는 학술 연구 목적에 한해 요청 시 공유될 것이다. 경고: 이 논문에는 특정 집단에 대한 모욕적이고 혐오적인 내용을 담은 데이터셋의 예시가 포함되어 있다.
Having demonstrated a strong potential for automating vulnerability discovery, AI agents can also be used to attack software systems at scale. Today's software systems need mechanisms to level the playing field by slowing down potential attacks, giving them time to patch vulnerabilities and strengthen software. Along this line, our study of agent trajectories in vulnerability analysis shows a surprising finding: agents produce dramatically different results across real-world code commits that carry the same functionality and the same vulnerability. This phenomenon appears consistently in multiple code domains and vulnerability categories. It motivates us to study natural and functionality-preserving code transformations derived from real-world software development, and their potential as a defense against attacker agents. We build a corpus of natural transformations by mining recurring development patterns from real-world code commits, and apply them to evaluate impact on agentic vulnerability analysis. Our results show that even a single form of transformation can effectively "confuse" frontier agents, e.g., Claude Mythos 5.2 with Claude Code, reducing successes in vulnerability discovery. We also study different agent failures, whether transformations can be composed to provide stronger protection, and adaptive attackers who seek to reverse them. Overall, our study of natural code transformation significantly expands the research space of using code transformations to defend against malicious agents.
최첨단 AI 조약이나 연산 제한 협약에는 외부 검증이 필요하다. 외부 감사자는 실제로 얼마만큼의 연산이 수행되었는지, 그리고 당사자들이 협약을 준수하는지를 확인할 수 있어야 한다. 전력 소모와 같은 아날로그 방식의 칩 외부 측정은 검증을 위한 정보 채널을 제공한다. 그러나 감사를 적극적으로 무력화하려는 적대자에 대해 이러한 아날로그 채널이 연산량을 얼마나 제한할 수 있는지는 알려져 있지 않다. 본 논문은 전력 추적으로 배제할 수 없는 최대 은닉 연산량을 신고된 기계 용량의 비율로 나타낸 $\beta$의 닫힌 형식을 유도한다. NVIDIA A100 GPU에서의 측정 결과, 최악의 경우 $\beta = 1.16$이며, 적대적 에너지 일치 스케줄은 최소 $0.41$을 은닉한다. 따라서 아날로그 전력 측정만으로는 연산을 약하게만 제한한다. 위협 모델이 부여하는 추가 제약, 예컨대 검증자가 관측된 동작점에서 신고된 작업을 재실행할 수 있는 능력이 있으면, 검증자는 최대 제한 조건에서 $\beta$를 $0.059$까지 낮출 수 있다. 이는 아날로그 측정이 연산 검증에 기여할 수 있는 바에 대한 정량적 추정을 제공한다.
대순환 모델(GCM)은 행성 대기를 모사하는 주된 도구이다. 화성 대기의 고유한 날씨를 예보하는 것은 진입, 하강, 착륙과 같은 임무에 필수적이므로, GCM은 화성 대기를 이해하는 데 중요한 역할을 한다. 화성은 지구에 비해 관측이 드물어 이러한 모델에 특이한 어려움을 제기한다. 또한 얇은 $CO_2$ 대기와 복사적으로 활성인 먼지 순환이 결합되어 일교차가 크고 검증에 쓸 만한 지구상의 진정한 유사체가 없는 불안정한 대기가 형성된다. LMD PCM, NASA Ames Mars GCM, PlanetWRF를 포함한 기존 화성 GCM은 성숙하고 물리적으로 상세하지만, 유한차분 또는 유한체적 해법을 사용하는 레거시 Fortran으로 구현되어 있으며 보정이나 기계학습에 필요한 기울기를 제공하지 않는다. 본 논문은 화성 고유의 대기 물리를 Dinosaur 역학 코어와 결합하고 신경망 클로저를 위한 인터페이스를 갖춘 모듈식 미분 가능 화성 기후 모델 AEGIS를 제시한다. 계절별 $CO_2$ 순환을 재현하면서 전체 $CO_2$ 총량을 보존하는 안정적인 화성 연도 10년 시뮬레이션, 현실적인 대규모 지표 온도 구조의 포착, 그리고 Mars Orbiter Laser Altimeter(MOLA) 지형을 따르는 지표 기압 생성을 보인다. 결합된 궤적을 통과하는 기울기는 유한차분과 일치하며 물리적 보정과 신경망 학습을 뒷받침한다. 기존 GCM과 비교하여 이 프레임워크의 계산 효율성과 미분 가능성을 강조한다.
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
자동화된 터미널 에이전트 학습은 생성된 환경과 검증기를 이용해 개방형 상호작용을 보상으로 변환한다. 그러나 실행 가능한 Docker 이미지와 실행 가능한 테스트 스위트가 있다고 해서 그 결과 보상이 충실하고 유익하며 에이전트의 행동에 기인한다고 보장되지는 않는다. 본 논문은 컨테이너화된 터미널 과제와 그 실행 가능한 검증기를 생성하는 파이프라인을 제시하고, 이를 이용해 과제 생성과 라이브 환경 평가에서의 실패 양상을 규명한다. 우리의 분석은 흔히 혼동되는 네 가지 요건, 즉 구조적 타당성, 검증기 충실도, 정책 해결 가능성, 인프라 신뢰성을 구분한다. Qwen3.5-9B의 GRPO 학습에서는 비교적 쉬운 데이터셋에 20 스텝 이내에 과적합된다. 반대로 통제된 Qwen3.5-9B 비교에서 어려운 과제를 추가하면 평균 롤아웃 pass@2가 81.3%에서 20.6%로 낮아져, 학습 설정을 바꾸지 않고도 유익한 실패가 복원된다. 또한 거의 중복된 과제 생성, 불완전한 지름길 방지 장치, Dockerfile 실패, 비동기 pass@k 편향, 동시성으로 인한 환경 오류를 측정에 대한 별개의 위협으로 확인한다. 이러한 발견은 구조 점검과 롤아웃에서 도출한 해결 가능성을 광범위한 검증기 감사와 함께 갖춘, 터미널 에이전트 전용 평가 하니스를 커뮤니티가 마련하도록 촉구할 것이다.
소형 오픈 가중치 언어 모델은 이제 노트북에서 실행되지만, 대형 모델은 겪지 않는 방식으로 다단계 작업에서 실패한다. 파일이 누락된 채 멈추거나, 예산이 소진될 때까지 하나의 행동을 반복하거나, 확인 없이 성공을 보고한다. 10억~90억 파라미터 규모에서는 대형 모델이 스스로 수행하는 절차적 제어의 거의 전부를 하니스가 제공한다. 본 논문은 소비자용 그래픽 카드에서 이 규모를 위한 오픈소스 하니스 Mingbird를 제시한다. 이는 12k 줄의 Python, 628개 테스트 스위트, 그리고 문맥 경제, 완료, 시간 예산, 호스트 경계라는 네 범주의 열여덟 가지 메커니즘과 이들 범주 밖의 크롤 가드로 구성된다. 설계의 중심은 완료 제어이다. 하니스는 작업 디렉터리에서 실행 가능한 검사를 수행하고, 검사가 실패하면 완료 주장을 거부한다. 다섯 가지 평가가 함께 제시된다. 구성 표면 감사는 v3.1.1의 625개 테스트 스위트가 놓친 네 가지 결함을 찾아내며, 각각은 테스트가 실제로 깨진 속성이 아니라 그에 인접한 속성을 검사했기 때문이다. 열 개 과제로 구성된 탐침 스위트는 각 메커니즘이 작동할 이유를 부여하고 변화가 산출물에 도달하는 지점을 보고하며, 여기에는 자신이 보호하는 신호를 차단하는 메커니즘 하나가 포함된다. 여섯 가지 완료 시점 검사 중 다섯 가지를 비활성화하면 보류된 18개 과제에서 셀당 3회 반복 기준으로 산출물 점수가 0.152 감소한다(95% CI [+0.064, +0.246], Holm p = 0.014). 288개 셀 행렬에서 하니스는 세 가지 오픈 스캐폴드의 0.631, 0.479, 0.405에 비해 0.886에 도달하며, {\tau} 2 -bench에서는 평가된 대상 중 세 도메인 모두에서 1위 또는 공동 1위를 차지한다. 과제, 채점기, 소스, 그리고 모든 셀별 결과가 공개되어 있다.
그로킹(grokking)은 모델이 학습 집합(training set)에 이미 과적합된 이후에 검증 집합(validation set)에 대한 일반화가 지연되어 나타나는 현상을 말한다. 트랜스포머(transformer)로 학습된 소규모 알고리즘 과제에서 처음 관찰되었지만, 그 근본 메커니즘은 아직 명확히 밝혀지지 않았다. 본 연구에서는 모드 연결성(mode connectivity)과 저손실 영역의 기하학적 구조에 기반한 분석 프레임워크를 제시한다. 이 프레임워크는 표준적인 모듈러 연산(modular-arithmetic) 설정이 항상 그로킹을 발생시키지는 않는다는 것을 예측한다: 대칭성을 보존하는 학습/검증 분할(train/validation split) 하에서, 검증 성능이 회복되지 않는 안정적인 반그로킹(anti-grokking) 사례를 관찰하였다. 이 반례는 그로킹에 대한 기존의 여러 상관관계 기반 설명에 도전한다. 더 넓게 보면, 우리의 분석 프레임워크와 결과는 학습 분할과 검증 분할에 의해 유도된 저손실 영역이 서로 어긋날 때 그로킹이 발생함을 시사한다. 이러한 영역들이 잘 정렬되면, 학습 하이퍼파라미터(training hyperparameter)만으로는 그로킹을 발생시킬 수 없으며, 관찰되는 동역학은 학습 가능(trainable) 또는 학습 불가능(non-trainable) 행동 중 하나로 수렴한다.
실세계의 시계열 예측 시스템은 비정상(non-stationary) 데이터 스트림 환경에서 운영되며, 이에 따라 예측 성능이 시간이 지남에 따라 저하될 수 있다. 재학습은 성능을 회복할 수 있으나 상당한 계산 및 운영 비용을 수반한다. 따라서 제한된 배포 자원 하에서의 핵심 과제는 어떻게 재학습할 것인가뿐만 아니라 언제 재학습할 것인가이다. 기존의 재학습 정책은 흔히 드리프트 경보나 모델 노후도와 같은 간접 지표에 의존하는 반면, 본 연구에서는 실현된 예측 오차를 직접적인 배포 피드백으로 사용한다. 본 논문에서는 예측 오차의 동역학으로부터 재학습 시점을 학습하는 온라인 재학습 프레임워크인 PILOT(Pseudo-label-Informed Learned Online Trigger)를 제안한다. 정답 재학습 레이블은 존재하지 않으므로, PILOT는 향후 예측 오차의 증가로부터 의사 레이블을 구성하고, 관측된 오차 상태로부터 이를 예측하도록 경량 스코어러를 학습한다. 배포 시에 PILOT는 완료된 예측 오차만을 사용하며, 구조 변경 없이 임의의 예측 백본에 적용할 수 있는 플러그인 모듈로 동작한다. 우리는 DLinear, iTransformer, TimesNet의 세 가지 대표 백본을 대상으로 여덟 개 벤치마크에서 표준 다변량 예측 설정으로 PILOT를 평가한다. 세 백본 모두에서 PILOT는 재학습 정책 중 최고 수준의 평균 순위 성능을 달성하면서도 성능과 효율 간의 우수한 균형을 유지한다.
최근의 LLM은 표준 어텐션을 Gated DeltaNet(GDN)이나 Kimi Delta Attention(KDA)과 같은 선형 어텐션으로 대체하는 하이브리드 설계를 점차 채택하고 있다. 이들은 컨텍스트를 고정 크기의 순환 상태로 압축하여 장문 컨텍스트 처리 비용을 크게 줄이지만, 해당 상태를 반복적으로 읽고 갱신하는 일은 여전히 주요한 추론 병목으로 남아 있다. 양자화는 이 비용을 줄이는 자연스러운 방법이지만, 반올림 오차의 누적과 상태 내 이상치 행 및 열의 존재로 인해 모델 품질을 크게 저하시킬 수 있다. 이러한 문제를 해결하기 위해 우리는 8비트 순환 상태 양자화에서 거의 무손실에 가까운 성능을 달성하는 학습이 필요 없는 방법인 LeapQuant를 제안한다. 첫째, 오차 누적을 완화하기 위해 토큰 윈도우를 건너뛰며 윈도우의 끝에서 상태를 단 한 번만 양자화하는 윈도우별 양자화를 제안한다. 윈도우 내에서는 고정된 저비트 상태와 고정밀도로 버퍼링된 갱신을 함께 사용하여 출력을 계산한다. 둘째, 각 양자화에서 발생하는 오차를 줄이기 위해 LeapQuant는 상태의 가장 큰 이상치를 실제 토큰과 갱신 경로를 공유하는 소수의 고정밀도 Compensator Token으로 보존한다. 이후 나머지 잔차를 양자화 전에 평활화하여 오차를 더욱 줄인다. Qwen, Kimi, GLM 모델 계열에 대한 종합적인 실험에서 LeapQuant는 추론 중 메모리 및 계산 비용을 크게 줄이는 것으로 나타났다. FP32 베이스라인과 비슷한 정확도로, NVIDIA B200, RTX PRO 6000, RTX 5090 GPU에서 커널 수준 평균 2.05--3.70$\times$, 종단 간 추론 1.47$\times$의 속도 향상을 달성한다.
최첨단 코딩 에이전트는 이제 3D 환경을 구성하는 코드를 작성하고 실행할 수 있지만, 이들이 3D 구조를 신뢰성 있게 이해하고 장면 상태를 정밀하게 제어하는지는 여전히 불분명하다. 생성된 3D 장면은 지속적이고 실행 가능한 산출물이며, 그럴듯한 렌더링이 잘못된 공간 관계, 교차하는 객체, 의도하지 않은 수정을 숨길 수 있다. 우리는 사람이 조립한 장면을 바탕으로 구축한 170개의 Unreal Engine 사례로 이루어진 벤치마크 Code4Scene을 소개하며, 이는 공유된 실행 인터페이스 아래 상호 보완적인 두 가지 설정에서 코딩 에이전트를 평가한다. 구성(Construction)은 다양한 구현이 유효할 수 있는 개방형 언어 명세로부터 장면 수준의 공간 추론을 평가하고, 편집(Editing)은 에이전트가 참조 이미지로부터 목표 장면을 복원하면서 나머지 모든 것을 보존해야 하는 정밀한 장면 상태 제어를 평가한다. Code4Scene은 코드나 렌더링된 뷰를 채점하는 대신, 생성된 엔진 고유의 장면을 과제 충족도, 산출물 무결성, 정적 물리적 타당성 측면에서 평가하며, 편집은 비공개 정답과도 추가로 비교한다. 83개 사례의 공개 세트에서 14개 코딩 에이전트 시스템을 평가한 결과, 구성 성능과 편집 성능은 강한 상관관계를 보이지만 서로 대체될 수는 없다(Spearman $\rho = 0.67$). Claude Fable 5.1이 구성에서, Gemini 3.8 Flash가 편집에서 선두이다. 공간 구성(Spatial Composition)은 모든 에이전트에서 가장 취약한 구성 범주이며, 편집은 여전히 부정확하여 최고의 Repair F1은 0.562에 불과하고 목표를 완전히 복원한 편집의 34.2%가 장면의 다른 곳에 의도하지 않은 변경을 도입한다. 이러한 결과는 그럴듯한 3D 생성과 신뢰할 수 있는 공간 추론 및 상태 제어 사이의 격차를 드러낸다. 프로젝트 웹페이지는 https://simworld.org/code4scene 이다.