자기 진화(self-evolving) 에이전트 루프는 에이전트(프롬프트 템플릿 또는 프로그램)의 수정된 버전을 반복적으로 제안하고, 반복(iteration)마다의 품질 신호에 따라 변경을 수락하거나 거부한다. 이 신호를 설계하는 것이 프로젝트에서 종종 비용이 큰 부분이다. 신뢰할 수 있는 스칼라 보상은 도메인 전문성과 라벨이 달린 예시가 필요하며, 이 예시들을 구축하는 비용 자체가 에이전트의 기본 과제만큼 비싸다. 우리는 수락/거부 게이트의 스칼라를 쌍대 검증자(pairwise validator)로 대체할 것을 제안한다. 쌍대 검증자는 고정된(frozen) LLM으로, 부모 후보와 자식 후보가 주어지면 어느 쪽이 더 나은지에 대한 이진 판정을 반환한다. 쌍대 판단은 대조적(contrastive) 특성 때문에 절대 점수화보다 일반적으로 더 쉽고 안정적이며, 엄격한 스케일 보정(calibration)의 필요성을 완화한다. 검증자 또한 별도의 학습(training)이 필요하지 않다. 우리는 검증자를 세 가지 공개된 자기 진화 엔진(GEPA, ADRS, ShinkaEvolve)에 통합하고 두 가지 변형을 보고한다. Adaptive Focus는 엔진의 기존 검증 집합(val-set) 부모 선택을 유지하고, Soft Elo는 검증자의 판정이 부모 선택을 주도하게 하여 검증 집합 보상도 제거한다. 여러 에이전트와 두 가지 산출물 기판(프롬프트와 코드)에 걸쳐, 우리 방법은 평가한 설정의 대부분에서 전체 보상(full-reward) 기준선(baseline)과 동등하거나 이를 초과하며, 이 패턴은 교차 계열(cross-family) 검증자 교체에도 유지된다. 따라서 쌍대 게이트는 라벨링 비용 없이 경쟁력 있는 과제 정확도에서 단계별 보상 설계를 대체할 수 있는 즉시 교체형(drop-in replacement) 솔루션이다.
언어 모델 정직성 평가는 모델의 판정을 모델에 대한 증거로 해석한다. 우리는 대신 측정 도구를 검증한다. 어떤 모델도 아닌 게임 엔진이 퀘스트 완료 가능 여부를 아는 텍스트 어드벤처 세계를 구축했다. 언어 모델은 예산 하에서 플레이하며, 결국 퀘스트가 완료되었는지, 도달 불가능한지, 아직 판단 불가능한지를 선언해야 하고, 엔진이 모든 판정을 채점한다. 결과를 읽기 전에 의사결정 규칙을 기록했고, 실행 산출물이 수행한 수정을 연결한다. 사전등록의 강도는 시리즈마다 다르며 이를 공개한다. 플레이어를 고정한 상태에서 측정 도구 선택이 측정된 행동을 실질적으로 바꿨다. 4개의 바이트 단위로 동일한 앵커에서 2-판정 문법을 3-판정으로 확장하면 강한 주장이 38/40에서 7/40으로 이동했고, 새로운 미완료 판정이 28/40 결과를 차지했다. 시리즈 2 전체에서 158개의 유효 게임 중 93개가 미완료로 끝났다. 성공 기준을 한 문장으로 공개하면 더 적은 의사결정 지점과 더 깔끔한 결정을 통해 매칭된 인스턴스의 오판정이 18/59에서 0/58로 감소했다. 하나의 고정 설정을 반복 실행하면 4개 인스턴스 중 3개에서 판정 분포가 불안정했다. 단일 실행은 표본을 성향(disposition)으로 보고한다. 형식적으로 사전등록된 서사 레지스터 그래디언트는 기각되었고, 두 가지 사후적·가설 생성적 패턴이 남아 있다. 레지스터 존재가 강한 주장을 대략 두 배로 늘렸고, 예산 표현 방식이 레지스터 내용보다 판정을 더 많이 이동시켰다(.383 meter vs .150 lantern). 내레이터는 풍부한 예산을 부족 지표로 압축했지만, 등록된 매개 검정은 null을 반환했다. 평가 도구를 위한 4단계 무결성 프로토콜을 제안한다.
상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.
자율주행 시스템의 검증에는 다양하고 규제를 준수하는 테스트 시나리오가 필요하다. 시뮬레이션 기반 테스트에서는 시나리오가 실행 가능한 스크립트로 정의된다. 그러나 규제 설명으로부터 이러한 스크립트를 자동 생성하는 것은 여전히 미해결 과제이며, 기존 접근법들은 근본적인 트레이드오프에 직면한다. 검색-조립(retrieval-assemble) 방법은 합리적인 컴파일 성공률을 달성하지만 확장성이 부족한 반면, 검색 기반 전체 스크립트 생성은 낮은 컴파일 성공률을 겪는다. 우리는 도메인 특화 언어(Domain Specific Language, DSL)로 시나리오 스크립트를 생성하는 최초의 반복적 검색-증강 프레임워크인 Chat2Scenic을 제안한다. 구체적으로 Chat2Scenic은 대화형 시나리오 정교화를 지원하는 챗봇 인터페이스를 제공하고, 규제 지식과 DSL 문법에 시나리오 생성을 그라운딩(grounding)하기 위해 검색-증강 생성(RAG)을 통합한다. 또한 NHTSA 및 유엔(UN) 차량 규정을 비롯한 다양한 규제 및 기타 출처로부터 123개의 시나리오로 구성된 시나리오 생성용 공개 벤치마크를 제안한다. 최신(SOTA) 대규모 언어 모델(LLM)을 사용한 광범위한 평가를 통해 Chat2Scenic이 76.42%의 컴파일 성공률(Compilation Success Rate, CSR)과 58.17%의 프레임워크 정확도(Framework Accuracy, FA)를 달성하여 기존 방법들(검색-조립(Retrieval Assemble): CSR 30.08%, FA 11.03%; 검색 기반 전체 스크립트 생성(Retrieval full script generation): CSR 16.26%, FA 10.86%)을 능가함을 보여준다. 향후 연구를 위해 코드를 오픈소스로 공개한다: https://github.com/TUM-AVS/chat2scenic.
데이터 사이언스 작업은 닫힌 형태(closed-ended)의 정보 추출부터 개방형(open-ended) 분석까지 이어지며, 자동화에 상당한 도전을 제기한다. 언어 모델 기반의 최근 AI 에이전트는 이러한 복잡한 작업을 처리하는 데 유망함을 보여준다. 그러나 기존 에이전트는 일반적으로 에이전트 전체 실행을 조건화하는 단일 초기 상태에 의존하므로, 최적이 아닌 초기 상태에서 시작되는 연쇄적 오류에 취약하다. 이를 완화하기 위해, 우리는 여러 초기 상태의 생성과 선택을 통해 동시 실행을 가능하게 하는 테스트 타임 스케일링을 활용하는 자동화 데이터 사이언스 에이전트인 CIPHER를 제안한다. 기존 AI 에이전트의 테스트 타임 스케일링 연구와 달리, CIPHER는 후보 초기 상태의 생성과 병렬 실행을 위한 전략적 선택을 명시적으로 분리한다. 두 벤치마크(닫힌 형태 및 개방형 작업)에 대한 광범위한 평가를 통해, CIPHER가 동일 모델 비교에서 최신(state-of-the-art) 성능을 넘어서며, 훨씬 더 작은 기본 LM에 의존함에도 불구하고 더 큰 모델 베이스라인과 경쟁력을 유지함을 보인다. 우리의 실증 연구는 분리형 탐험-선택(DES) 프레임워크의 설계 공간을 특성화한다: 생성 전략, 선택 전략, 집계 모델(aggregator model) 용량이 전체 성능에 어떻게 기여하는지 정량화하고, 실무자를 위한 실행 가능한 설계 권고를 도출한다.
견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.
소프트웨어 시스템에 LLM 기반 에이전트를 신뢰할 수 있게 배포하려면, 애플리케이션 특화 워크플로에서 어떻게 수행되는지 평가해야 하며, 성공과 실패 지점을 특정할 수 있을 만큼 충분한 세분성이 필요하다. 그러나 기존 에이전트 평가 메커니즘은 제한적이다. 벤치마크는 애플리케이션 특화 워크플로와 환경에 대한 구인 타당성(construct validity)이 낮고, 복제 평가 환경은 비용이 많이 들며 drift에 취약하다. 우리는 Copy-on-Write(CoW) 스코어링을 제안한다. 이는 PostgreSQL 수준의 Copy-on-Write 메커니즘을 사용해 에이전트의 쓰기를 격리하면서 애플리케이션 환경 내에서 에이전트 연산을 직접 평가하는 프레임워크이다. CoW 스코어링은 주어진 애플리케이션 환경에서 에이전트의 데이터베이스 쓰기 연산이 어디에서 성공하고 실패하는지를 강조하는 세션 및 연산 수준 점수를 생성하며, 에이전트 하네스와 도구 표면(tool surface)에 대한 저비용 평가와 반복을 가능하게 한다. 오픈소스 프로젝트 관리 플랫폼인 Plane에서 이 프레임워크를 시연했으며, 분석을 통해 도구 표면의 구체적인 문제가 드러났고, 이에 대응한 수정은 영향을 받은 모델에서 측정 가능한 개선을 가져왔다. Python 라이브러리: https://github.com/trail-ml/agent-cow-python
대규모 언어 모델(LLM)과 인공지능(AI) 기반 자율 에이전트의 급속한 발전은 기존 소프트웨어 거버넌스의 형태를 근본적으로 바꾸었다. EU AI Act와 같은 국제 프레임워크에 따라 투명성과 책임성에 대한 엄격한 기준이 요구됨에도 불구하고, 이론과 현실 사이에는 상당한 격차가 있다. 본 연구는 LLM 평가, 머신러닝 워크플로, 일반적인 애플리케이션 성능 모니터링을 위해 현재 사용되는 플랫폼의 고유한 한계를 논의한다. 현재의 분리된 솔루션들이 무제한 상태 공간(unbound state space) 에이전트 아키텍처를 정렬 드리프트(alignment drift), SaaS 보안 우려, 무단 배포되는 섀도 AI(shadow AI) 시스템과 같은 심각한 위협으로부터 보호하지 못한다는 것이 밝혀졌다. 또한 OpenTelemetry 인프라 플랫폼 위에 구축된 일관된 다계층 AI 거버넌스 스택인 Traccia 형태로 논의된 과제들을 극복하기 위한 솔루션을 제안한다. Traccia는 텔레메트리 데이터, 수동적 의미론적 가드레일 평가, 실행 계보(execution lineage)를 해시된 추적 원장(hashed trace ledger)에 추가함으로써 AI 정렬(alignment)의 마지막 단(last mile)을 해결한다. Traccia는 변조 방지 지문과 SHA-256 콘텐츠 해시를 부가하여 EU AI Act의 제12조, 제14조, 제19조, 제26조(6), 제50조 등 규제 요건에 매핑되는 준수 증거 패키지를 자동으로 생성하며, 어떠한 데이터 프라이버시도 침해하지 않는다. 이러한 평가를 체계적인 방식으로 수행함으로써, 자율 AI 시스템의 기업 전반 관리를 위한 견고한 기계 판독 가능(machine-readable) 기반을 마련하였다.
본 논문에서는 LLM의 출력 분포와 이를 학습하는 데 사용된 데이터 사이의 연관성을 연구한다. 구체적으로, 학습 데이터의 문맥이 주어졌을 때 LLM의 다음 토큰 분포가 경험적 다음 토큰 분포(empirical next-token distribution, ENTD)와 얼마나 일치하는지 그 정도를 연구한다. ENTD는 사전학습(pre-training)에 사용되는 다음 토큰 교차 엔트로피 손실의 제약 없는 전역 최소화(global minimizer)이며, 사전학습 코퍼스의 쉽게 해석 가능한 함수이기도 하므로 매력적인 대상이다. 우리는 상당한 비율의 입력에 대해 LLM의 분포가 ENTD와 거의 완벽하게 일치한다는 것을 발견했으며, 평균 일치도는 모델 규모와 학습 연산량에 따라 증가한다. 그럼에도 불구하고 LLM과 ENTD가 크게 다른 입력 시퀀스의 긴 꼬리(long tail)가 존재하며, 우리는 트랜스포머 아키텍처, 학습 절차, ENTD 추정 자체의 유한 표본(finite-sample) 잡음 등 여러 측면에서 이러한 불일치의 가능한 원인을 조사한다. 보다 넓게, 우리는 이러한 발견이 ``데이터 중심 기계론적 해석 가능성(data-centric mechanistic interpretability)''에 대한 더 많은 연구를 촉진하기를 바란다. 이는 학습된 가중치에 행동이 어떻게 인코딩되는지가 아니라, 데이터로부터 모델 행동이 어떻게 발생하는지를 블랙박스를 열어 보는 표준 기계론적 해석 가능성(mechanistic interpretability)의 보완이 될 것이다.
추론(reasoning) 또는 추론 스케일링(inference-scaling) 모델은 복잡한 문제 해결이 가능한 대규모 언어 모델(LLM)의 새로운 세대이다. 물리학에서의 문제 해결 능력을 조사하기 위해, 우리는 OpenAI의 o4-mini 모델을 Halliday and Resnick의 "Fundamentals of Physics"에 수록된 전통적인 단원 말미 문제를 풀도록 평가하였으며, 이는 학부 물리학 교육과정의 핵심 주제를 포괄한다. 성능은 문제 표현 방식(modality)과 문제 난이도에 따라 분석하였다. 모델은 전체적으로 약 90%의 정확도로 문제를 풀었지만, 성능은 문제 표현(representation)에 크게 의존하였다: 텍스트만 있는 문제(96%)에서는 텍스트와 이미지를 함께 해석해야 하는 문제(79%)보다 정확도가 훨씬 높았다. 정확도는 또한 문제 난이도가 낮음에서 중간, 높음으로 증가함에 따라 현저히 하락하였다. 이 결과는 최신 LLM이 표준적인 초급 물리학 문제의 상당 부분을 풀 수 있음을 보여주지만, 성능은 여전히 불균등하며 문제 표현 방식과 문제 난이도에 의해 제약받는다는 것을 나타낸다.
LLM의 안전성 정렬(safety alignment)은 모델을 인간의 가치와 정렬하는 것을 목표로 하지만, 가치가 충돌할 때 어떤 가치가 우선되는가? 우리는 규제 산업에 배포된 도구 호출 LLM 에이전트 맥락에서 이 질문을 조사한다. 기밀 문서를 처리하는 에이전트는 배포 맥락 지시(예: 내부 로깅)와 충돌하는 안전성 학습 가치(예: 공공 복지)를 유발하는 내용을 접할 수 있다. 이 현상을 실증적으로 검증하기 위해 16개 도메인에 걸친 128개 시나리오로 구성된 벤치마크를 구축했다. 안전성 정렬된 오픈소스 모델이 배포 지시를 최대 43.4%의 경우 무시하며, 조직의 잘못을 시사하는 문서를 처리할 때 고발, 데이터 유출, 증거 조작에 관여함을 발견했다. 또한 abliteration이 외부 고발 비율을 낮춘다는 것도 발견했다. 이 결과는 다원적 정렬(pluralistic alignment)의 근본적 긴장을 드러낸다. 사용자를 보호하는 동일한 안전성 학습이 에이전트가 배포 지시에 반하는 방식으로 행동하게 하여 예측 불가능한 책임 위험을 초래할 수 있다. 경쟁하는 정당한 이해관계 하에서 에이전트 행동의 평가를 지원하기 위해 벤치마크를 프레임워크로 공개한다.
본 논문은 저궤도(LEO)에 배치된 대규모 AI 데이터센터가 지상 시설의 비용 효율적인 대안이 될 수 있는지 평가한다. 분석은 발사 비용, 전력 생산, 냉각, 방사선 노출, 대기 재진입, 연산-네트워크 성능에 걸쳐 궤도상 시스템과 지상 시스템을 비교한다. 핵심적인 차이점은 지상 Clos 네트워크에서 레이저 위성간 링크를 사용하는 우주 기반 메시 네트워크로의 전환이다. 양분 대역폭(bisection bandwidth), 양분 강도(bisection intensity), roofline 스타일 모델을 사용하여, LEO 기반 추론은 가능할 수 있지만, 궤도에서 최전선 규모의 대규모 언어 모델(LLM) 학습은 지상 데이터센터와 경쟁하기 어려울 것임을 보인다.
대규모 언어 모델(LLM)은 게임의 규칙을 실행 가능한 코드, 즉 코드 세계 모델(Code World Model, CWM)로 합성할 수 있으며, 고전적 플래너(planner)가 이를 탐색한다. 이러한 모델은 일반적으로 샘플링된 궤적에서 높은 전이(transition) 정확도를 달성하면 수용된다. 우리는 이것이 계획(planning)을 위한 적합성의 잘못된 개념임을 주장한다. 우리는 네 가지를 보인다. (1) LLM 합성 CWM은 100% 전이 정확도로 샘플링 게이트를 통과하고 플래너 자체의 탐색 분포에서 $\geq 98\%$ 상태 정확도를 달성할 수 있지만, 잘못된 $<1\%$가 정확히 핵심 역학에 해당하기 때문에 플레이에서 체계적으로 패배할 수 있다. 생략된 규칙의 플레이 비용은 $0.091$이다(시드 클러스터링 95% CI $[0.065,0.117]$, $n=4800$). 우리는 이를 검증-정확(verified-vs-correct) 간극이라 부르며, 합성 파이프라인 전체를 통해 이를 확인한다. (2) 피해는 정량적 법칙 $\mathrm{danger}=\mathrm{play\_cost}\times(1-\mathrm{rarity})^N$를 따르며, $(1-\mathrm{rarity})^N$ 게이트 미스 팩터는 정확함이 증명되고 플레이 비용은 경험적으로 유계(bounded)됨이 밝혀진다. (3) 이 실패는 더 많은 데이터로 보완되지 않는다. LLM 합성은 규칙 추론(rule inference)이 아니라 규칙 번역(rule translation)처럼 동작하며, 모델(GPT-5.x)과 데이터 체제(DAgger 및 표적 예제 포함)를 가로질러 생략된 규칙을 추론하지 못했다. (4) 동일한 메커니즘은 불완전 정보 CWM의 신념 추론(belief-inference) 함수에서도 재현된다. 우리는 커버리지 경계를 증명한다(크기 $N$ 게이트는 $N\gtrsim b^{d_{\max}}$일 때 식별 가능(identifying)하다). 이는 Kuhn poker와 같은 얕은 게임에서 간극이 나타나지 않는 이유를 설명하며, 게이트는 통과하지만 모든 게임에서 패배하는 검증되었지만 틀린(verified-but-wrong) 추론 함수인 Beacon을 수작업으로 구성한다. 이 결과들은 계획 지향 세계 모델의 적합성이 샘플링된 전이에 대한 예측 정확도가 아니라 탐색 분포에서 또는 플레이를 통해 직접 측정되어야 함을 시사한다.
LLM 에이전트는 외부 검증이 후보를 거부한 뒤 종종 재시도하지만, 검증과 다음 모델 호출 사이의 인터페이스는 여전히 명확히 규정되지 않았다. 우리는 VeriHarness를 소개한다. 이는 코드로 제어되는 에이전트 루프로, 모델이 후보를 생성하는 동안 외부 검증기가 수락, 예산, 트레이스를 제어한다. 이를 사용해 원시 진단과 실패 위치, 관측값, 허용 가능한 대안을 식별하는 피드백을 비교한다. 4회 호출 상한 하에서 50개의 쌍을 이룬 TextWorld 게임에서, 세 필드를 모두 포함한 피드백은 Qwen2.5-Coder-14B의 최종 성공률을 14/50에서 36/50으로(+44 percentage points), Llama-3.1-8B는 8/50에서 29/50으로(+42 points) 높였다. 절제 실험은 대부분의 이득이 허용 가능한 대안에 있음을 보여준다. 위치와 관측값만 포함한 피드백은 원시 진단 기준선과 거의 비슷하게 남는다. 완전한 수리 정보를 키가 있는 JSON 레코드 대신 산문으로 제시해도 거의 같은 성공률을 보여, JSON 구문 자체가 수리를 개선한다는 증거는 없다. 이러한 순서는 테스트된 호출 예산과 하나의 샘플링 디코딩 설정에서도 유지된다.
에이전트 하네스는 컨텍스트, 도구, 오케스트레이션, 메모리, 디코딩, 출력 처리를 관리하여 기본 LLM을 실행 가능한 에이전트로 전환하는 외부 제어 층이다. 하네스 설계는 에이전트 행동에 큰 영향을 미치지만, 대부분의 자동 개선 방법은 프롬프트, 파이프라인, 워크플로와 같은 더 좁은 산출물을 최적화하며, 배포된 에이전트는 보통 모든 경우에 단일 전역 하네스를 재사용한다. 우리는 자체 실행으로부터 학습하는 적응형 하네스 최적화 프레임워크인 MemoHarness를 제안한다. MemoHarness는 하네스를 여섯 개의 편집 가능한 제어 차원으로 분해하고, 사례별 진단과 정제된 전역 패턴을 이중 층 경험 뱅크에 저장하며, 테스트 시 레이블, 피드백, 추가 검색 없이 검색된 경험을 사용하여 학습된 하네스를 각 테스트 사례에 적응시킨다. 셸 에이전트, 코드 생성, 분석적 추론 벤치마크에 걸친 평가에서 MemoHarness는 우리가 비교한 고정 하네스보다 향상되며, 보지 못한 테스트 스위트와 기본 모델에 대한 선택적 전이를 보여준다. 검색된 경험의 상당 부분이 캐시 가능할 때 추가 컨텍스트도 비용 경쟁력을 유지할 수 있다. 이 결과는 실행 경험이 단일 정적 구성보다 더 적응적인 에이전트 하네스를 구축하기 위한 실용적인 기반임을 뒷받침하며, 통계적 견고성과 구성 요소 귀속에 대한 더 넓은 주장은 향후 연구에 맡긴다.
본 입론(position paper)은 에이전트형 AI(Agentic AI)와 Model Context Protocol(MCP)가 송전계통 운영자(TSO) 환경에서 전력망 연구를 어떻게 지원할 수 있는지 탐구한다. 우리는 대규모 언어 모델(LLM)을 수치 시뮬레이션 도구, 구조화된 워크플로, 인간 감독과 통합하는 데 중점을 둔다. 에이전트가 지원하는 전력망 연구를 위한 핵심 산업 요구사항을 식별하고, 시뮬레이션 도구 pypowsybl의 선별된 기능을 AI 에이전트에 노출하는 MCP 기반 인터페이스인 pypowsybl-mcp를 소개한다. 이 첫 단계는 에이전트가 시뮬레이션을 설정하고, 분석을 실행하며, 결과를 검색하고, 표준화된 도구 호출을 통해 전력계통 시뮬레이터와 상호작용할 수 있는 방식을 연구하기 위한 테스트베드(testbed)를 제공한다. 또한 인간-참여(human-in-the-loop), 멀티 에이전트 워크플로에 대한 원칙을 논의하고, 기술 지표와 실무자 피드백을 결합한 평가 전략을 개략적으로 제시한다. 본 논문은 MCP 기반 도구 통합을 보다 상호작용적이고, 감사 가능하며, 확장 가능한 전력망 연구 환경을 향한 한 걸음으로 포지셔닝한다.
도구 보강 대규모 언어 모델(LLM) 에이전트는 장기 작업에서 뛰어난 성능을 보이지만, 일반적으로 고정된 도구 세트에 대해 사후 학습된다. 작업에 새로운 도구가 필요할 때 이러한 에이전트는 이를 효과적으로 통합하는 데 어려움을 겪으며, 처음부터 재학습하는 것은 종종 비현실적이다. 우리는 이러한 도구 세트 확장 문제의 핵심 장애물을 행동 관성(behavioral inertia)으로 식별한다. 이는 새로운 도구에 접근할 수 있음에도 에이전트가 익숙한 도구와 기존 추론 패턴에 되돌아가려는 경향이다. 우리는 중요한 결정 지점에서 반사실적 앵커 컨텍스트(counterfactual anchor contexts)를 주입하면 이 관성을 깨뜨릴 수 있음을 보인다. 이는 억압된 에이전트 능력을 이끌어냄으로써 실패한 궤적을 복구한다. 이 통찰을 확장하기 위해, 우리는 ToolAnchor를 제안한다. 이는 교사 모델(teacher models)을 사용해 이러한 반사실적 컨텍스트를 가설 설정하고, 학생 롤아웃(student rollouts)을 통해 이를 검증하며, 성공적인 개입을 에이전트 사후 학습을 통해 내재화하는 프레임워크이다. 일반 AI 어시스턴트(GAIA), 텍스트 검색(BrowseComp), 시각 검색(VDR-Bench) 작업에 걸친 광범위한 평가는 ToolAnchor가 확장된 도구 세트에서 지속적으로 경쟁력 있는 성능을 보임을 입증한다. 우리의 연구는 정적 사후 학습과 동적 적응(dynamic adaptation) 사이의 격차를 메우며, 확장 가능한 에이전트 강화학습을 위한 새로운 길을 제시한다.
베이지안 신념 네트워크(Bayesian Belief Network, BBN)는 불확실성 하에서 의사결정을 위한 강력한 도구이다. 그러나 구조를 구축하고 파라미터를 추정하는 것은 어렵다. 현재 연구자들은 전문가 판단에 의존하거나 네트워크의 구조와 파라미터를 학습하기 위해 대규모 데이터셋을 사용하는 것 중 하나를 선택해야 한다. 우리는 전문가 의견과 데이터 기반 학습 사이의 격차를 메우기 위해 대규모 언어 모델(LLM)을 사용하는 새로운 방법론을 제안한다. 이 접근법은 특정 페르소나(persona)와 문맥(context)에 기반하여 확률을 추정하기 위해 AI 에이전트 패널을 사용한다. 그런 다음 응답에서 노이즈를 제거하기 위해 절사 평균(trimmed-mean) 규칙을 적용한다. 우리는 6단계 BBN 프레임워크를 개발하고, 대체 의료 체계에서 의사 상담 의향을 모델링하는 예시로 이를 설명한다. 모델은 자기 효능감(self efficacy)이 주요 요인처럼 보이지만 실제 인과적 영향은 작다는 것을 보여준다. 반면, 주관적 규범(subjective norms)은 고객의 의향을 모델링하는 데 훨씬 더 강한 효과를 갖는다. 가장 효과적인 전략은 자신감과 지역사회 규범을 동시에 개선하는 것이다.
1형 당뇨병(T1D)은 인슐린을 생산하는 췌장 베타 세포의 완전한 파괴가 특징인 만성적이며 생명을 위협하는 자가면역 질환이다. 강화학습(RL) 기반 인공 췌장 시스템(APS)은 인슐린 투여 자동화에서 유망함을 보여 왔지만, 그 '블랙박스' 특성 때문에 환자와 의사가 이를 완전히 신뢰하기 어렵다. 본 논문은 RL의 정밀도와 대규모 언어 모델(LLM)의 명확하고 인간과 유사한 추론을 결합하여 더 투명하고 신뢰할 수 있는 인슐린 펌프 컨트롤러를 만드는 유망한 접근법인 LLM-T1D를 제안한다. 전문 RL 시스템을 학습하고 그 지식을 파인튜닝된 LLaMA 3.1 8B 및 Qwen3 8B 모델로 증류함으로써, RL 시스템의 성능을 능가할 뿐만 아니라 평이하고 이해하기 쉬운 언어로 결정을 설명하는 컨트롤러를 개발했다. FDA 승인 UVA/Padova T1D 시뮬레이터에서 검증한 결과, LLM 컨트롤러는 우수한 혈당 제어(73.5% Time in Range)를 달성하는 동시에 환각(hallucination)에 대한 엄격한 형식적 안전성 검증을 유지했다.
딥페이크 탐지기의 신뢰성은 블랙박스 적대적 전이(adversarial transfer) 하에서 자주 저하되는데, 이는 이러한 모델이 종종 취약하고 아키텍처에 의존하는 포렌식 단서에 의존하기 때문이다. 기존 전이 공격은 종종 의미론적 인식이 부족하고, 특히 섭동(perturbation)이 컨볼루션 기반 대리 모델(surrogate)에서 트랜스포머 기반 목표로 전이될 때, 엄격한 무쿼리(no-query) 제약 하에서 효과를 유지하기 어렵다. 이러한 한계를 해결하기 위해, 본 논문은 높은 전이성(transferability)을 목표로 하는 딥페이크 회피를 위한 강건한 멀티에이전트 프레임워크인 ARMOR++를 제안한다. 이 프레임워크는 Qwen2.5-VL 비전-언어 모델(VLM)을 활용해 공간적 의미론적 사전(prior)을 제공하고, Qwen3 대규모 언어 모델(LLM)이 프리미티브 선택, 적응형 하이퍼파라미터 재파라미터화(reparameterization), 엔트로피 정규화 섭동 혼합을 오케스트레이션한다. 밀집 최적화, 눈금성(saliency) 기반 방법, 공간 변환, 주파수 영역 섭동, 블록 구조 수정에 걸친 다섯 가지 상보적 프리미티브를 통합함으로써, ARMOR++는 이질적인 귀납 편향(inductive bias)을 효과적으로 타겟팅한다. AADD-2025 벤치마크에 대한 엄격한 평가에서 ARMOR++는 저품질 및 고품질 이미지 영역 모두에서 기존 에이전트 기반 및 비에이전트 기준선을 크게 능가함을 보여준다. 통계 분석은 최첨단 에이전트 기반 기준선 대비 맹표(blind-target) 공격 성공률(ASR)에서 상당한 향상을 확인했으며, 비에이전트 벤치마크 및 강건한 방어 구성 하에서도 추가적인 성능 이점이 입증되었다. 이러한 결과는 현재 딥페이크 탐지기 배포에서 상당한 잔여 신뢰성 격차가 있음을 부각하고, 잠재적 취약점을 식별하는 데 있어 에이전트 기반 오케스트레이션의 효과를 보여준다.