에이전트 스킬 선택의 의미적 모호성 문제를 해결하기 위해 SkillReranker는 태스크와 스킬을 각각 서브태스크·상태 시퀀스로 구조화 파싱한 뒤, 중간 태스크 상태를 노드, 후보 스킬을 엣지로 삼는 방향성 비순환 실행 그래프를 구성하여 동적으로 스킬 집합을 선정하는 추론 시점 리랭킹 프레임워크다. ALFWorld와 ScienceWorld에서 세 가지 백본 LLM으로 실험한 결과, 기존 스킬 선택 베이스라인 대비 태스크 성능 향상과 함께 환경 상호작용 단계 및 토큰 소비가 감소함을 확인했다.
LLM 기반 측정 신뢰도 보정(MCC) 방법을 제안하며, 공정 문서에서 측정 의미론(measurement semantics)을 오프라인으로 추출해 예측 전 입력 측정값의 신뢰성을 판단하고 국소적 충돌을 보정한다. 여러 산업용 예측 및 소프트 센싱(soft sensing) 과제에서 실제 테스트 기준 평균 MAE 30.7%, 오염 시나리오 기준 80.3% 감소를 달성하면서 온라인 추론 오버헤드는 0.089 ms/스텝에 불과하다.
AI 코딩 에이전트에 대한 과도한 의존이 개발자의 부수적 학습(incidental learning)을 차단하고 기술 부채(Technical Debt)에 대응하는 "지식 부채(Knowledge Debt)"를 누적시킨다는 문제를 제기하며, 이를 해결하기 위한 여섯 가지 설계 원칙과 에이전트 자체 추론을 활용해 개발자 흐름을 방해하지 않는 대역 외(out-of-band) 학습 순간을 제공하는 다중 에이전트 시스템 SHIELD를 제안한다.
Prompt Coach(PC)는 소프트웨어 개발자가 IDE 내 작업 흐름에서 소크라테스식 안내를 통해 고품질 코드 생성 프롬프트 작성 기술을 학습할 수 있도록 지원하는 멀티 에이전트 기반 튜터 시스템으로, 프롬프트를 명확성·구체성·오류 처리 등 8개 차원에서 평가하고 개발자의 코드베이스와 대상 LLM 동작에 그라운딩된 맥락 인식 질문을 제시한다. 15명의 전문 개발자를 대상으로 한 실증 연구에서 단 60분의 세션 만에 통계적으로 유의미한 프롬프트 품질 향상이 확인되었으며, 참가자들은 높은 신뢰도와 도입 준비도를 보고했다.
파리무추엘 결합 시장에서 LLM 에이전트의 상대적 부(wealth) 성장이 상대적 정보량과 정확히 일치한다는 격차 법칙(gap law)을 Claude Opus 4.8 에이전트로 사전 등록 실험을 통해 처음으로 정량적으로 확인했다. 반면 집단 수준의 정렬 불일치(misalignment)가 인센티브 레버에 부드럽게 반응한다는 평균장(mean-field) 가정은 72회 전 실험에서 목표 분산이 붕괴(V→0)하고 어트랙터 전환 형태의 계단 함수 반응만 관찰되어 실증적 기반이 없음을 보였다.
LLM 에이전트 시뮬레이션의 출력이 실제 예측으로 과대 해석되는 문제를 해결하기 위해, AgoraSim은 텍스트·멀티모달 아티팩트를 편집 가능한 에이전트 기반 모델(ABM) 설정으로 변환하고 LLM, 비전-언어(VLM), 고전적 규칙 기반 에이전트를 비율 제어 방식으로 혼합 실행하는 하이브리드 프레임워크를 제안한다. 모든 에이전트가 공유 구조화 결정 객체를 출력하여 동일 시나리오를 고전적 참조 역학(임계값 확산, SIR 전파, 여론 수렴 등)과 직접 비교함으로써, 사용자가 모델링 가정의 차이를 명시적으로 검토하고 경험적 검증이 필요한 사례를 식별할 수 있게 한다.
대규모 언어 모델(LLM)이 구조화된 기술 문서로부터 설계 구조 행렬(Design Structure Matrix, DSM)을 자동 생성하는 Auto-DSM 파이프라인을 체계적으로 평가하기 위한 블랙박스 평가 프레임워크를 제안하며, 완전성·정확성 등 구조적 지표와 엔트로피·Fleiss' κ 기반 안정성 척도를 결합한 복합 품질 점수(Q)를 도입한다. 실험 결과 LLM은 잘 구조화된 입력에서 구조적으로 타당한 DSM을 높은 재현성으로 생성할 수 있으나, 모호한 의존성 정의와 프롬프트 구성에 민감하게 반응하며 환각 및 기권(abstention) 실패가 체계적으로 발생함을 보였다.
본 데모는 벤더 무관(vendor-agnostic) IPoDWDM 네트워크의 자율 제어를 위한 MCP 기반 에이전틱 AI 아키텍처를 제시한다. GNPy와 텔레메트리를 활용한 실시간 종단 간 라이프사이클 다층(multi-layer) 자동화 및 폐루프(closed-loop) 제어를 실제 테스트베드에서 검증하여 시연한다.
RDF 데이터셋 검색에서 대규모 언어 모델(LLM)이 생성한 합성 메타데이터의 검색 효과성과 충실도(faithfulness)를 동시에 평가하기 위해, 단순 재작성부터 프로파일 기반·에이전트 그래프 기반 생성까지 여섯 가지 메타데이터 생성 방식을 ACORDAR 벤치마크에서 비교 분석했다. 제약 없는 메타데이터 재작성이 검색 성능을 가장 크게 향상시키지만 충실도는 가장 낮으며, 프로파일 기반 재작성이 검색 효과성과 그라운딩 간 가장 균형 잡힌 절충점을 제공함을 보여 합성 메타데이터를 효과성·출처·신뢰성을 함께 고려해야 하는 시스템 수준의 정보 검색(IR) 문제로 규정한다.
유럽 프로젝트 LLMs4EU와 ALT-EDIC 인프라 내에서 사회과학·인문학(SSH) 연구에 특화된 대규모 언어 모델(LLM) 적응 사례인 ReSearch_SSH를 소개하며, 검색-증강 생성(RAG) 아키텍처와 지식 그래프(Wikidata)를 결합해 ISIDORE 플랫폼의 다국어 학술 자료에 대한 질의응답, 문헌 종합, 비교 문서 분석을 지원한다. 환각 탐지·추적 가능성 등을 포함한 정량적 벤치마킹과 디지털 인문학 전문가 패널의 정성 평가를 통해 도메인 적응 모델의 신뢰성과 인식론적 책임을 검증하는 평가 프레임워크를 함께 제시한다.
SPEAR 프레임워크 기반의 대화형 보안 분석 도구 i-EXAM은 네트워크를 PDDL 계획 문제로 자동 변환하여 공격 경로 식별, 보안 메트릭 평가, 다양한 네트워크 강화 전략 생성을 건전성·완전성 보장과 함께 수행한다. 또한 llama-3.1-nemotron-70b-instruct를 활용해 계획 실패 정보를 자연어 설명으로 변환함으로써, PDDL 전문 지식 없이도 시스템 관리자가 보안 강화 전략을 직관적으로 이해하고 선택할 수 있도록 지원한다.
LLM 서빙 최적화에서 그리드 서치 대신 분석적 플로어를 먼저 구축하는 잔차 기반 트리아지(triage) 방법론 "Floor First"를 제안하며, 각 디코드 단계를 5차원 자원 벡터로 모델링해 낙관적/비관적 플로어 구간에서 오버랩 품질을 진단하고 프로파일러 투입을 잔차 기준으로 제한한다. 16개 NVIDIA H20 GPU에서 DeepSeek-V3.2 스타일 671B MoE 모델을 사례 연구로, TP16 대비 EP16+DP 어텐션 레이아웃이 단일 스트림 지연 시간에서는 2.4배 불리하지만 KV 용량 한계를 한 자릿수 높인다는 판단이 운영 포인트의 계산 가능한 함수임을 보인다.
StateFuse는 멀티 에이전트 시스템에서 브랜치·재시도·레플리카 전반의 충돌 관측값을 덮어쓰지 않고 보존하기 위해, 표준 OpSet/CRDT 병합 위에 불변 이력·명시적 충돌 객체·의미론적 수정 핸들(claim_ref)을 갖춘 에이전트 대면 메모리 계약을 정의한다. MemoryAgentBench 충돌 포함 슬라이스 평가에서 답변 정확도는 기준선들과 동점이지만, 충돌을 보존하는 표면이 모순을 가시화하고 안전한 기권·감사 가능한 수정을 가능하게 한다는 점에서 더 안전한 공개 메모리 계약임을 보인다.
동일 계보 모델(Gemma, Qwen)에서 안전성 정렬 상태(Aligned)와 거부 제거 상태(Abliterated)를 비교해 취약점 탐지·위치 파악·패치 검증 등 소프트웨어 보안 워크플로우 전반의 방어적 유용성을 측정한 연구로, 거부율만으로는 평가가 불충분하며 응답 커버리지·정확도·실행 가능성을 함께 측정해야 함을 보인다. Abliterated 모델이 Vul4J 패치 검증에서 컴파일 성공률 32.8% 대 9.0%, Qwen 라인 수준 F1에서 3.91% 대 2.08%로 코드 기반의 심층 작업에서 우위를 보인 반면, 정렬 모델은 일부 고수준 분류 작업에서 여전히 강점을 유지했다.
희석 냉동기의 극저온 고장 진단에서 임계값 경보의 한계를 극복하기 위해, 물리 기반 디지털 트윈 시뮬레이터 Onnes와 5역할 다중 에이전트 LLM 패널을 결합한 시스템을 제안한다. 퓨샷 대조 데모와 자기일관성 투표를 적용한 결과, 파라미터 업데이트 없이 레이블 6개만으로 분류 정확도를 0.685에서 0.990으로 끌어올려 지도학습 분류기(0.985)와 동등한 성능을 달성했다.
온-정책 지식 증류(OPD)는 학생 정책이 자신의 궤적 위에서 더 강력한 교사와 매칭되도록 학습시키는 방법으로, 언어 에이전트 학습을 위한 유망한 프레임워크를 제공한다. 그러나 장기 지평(long-horizon) 에이전트 과제에 대한 적용은 아직 충분히 탐구되지 않았다. 우리는 기본적인 에이전트 OPD에서 두 가지 핵심 비효율성을 식별한다: (1) 전체 지평 롤아웃은 약하고 잡음이 많은 KL 감독을 제공하는 후반 턴에 실제 시간(wall-clock) 자원을 낭비하는 경우가 많고, (2) 궤적 수준의 KL 목적 함수는 대부분의 손실을 얕은 토큰에 집중시켜, 초기 행동이 정렬된 후 더 깊은 결정 턴이 충분히 학습되지 않는다. 이러한 문제를 해결하기 위해, 우리는 장기 지평 에이전트의 효율적인 온-정책 지식 증류를 위한 턴 수준 예산 전략인 TurnOPD를 제안한다. TurnOPD는 두 가지 예산 컨트롤러로 구성된다: 프로브 기반 턴 통계를 활용하여 롤아웃 길이를 결정하는 적응적 롤아웃 깊이 예산 책정(adaptive rollout-depth budgeting), 그리고 KL 가중치를 토큰 수준에서 턴 균형 감독으로 점진적으로 전환하는 점진적 턴 정규화 손실 예산 책정(progressive turn-normalized loss budgeting)이다. 과제별 특화 교사 모델을 사용한 ALFWorld, WebShop, Multi-Hop Search에서의 실험 결과, TurnOPD는 동일한 실제 시간 학습 예산 하에서 우수한 검증 정확도를 달성하고, 기본적인 OPD를 넘어 정확도-시간 프론티어를 개선함을 보인다.
NapMem은 장기 사용자 메모리를 수동적 검색 컨텍스트가 아닌 구조화된 행동 공간으로 학습하는 프레임워크로, 원시 대화·메모리 레코드·토픽 트랙·사용자 프로필을 계층적으로 연결한 다중 세분화도 메모리 피라미드를 구성하고 에이전트가 GRPO 기반 강화학습으로 적절한 메모리 레벨을 탐색하도록 훈련한다. PersonaMem-v2, LongMemEval, LoCoMo 벤치마크 실험에서 다양한 메모리 집약적 태스크에 걸쳐 경쟁력 있는 성능을 보였으며, 비메모리 태스크에서도 일반적인 추론 및 도구 사용 능력을 대체로 보존함을 확인하였다.
헤딩 앵커(heading-anchor) 위치에서 추출한 활성화 조향(activation steering) 벡터를 이용해 도구가 증강된 대규모 언어 모델(LLM)의 불필요한 도구 호출을 추론 시점에 양방향으로 제어할 수 있음을 5개의 오픈소스 모델과 3개의 도메인에서 검증했다. 파라메트릭 추론으로 충분한 도메인에서 억제 효과가 가장 뚜렷했으나, 기하학적 분석에서는 도구 사용 조향 벡터가 선형 표현 가설(linear representation hypothesis)에서 예측하는 깔끔한 구조가 아닌 확산된 이봉형(bimodal) 분포를 보여, 이러한 비선형 구조와 인과적 효과 사이의 관계는 미해결 문제로 남는다.
대규모 언어 모델(LLM) 에이전트는 도구 사용, 다단계 작업 계획, 다른 에이전트와의 조율, 장기간 운용 능력 측면에서 점점 더 광범위하게 평가되고 있다. 보고된 벤치마크 성능 향상은 서로 관련 없어 보이는 다양한 평가 연구에서 반복적으로 문서화된 실패 양상을 종종 가린다. 본 논문은 19개의 서로 다른 벤치마크에 걸쳐 2023년부터 2026년 사이에 발표된 27편의 벤치마크·분류체계·감사 논문을 종합하여 에이전트 한계에 대한 횡단적 분류체계를 구성한다. 저자들이 파악하는 한, 이는 도구 사용, 계획, 장기 추론, 다중 에이전트 조율, 안전성, 측정 타당성에 걸친 증거를 단일하고 통합된 LLM 에이전트 한계 분류체계로 통합한 최초의 종합 연구이다. 본 연구는 여섯 가지 실패 군집을 식별한다: (1) 도구 호출 및 매개변수(parameter) 수준의 오류, (2) 계획 및 제약 충족 실패, (3) 컨텍스트 누적으로 인한 장기 성능 저하, (4) 다중 에이전트 조율 실패, (5) 적대적 또는 불충분한 명세 조건에서의 안전성·보안 실패, (6) 측정 타당성 문제. 분류체계는 독립적으로 보고된 오류 범주를 에이전트 추론-행동 파이프라인의 개별 단계에 해당하는 주제별로 그룹화하는 반복적 방식으로 도출되었다. 문헌 전반에 걸쳐, 실패가 작업 길이에 따라 비선형적으로 누적되고, 개별 하위 작업에서의 높은 성능이 종단 간(end-to-end) 성공으로 안정적으로 이어지지 않으며, 추가적인 스캐폴딩이 일관되게 신뢰성을 향상시키지 않는다는 사실이 발견되었다. 동시에, 단일 턴 도구 사용, 단기 웹 탐색, 좁은 범위의 코딩 작업에서는 상당한 진전이 입증되었다.
정적 벤치마크의 한계를 극복하기 위해 Uber AI가 개발한 AgenticAI-Supervisor는 API 및 UI 기반의 강화학습(RL) Gym 환경으로, 환경 생성과 대규모 병렬 롤아웃 실행을 분리하고 결정론적 검증기와 LLM-as-Judge를 결합한 다차원 보상 형성으로 보상 해킹(reward hacking)을 완화한다. 고객 지원 에이전트 사례 연구에서 결과 보상만 적용 시 약 40%의 에피소드에서 제약 위반이 발생함을 확인하고, 폐루프(closed-loop) 피드백을 통해 모델 최적화의 유효성을 시연하였다.