배포된 LLM 에이전트는 운영 하네스(harness)가 조립하는, 모델 외부의 텍스트 제어 내용인 에이전트 컨텍스트(agentic context)에 의존한다. 본 연구에서 해당 컨텍스트의 변경 가능한 구성요소는 모델, 도구, 하네스가 고정된 채 운영 경험으로 갱신되는 지속적인 시스템 수준 지시이다. 장기 진화 구간에서는 평문(flat-text) 유지 방식이 누적된 지시가 증가하고 상호작용하면서 검증을 점점 더 어렵게 만든다. 우리는 지속적인 지시 구성요소를 타입이 있는 의미 그래프(typed semantic graph)로 유지하고, 수정된 노드의 국지적 타입 이웃(local typed neighborhoods) 내에서 제안된 갱신을 검증하는 Graph-Regularized Agentic Context Evolution(GRACE)을 제안한다. 승인된 그래프 갱신은 배포에 사용되는 텍스트 지시 체크포인트에 대한 점진적 편집으로 재구성된다. 우리는 통제된 분포 변화(distribution shift) 프로토콜 하에서 $\tau^2$-bench에서 파생된 고정 통신(telecom) 에이전트 하네스 내에서 GRACE를 평가한다. 5회의 독립 반복 실험에서 GRACE는 최종 체크포인트에서 pass^3로 측정한 엄격한 신뢰성을 Gemini 2.5 Flash 제로샷(zero-shot) 값 0.091에서 0.673$\pm$0.136으로 향상시킨다. 이는 동일 보류 평가셋에서 Gemini 3.1 Pro 제로샷 기준 0.242를 넘으며, 평문 HCE 기준선은 0.191$\pm$0.051에 그친다. 이 결과는 신뢰할 수 있는 장기 컨텍스트 진화를 위해 검증을 국지적으로 만들 수 있는 구조적 기반(substrate)과 누적된 지시 내용을 계속 사용 가능하게 유지하는 통합(consolidation) 메커니즘이라는 두 가지 요구사항을 밝힌다.
본 논문의 주요 목표는 의료 도메인에서 서로 다른 출처의 다중모달 데이터에 기반한 예측를 위한 일반 프레임워크를 제안하는 것이다. 우리는 고정(frozen) 의료 대규모 언어 모델(LLM) 표현이 다중모달 1차 진단 범주 예측을 위한 공유 임베딩 공간으로 기능할 수 있는지 평가했다. 구조화된 전자건강기록(EHR) 변수와 정보 누출(leakage)을 제거한 퇴원 기록(discharge-note) 구간을 직렬화하여 공유 고정-LLM 표현 공간에 매핑하고, LLM을 미세조정하지 않고 선형 프로be(linear probe)로 1차 진단 범주를 복원하는 백본 유연(backbone-flexible) 프로bing 프레임워크를 제안한다. 13,645건의 입원(7개 진단 범주)으로 구성된 MIMIC-IV 코호트에서, 일치된 분할 및 컨텍스트 예산 하에서 XGBoost 및 세 가지 텍스트 베이스라인(CAML, LAAT, PLM-ICD)과 비교하여 서로 다른 모달리티 입력(구조화만, 비구조화만, 결합)에 대해 트랜스포머 층 및 여섯 개의 고정 백본 전반에서 프로bing을 수행했으며, MIMIC-III에서 데이터셋 간 견고성도 검증했다. 결합(Combined) 최종 층 프로be는 MIMIC-IV에서 top-1 정확도 88.86%를 달성하여 CAML 및 PLM-ICD를 유의하게 능가했고 LAAT와는 통계적으로 동등했다. 결합 정확도는 여섯 백본에서 87.69%에서 89.25% 범위였다. MIMIC-III에서는 도메인 내 결합 프로bing이 74.18% 정확도에 도달하여 세 베이스라인을 모두 유의하게 초과했으며, 전이 학습(transfer-learning) 테스트에서 MIMIC-IV 고정 표현 위 280만 매개변수 어댑터가 92.51% 정확도에 도달하여 적응(adapted) LAAT(85.54%)를 능가했다. 고정 LLM 임베딩은 구조화 정보와 서술형 EHR 정보를 통합한다. 결합 구성은 모든 설정에서 가장 강했으며, 그 표현은 소형 어댑터를 통해 데이터셋 간 전이되었다. 고정 LLM 표현에 대한 다중모달 프로bing은 EHR 모달리티를 연구하고 임상 표현을 데이터셋 간 적응하는 실용적이고 백본 유연한 접근을 제공한다.
대규모 언어 모델(LLM)은 의사결정 능력을 갖춘 장기 실행 에이전트로 점점 더 배치되고 있다. LLM은 트롤리 문제와 같은 딜레마에서 윤리적 역량을 보일 수 있지만, 이러한 역량이 복잡한 에이전트적(agentic) 시나리오로 이어지지 않을 수 있다. 우리는 Civilization V에서 이 격차를 연구한다. Civilization V는 경제, 외교, 기술, 군사 전략을 포함한 복잡한 의사결정 환경을 갖춘 멀티플레이어 게임이다. LLM 플레이어가 스스로 핵 사용 승인을 확대한 130건의 고긴장 LLM 자기 대국(self-play) 에피소드에서 출발하여, 13개 모델에 대해 세 가지 프롬프트 개입으로 재현한다: 핵 피해를 명시하는 윤리적 프롬프트, 이전 모델의 의사결정 근거 제거, 실세계 영향을 강조하는 고위험(high-stakes) 프레이밍. 어떤 개입도 그 조합도 창발적(emergent) 확대를 안정적으로 제거하지 못한다. 우리는 세 가지 실패 경로를 확인한다: 프롬프트 없이는 윤리적 추론이 드러나지 않는 경우, 프롬프트를 주어도 나타나지 않는 경우, 또는 드러났으나 전략적 반대 요인이 우세할 때 행동으로 이어지지 않는 경우. 따라서 에이전트적 모델 평가는 윤리적 추론이 고립된 설정에서 끌어낼 수 있는지를 넘어, 복잡한 의사결정 맥락에서 자발적으로 호출되고 행동적으로 효과적인지를 검증해야 한다.
현대의 대규모 언어 모델(LLM) 에이전트는 단순히 더 긴 컨텍스트가 필요한 것이 아니라, 행동 시점에 의사결정과 관련된 근거가 필요하다. 우리는 의사결정 인식 컨텍스트 선택을 연구한다. 검색된 파일, 테스트, 트레이스, 규칙, 메모리를 의미적 유사도만이 아니라 에이전트의 다음 행동에 대한 기대 효과로 순위를 매긴다. 우리는 반사실 영감 컨텍스트 층(CICL)을 제안한다. CICL은 인스턴스 컨텍스트 그래프를 구축하고, 후보 단위에 대한 의사결정 지향적 유틸리티를 추정하며, 선택된 근거를 유형화된 메모리 카드로 압축한다. 동일한 스키마는 호스팅 LLM 판사, 로컬 대리 모델, 또는 경량 ranker로 인스턴스화할 수 있어, 모델 선택에 걸쳐 선택 프로토콜을 감사 가능하게 한다. SWE-bench Verified 파일 검색 인스턴스 50건에서 BM25 상위 50 후보에 대한 Qwen3.6-Plus 재순위화는 hit@1을 0.58에서 0.78로, MRR@10을 0.634에서 0.790으로 개선하며, 2,500개 판단 모두 파싱 가능하다. 통제된 진단은 CICL이 행동에 중요한 근거를 식별함을 보여준다. 최고 유틸리티 의미 단위를 제거하면 F1이 0.245에서 0.000으로 감소한다. 선택 후 압축 모드에서 메모리 카드는 선택된 근거를 유지하면서 쿼리당 44.93 토큰을 절약한다. CICL은 도구 사용 에이전트를 위한 의사결정에 중요한 컨텍스트를 측정, 순위화, 압축하는 실용적 층을 제공한다. 코드는 https://github.com/stephen-guan-researcher/CICL 에서 이용 가능하다.
대규모 언어 모델(LLM) 서빙의 입력 길이가 계속 증가함에 따라, KV 캐시는 AI 인프라의 주요 병목이 되었다. 이는 GPU 메모리 용량, 서빙 동시성, 캐시 재사용, 분산 확장성을 제한한다. 위치 독립적(position-independent) KV 캐시, 접두 문맥(prefix) KV 캐시 압축, 핫/콜드 KV 캐시 분리, 분산 KV 캐시 관리를 포함한 여러 중요한 문제들은 모두 KV 캐시가 어떻게 표현되고 관리되는지에 달려 있다. 그러나 기존 서빙 시스템은 대체로 단일(monolithic) KV 캐시 추상화에 의존하여, KV 캐시를 동질적인 토큰 수준 메모리 블록 시퀀스로 취급하고 어텐션 헤드와 서빙 시나리오 전반에 걸쳐 유사한 정책으로 관리한다. 우리는 KV 캐시 효용성이 KV 헤드 전반에 걸쳐 고도로 구조화되어 있음을 관찰하였다. 서로 다른 헤드는 상이한 기능적 역할, 어텐션 거리, 런타임 중요도를 나타낸다. 따라서 모든 헤드, 토큰 범위, 또는 서빙 시나리오에 완전한 KV 캐시가 항상 필요한 것은 아니다. 본 논문에서는 LLM 서빙을 위한 헤드 인식(head-aware) KV 캐시 관리 시스템인 RedKnot을 제시한다. RedKnot은 서빙 시나리오에 따라 중요도와 유효 어텐션 범위가 크게 달라지는 KV 헤드를 따라 KV 캐시를 분해함으로써 기존의 단일 KV 캐시 추상화를 탈피한다. 이러한 헤드 수준 분해는 KV 캐시를 단일 텐서 추상화에서 구조화된 메모리 객체로 전환하여, RedKnot이 모델 재학습이나 미세조정(fine-tuning) 없이도 출력 충실도를 보존하고 자원 효율성을 개선하면서 위치 독립적 KV 재사용, 접두 문맥 KV 압축, 핫/콜드 KV 분리, 분산 KV 배치를 일관되게 지원할 수 있도록 한다. RedKnot은 KV 캐시를 단일하고 수동적인 런타임 부산물에서 확장 가능한 LLM 서빙을 위한 동적이며 모델 인식(model-aware) 런타임 기저(substrate)로 변환함으로써 AI 인프라의 새로운 기반을 구축한다.
MCP(Model Context Protocol)는 대규모 언어 모델(LLM)이 표준화된 프로토콜을 통해 외부 도구 및 데이터 소스와 상호작용할 수 있게 한다. 도구 증강(tool-augmented) 인공지능(AI) 워크플로에서의 급속한 채택은 런타임에 수용되지만 강제되지 않는 구성 매개변수 등 새로운 신뢰성 과제를 도입했으며, 이로 인해 의도하지 않은 기본 동작이 발생하는데, 이러한 런타임 결함 특성은 경험적으로 아직 조사되지 않았다. 우리는 MCP 서버의 런타임 결함에 대한 최초의 경험적 분류체계를 제시한다. 473개의 활발히 유지되는 MCP 서버 GitHub 저장소를 아우르는 저장소 마이닝(repository-mining) 파이프라인을 통해 식별된 833개의 확인된 런타임 결함 스레드를 수동으로 분석하고, 상향식(bottom-up) 개방 코딩 절차를 사용하여 분류체계를 도출했다. 분류체계는 11개의 최상위 범주, 27개의 하위 범주(73개의 말단 결함 유형)로 구성되며, 프로토콜 상호작용, 도구 호출, 스키마 강제, 상태 관리, 모델-제공자 통합, 보안 검증, 그리고 진행 중인 작업의 타임아웃 또는 명시적 취소에 걸친 반복적 실패를 포괄한다. 분류체계의 외적 타당도를 평가하기 위해 55명의 MCP 서버 개발자를 대상으로 설문 조사했다. 응답자들은 27개 결함 하위 범주 중 평균 20개를 경험했다고 보고했으며, 관찰되지 않은 범주는 없었다. 이 결과는 분류체계가 MCP 기반 시스템에서 널리 관찰되는 런타임 실패를 반영함을 나타내며, 향후 AI 소프트웨어 유지보수 및 진화에 도움이 될 것이다.
본 연구는 Reddit의 r/ChangeMyView에서 진행되었다가 중단된 현장 실험(field experiment)에서 공개된 데이터셋을 분석한다. 이 개입은 정체불명의 외부 연구자들이 수행하였으며 윤리적 반발로 중단되었고, AI 생성 계정을 공개하지 않은 채 사용자들을 실시간 토론에 끌어들이는 것을 포함했다. 공개 폭로 이후 Reddit은 중재자들이 AI 생성 댓글 아카이브를 공개하도록 허용하였으며, 이를 통해 공개 없이 대규모 언어 모델(LLM)이 정체성이 풍부한 숙의(deliberative) 포럼에서 어떻게 작동했는지 살펴볼 수 있는 드문 기회가 생겼다. 우리는 이 코퍼스에 대해 구조화된 내용 분석을 수행하며, 정체성 수행(identity performance), 권위 시그널링(authority signaling), 정렬(alignment) 전략, 인지적 휴리스틱(cognitive heuristics)의 활성화를 평가한다. 정체성 표적화 또는 채택은 댓글의 3분의 2 이상에서 나타나며, 정렬 움직임과 권위 주장은 거의 모든 댓글에서, 인지 바이어스 유발—특히 확증 바이어스(confirmation bias), 대표성(representativeness), 가용성(availability)—은 대다수에서 나타난다. 이러한 패턴은 체계적으로 공동 발생하며, 진정한 숙의 참여보다는 설득 효율을 위해 조율된 수사적 구조를 이룬다. CMV 인간 작성 반론과 비교할 때, 에이전트들은 모든 차원에서 전형적인 분포를 뒤집었다: 더 조밀한 권위 사용, 더 적대적인 정렬, 경험적 그라운딩(experiential grounding)보다 외부 인용에 대한 더 큰 의존. 이러한 환경에서 진정한 것과 합성적인 인식적 지위(epistemic standing) 사이의 구분은 점점 더 불투명해진다—공개 의무(disclosure mandates)만으로는 해결할 수 없는 비대칭이다. 결과는 AI 시스템의 존재 여부뿐 아니라 신뢰성(credibility)을 어떻게 구조화하는지 평가할 수 있는 감사(auditing) 프레임워크를 향해 가리킨다.
전략적으로 복잡한 보드 게임에서 인간 플레이어는 몇 판만 해도 빠르게 전략을 짜는 법을 배울 수 있다. 자율 에이전트도 현실적인 상호작용 환경에서 이와 비슷한 능력이 필요하지만, 기존 에이전트 벤치마크는 그런 전략적·진화적 의사결정 상황을 충분히 담아내지 못하는 경우가 많다. 본 논문은 포켓몬 트레이딩 카드 게임(PTCG) 기반 벤치마크 PTCG-Bench를 제안하며, LLM 에이전트를 두 상보적 층위에서 평가한다: (1) 단일 복잡 환경 안에서의 의사결정 성능, (2) 축적된 경험을 통한 자기 진화(self-evolving) 능력. 또한 모델 능력과 섞이지 않도록 에이전트 성능을 해석하기 위해 모듈형 하네스(harness) ablation을 포함한다. 실험 결과 LLM 에이전트는 사소하지 않은 게임플레이 성능을 낼 수 있으나, 지속적·안정적인 자기 진화는 여전히 어렵고 성능은 하네스 설계에 민감하다. PTCG-Bench가 현실적 상호작용 환경에서 하네스를 고려한(harness-aware) 자기 진화 에이전트 연구를 돕기를 기대한다.
본 논문은 MIT Beer Game을 이용해 다계층(multi-echelon) 공급망에서 자율 생성형 AI 에이전트의 성능과 신뢰성을 연구한다. 모델 선택, 운영 가드레일(operational guardrails), 중앙집중식 데이터 공유, 프롬프트 설계가 시스템 성능에 미치는 영향을 분석한다. 최고 성능 구성에서는 GenAI 에이전트가 인간 팀 대비 총 공급망 비용을 최대 80%까지 절감한다. 평균 성능은 강력하지만, 자율 에이전트는 실행 간(run-to-run) 불안정성이 크게 나타날 수 있어 변동성이 큰 조달 결정과 큰 꼬리 비용(tail costs)을 유발한다. 우리는 이 현상을 에이전트 불확(agent bullwhip), 즉 자율 다중 에이전트 시스템에서의 의사결정 불안정성 증폭으로 규정한다. 수요 경로(demand path)를 고정해 두었음에도 이러한 불안정성은 계층(echelon)을 가로질러 전파되고 시간에 따라 누적될 수 있음을 보인다. 이어 신뢰성 개선을 위한 두 가지 접근—강화학습 사후 학습과 운영 가드레일—을 평가한다. 둘 다 꼬리 사건(tail events)을 줄이고 에이전트 불확을 완화하지만, 작동 메커니즘이 다르고 요구되는 정보 수준과 모델 접근 권한도 다르다. 시스템 수준 피드백(system-level feedback)을 사용할 수 있을 때 강화학습 사후 학습이 신뢰성과 시스템 성능에서 가장 큰 이득을 주며, 가드레일은 극단적 의사결정을 제한하는 단순한 학습 없는(training-free) 대안을 제공한다.
최근 연구는 범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)이 사고의 연쇄(Chain-of-Thought, CoT) 추론으로부터 크게 이득을 본다는 점을 보여 주었다. 이 패러다임에서 생성 모델은 멀티모달 쿼리에 대한 명시적 추론 trace를 생성하고, 최종 표현은 쿼리와 추론 모두에 attend하는 <eos> 임베딩 토큰에서 추출된다. 효과적임에도 불구하고, 명시적 CoT trace를 생성하는 계산 부담은 종종 과도하다. 본 연구에서는 명시적 CoT를 잠재 think 토큰으로 대체하는 방법을 제안한다. 이 토큰은 관측 변수로서 명시적 CoT trace를 생성할 수 있는 잠재 변수(latent variable)로 해석된다. CoT 생성 손실로 think 토큰을 최적화하고 이어서 대조 손실(contrastive loss)로 임베딩 토큰을 최적화함으로써, 일정한 추론 비용으로 고성능의 추론 인지(reasoning-aware) 표현을 얻는다. 본 연구는 두 가지 핵심 아키텍처 설계를 조사한다: 1) 동일한 LLM 백본에서 think 토큰과 임베딩 토큰을 어떻게 추출할 것인가. 2) 두 토큰을 두 개의 종속 과제(dependent task)로 어떻게 학습할 것인가. 우리는 TTE-Flash-2B를 소개한다. 이는 MMEB-v2 벤치마크에서 명시적 CoT 대응 모델을 능가하는 추론 인지 멀티모달 표현 모델이며, 텍스트와 시각 모두에서 해석 가능한 잠재 think 토큰을 생성한다. 또한 15개 비디오 데이터셋에 걸친 제로샷 평가는 think 토큰 수가 증가할수록 스케일링(scaling) 거동을 보여 준다.
비용이 큰 시뮬레이션을 위한 고속 서로게이트 모델은 이제 과학 전반에서 필수적이지만, 대개 블랙박스처럼 동작한다. 우리는 시뮬레이션 데이터로부터 직접 해석 가능한 해석적 서로게이트를 구축하는 대규모 언어 모델(LLM) 기반 워크플로인 \texttt{GWAgent}를 제안한다. 서로게이트 모델링은 각 반복마다 후보 모델을 ground-truth 시뮬레이션에 대해 정량적으로 검증할 수 있기 때문에 에이전트 워크플로에 잘 맞다. 시연으로, 우리는 이심 궤도 이중 블랙홀 병합의 중력파 파형에 대한 서로게이트를 구축한다. 에이전트에 물리 정보가 반영된 영역 ansatz를 제공하면 출력 모델 정확도가 크게 향상됨을 보인다. 결과적으로 얻은 해석적 서로게이트는 파형 평가에서 $\sim 8.4\times$ 속도 향상과 함께 Advanced LIGO mismatch의 중앙값 $6.9\times10^{-4}$를 달성하며, 기호 회귀(symbolic regression)와 기존 기계학습 베이스라인을 모두 능가한다. 정확한 모델을 만드는 것을 넘어, 이 워크플로는 학습된 표현으로부터 간결한 물리적 구조를 식별한다. 천체물리학적 응용으로, 우리는 \texttt{GWAgent}를 사용해 GW200129의 이심률을 분석하고 $e_{20\mathrm{Hz}}=0.099^{+0.063}_{-0.044}$를 추론한다. 이러한 결과는 검증 제약이 있는 에이전트 워크플로가 과학 시뮬레이션과 추론을 위한 정확하고 빠르며 해석 가능한 서로게이트를 만들 수 있음을 보여준다.
현대 중력파 천문학은 값비싼 수치 일반 상대성이론 시뮬레이션으로부터 빠른 파형 서로게이트를 구축하고, 블랙홀의 궤도 역학을 모델링하며, 병합 잔여물 특성을 적합하고 템플릿 뱅크를 구성하는 등 종종 대학원 수준의 수개월 노력이 필요한 모델링 과제에 의존한다. 이러한 문제들은 탐지와 매개변수 추론을 뒷받침하기 위해 극도의 정밀도를 요구하며, 최신(state-of-the-art) 모델은 $\lesssim 10^{-4}$ 상대 오차를 달성한다. 우리는 최신 LLM 코딩 에이전트가 엄격한 정확도 기준을 만족하는 모델을 구성하고 물리 시스템에 대해 추론해야 성공하는, 이러한 종단(end-to-end) 과학 모델링을 수행할 수 있는지 연구한다. 우리는 중력파 해석 계산과 수치 시뮬레이션에 기반한 8개 과제로 구성된 gwBenchmarks를 도입하며, 이는 합쳐서 $10^8$ 코어-시간 이상의 연산을 대표한다. 과제들은 보간, 회귀, 고차원 시계열 모델링에 걸쳐 있으며, 수치 방법, 기계 학습, 물리 정보 기반 접근의 조합을 요구한다. 예비 실험에서 에이전트는 종종 프록시 지표, 부분 평가, 또는 조작된 결과에 의존하여 과제를 허위로 완료하는 경우가 잦았다. 따라서 우리는 에이전트 진행 상황을 측정하기 위한 외부 사전 정의 프레임워크를 구현한다. 12개 코딩 에이전트를 평가한 결과, 일관된 우승자는 없었다. 가장 쉬운 과제에서는 여러 에이전트가 동일한 3차 스플라인 해로 수렴했고, 한 에이전트는 문헌에서 널리 쓰이는 좌표 변환을 재발견했다. 해석 파형 모델링과 같은 더 어려운 과제에서는 모든 에이전트가 도메인 요구사항보다 1–2자릿수(order of magnitude) 부족했으며, 지표 오용, 제약 위반, 결과 조작을 포함한 체계적 실패를 보였다. 우리의 코드, 데이터, 웹사이트는 공개되어 있다.
운영 기술(OT) 장치는 안전이 중요한 물리적 공정을 구동하지만, 보안 테스트는 여전히 수작업이며 전문가 집약적이다. 자율 보안 에이전트가 이 부담을 줄일 수 있으나, 베어 메탈 OT 장치는 셸(shell), 파일시스템, 이름이 붙은 익스플로잇(exploit) 추상화가 없어 프로토콜 필드를 통한 조작과 관측 가능한 장치 상태를 요구하므로 공격 대상으로 다루기 어렵다. 본 논문은 APIOT(Autonomous Purple-teaming for Industrial OT)를 제시한다. 이는 인간 개입 없이 탐색 → 활용(exploitation) → 네트워크 수준 완화 → 검증 워크플로를 수행하는 대규모 언어 모델(LLM) 에이전트 프레임워크이다. Zephyr RTOS용 취약 펌웨어 및 시뮬레이터에서 360회 실행으로 APIOT를 평가했으며, 다섯 LLM, 세 가지 토폴로지, 두 가지 손상(impairment) 수준, 프롬프트·도구 및 두 가지 ablation을 포함한다. APIOT는 주요 미션의 90%(프로토콜·토폴로지 전반 63/70)와 150회 교차 모델 실행의 85%(128/150)를 완료했으며, 모델 간 실현 가능성은 있으나 편차가 크다. 이름이 붙은 익스플로잇 도구(예: canned CoAP option-overflow)는 더 빨랐지만, 프로토콜 원시 요소(에이전트가 필드를 직접 구성)는 미관측 페이로드 변종까지 차단하는 재사용 가능한 완화를 더 많이 만들었다. 런타임 감독이 신뢰성을 높였다: 규칙 기반 가드로 성공률이 27/30에서 29/30으로 올랐고, 두 번째 LLM이 자문(advisory) 조향을 추가했을 때 30/30이 되었다. 알려진 바로는, 이는 베어 메탈 산업 장치에서 최초의 end-to-end 자율 공격-복구 시연으로, 제로데이 발견이나 프로덕션 OT 이전이 아닌 통제된 실현 가능성을 보여준다.
대규모 언어 모델(LLM)의 최근 발전은 전통적으로 인간의 전문성과 판단에 크게 의존한다고 여겨져 온 소프트웨어 설계를 포함하여, 다양한 소프트웨어 공학 작업 전반에서 상당한 잠재력을 입증했습니다. 그러나 소프트웨어 설계에서 LLM이 어떻게 활용되는지, 그리고 그에 따른 이점과 한계는 무엇인지 조사한 연구는 제한적이었습니다. 본 논문은 소프트웨어 개발자가 소프트웨어 설계에서 LLM을 어떻게 사용하는지 실증적으로 조사하여 이러한 공백을 해결합니다. 우리는 GitHub에서 공유된 291건의 개발자-ChatGPT 대화에 대한 마이닝 연구와 65명의 소프트웨어 실무자를 대상으로 한 설문조사를 결합한 혼합 연구 방법론을 수행했습니다. 마이닝된 대화로부터 아키텍처 설계, 데이터 모델 설계, 디자인 패턴 활용을 포함하여 ChatGPT가 지원하는 9가지 설계 작업 범주를 식별했습니다. 나아가 개발자-ChatGPT 간의 상호작용을 특성화하여, 마이닝된 대화 속 개발자들이 주로 지식 습득과 설계 관련 코드 생성을 위해 ChatGPT를 사용하며 대부분의 작업이 상세 설계 수준에 위치함을 보여줍니다. 설문조사 참가자들은 더 나은 기술 선택 및 설계 결함의 조기 발견 등 7가지 주요 이점과 긴 출력, 실행 불가능하거나 부정확한 코드, 프로젝트 맥락에 대한 의존성 등 6가지 한계를 보고했습니다. 이러한 연구 결과는 오픈소스 및 실무자 관점 모두에서 소프트웨어 설계 내 현재 LLM 사용에 대한 증거 기반의 특성화를 제공합니다.
스킬은 언어 모델이 무엇을 할 수 있는지, 그리고 그 행동을 어떻게 바꿀 수 있는지를 기술하는 자연스러운 단위이다. 그러나 기존 특성화는 사람이 작성한 분류체계, 텍스트 설명, 또는 수동 프로파일링 파이프라인에 의존한다—이는 모두 무엇이 중요한지에 대한 외부 가설이며, 모델의 내부 표현과 일치할 필요가 없다. 우리는 모델 행동에 개입하는 것이 목표일 때, 스킬 특성화는 모델-네이티브(model-native)이어야 한다고 주장한다: 외부 온톨로지를 통해 부과하는 것이 아니라 모델 자체의 표현에 그라운딩되어야 한다. 우리는 시퀀스 수준 활성화(sequence-level activations)로부터 컴팩트한 직교 기저(orthogonal basis)를 복원함으로써 이 관점을 구체화한다. 결과적 기저는 의미적으로 해석 가능하지만 미리 정의된 인간 온톨로지와 대응할 필요는 없으며, 대신 모델 자체가 조직화하는 행동 변화의 축을 포착한다. 우리는 추론 사후 학습(reasoning post-training)에서 이 특성화를 검증하며, 복원된 기저를 SFT 데이터 선별과 추론 시 스티어링 모두에 사용한다. 우리는 주어진 모델에 어떤 방향이 가장 유용한지 식별하기 위해 경량 프록시 개입을 개발한다. Llama3-8B와 Qwen2.5-3B 전반에 걸쳐, 그 방향을 따라 데이터를 선별하면 MATH에서 Pass@1이 최대 20%, AMC에서 41% 개선되며, 사람이 특성화한 스킬에 기반한 데이터 선별을 능가한다. 기저가 활성화 공간에 존재하므로, 동일한 방향은 추론 시 스티어링 벡터로도 작동하여 MATH에서 Pass@8을 최대 4.8% 개선한다—이는 사람이 특성화한 스킬이 지원할 수 없는 개입이다. 우리는 안전성 정렬(safety alignment)에서도 특성화를 추가로 검증하며, 텍스트 다양성보다 모델-네이티브 스킬 커버리지를 위한 적대적 학습 데이터 선별이 더 샘플 효율적인 학습을 낳는다. 이 결과는 외부에서 부과하는 대신 모델 자체 표현으로부터 스킬을 복원하는 것이 모델 행동 개입을 위한 더 효과적인 기반을 제공함을 시사한다. 코드는 오픈소스로 공개되었다.
LLM 기반 에이전트(agent)의 전략적 의사결정을 평가하려면 생성적이고 경쟁적이며 종단적인 환경이 필요하지만, 이 세 가지를 모두 제공하는 벤치마크(benchmark)는 거의 없으며 장기적(long-horizon) 다중 에이전트 플레이에 충분할 만큼 풍부한 평가 신호를 제공하는 벤치마크는 더욱 드뭅니다. 본 논문에서는 멀티플레이어 문명 V(Civilization V)에서 LLM 전략가(에이전틱 설정 하의 모델)를 평가하기 위한 벤치마크인 CivBench를 소개합니다. 수백 턴과 다수의 상대를 아우르는 게임에서는 최종 승패(terminal win/loss) 신호가 너무 희소(sparse)하기 때문에, CivBench는 게임 상태가 주어졌을 때 플레이어가 궁극적으로 승리할 확률인 상태-가치 함수(state-value function)의 추정기를 학습(training)합니다. 7개의 LLM과 다양한 CivBench 에이전트 조건을 바탕으로 한 307회의 게임 전반에 걸쳐, 우리는 미포화 벤치마크로서 문명 V 내 전략적 역량을 추정하고, 에이전틱 설정이 모델(model)에 미치는 고유한 영향을 밝혀내며, 결과만을 평가했을 때는 보이지 않던 뚜렷한 전략적 프로파일을 개략적으로 보여주는 CivBench의 잠재력을 입증합니다.
다자간 대화에서 옴니모달 대규모 언어 모델(OLM)을 평가하려면 사전 세그먼트된 입력에 대한 답변 정확성만으로는 부족하다. 우리는 SocialOmni를 제안한다. 이는 오프라인 진단 벤치마크로, 턴 수준에서 세 가지 결정을 분리한다: 누가 말하고 있는지 식별하는 것, 주석이 달린 쿼리 시점에 지정된 참가자가 언제 개입해야 하는지 결정하는 것, 그 참가자가 대화를 어떻게 이어가야 하는지 결정하는 것. SocialOmni는 2,000개의 지각(perception) 항목과 품질 관리된 핵심 분할로 200개의 상호작용 생성 항목을 포함하며, 자연적으로 발생하는 화자-가시성 불일치도 담고 있다. 각 항목은 세 명의 인간 주석자가 독립적으로 검증한다. 평가 대상 시스템은 쿼리 시점에 한정된 멀티모달 증거만 받으며, 수동으로 검증된 참조 연속(continuation)은 응답 채점용으로 따로 보류한다. 완전한 3심사관 앙상블이 모든 해당 응답을 채점하며, leave-one-judge-out 및 family-sensitivity 감사를 수행한다. 11개 OLM에 걸쳐 순위는 축별로 크게 달라지며, 커버리지 보정 점수는 높은 조건부 응답 품질이 선택적 턴 진입에 의존하는 경우를 드러낸다. 이 프로토콜은 지속적인 스트리밍 상태나 실제 경과 시간(wall-clock latency)을 측정하지 않는다.
기존의 대규모 언어 모델(LLM) 기반 웹 에이전트(agent)는 제한된 문맥 내 메모리, 취약한 계획 수립 능력, 그리고 조기 종료로 이어지는 탐욕적(greedy) 동작으로 인해 복잡하고 긴 호흡(long-horizon)의 태스크에서 어려움을 겪는다. 이러한 문제를 해결하기 위해, 동적 $\ANDOR$ 트리를 통해 계획 수립과 실행을 교차 진행하는 계층적 계획 수립 프레임워크인 \SA{}를 제안한다. 이 프레임워크는 구조적 계획 수립을 LLM 기반 추론과 분리하여 노드 수리를 통한 원칙적인 오류 복구, OR 노드를 통한 대안의 체계적인 탐험, 인간의 개입을 촉진할 수 있는 모듈식 계획을 가능하게 한다. WebArena(630개 태스크)에서 \SA{}는 AgentOccam의 약 46% 대비 약 53%의 성공률을 달성하며, 복잡한 다중 제약 조건이 있는 Amazon 쇼핑 태스크에서는 가장 강력한 기준선 대비 10%의 성능 향상을 기록한다.
전 스택 인간-로봇 협업(HRC)에서는 플래너, 파트너 모델, 협조 정책, 또는 제어기를 교체할 때 층 간 신호의 물리적 의미가 바뀌면 시스템이 쉽게 취약해질 수 있다. 본 논문은 물리적 계약(physical contracts)을 통해 이러한 의미를 보존하는 객체 중심 인지-제어(cognition-to-control) 아키텍처 C2C를 제안한다. C2C는 개별 모듈을 표준화하기보다, 모듈 사이에 교환되는 물리적 의미를 표준화한다. 과제 의도는 기하학적으로 검증된 페이로드 경로로, 파트너 정보는 소스에 독립적인 물리 상태로, 학습된 협조는 유계 11차원 작업 공간 명령으로 표현하며, 로봇별 실행 가능성은 전신 제어(WBC) 내부에 둔다. 참조 시스템은 비전-언어 모델, 결정론적 기하 검증, 파트너 인지 협조를 위한 다중 에이전트 강화학습(MARL)을 결합한다. 아홉 가지 운반 시나리오에서 적응형 MARL 변형은 인터페이스를 바꾸지 않은 채 평균 성공률 77.1–82.1%를 달성했으며, 스크립트형 파트너 기준은 56.5%였다. 동일한 계약은 신경망 및 해석 가능한 hard-tree 액터, 2·3인 운반 팀, 시뮬레이션 파트너에서 인간 파트너로의 대체까지 추가로 지원한다. 실제 Unitree G1–인간 시험에서는 공간 제약 운반에서 100% 성공, 초장형 물체 취급에서 80% 성공을 보였고, G1 휴머노이드 2대와 인간 1명으로 구성된 3인 운반 시스템이 하드웨어에서 동일한 인터페이스 구조를 검증했다. 이 결과들은 C2C가 밀접하게 결합된 HRC 스택을 핵심 구성요소를 바꿔도 물리적 협업 과제를 재정의하지 않아도 되는 플러그 호환 시스템으로 전환할 수 있음을 보여준다.
추론은 추론(inference), 문제 해결, 의사결정의 기반이 되는 근본적인 인지 과정이다. 대규모 언어 모델(LLM)은 폐쇄 세계(closed-world) 설정에서 강한 추론 능력을 보이지만, 개방형·동적 환경에서는 어려움을 겪는다. 에이전트적 추론(agentic reasoning)은 LLM을 지속적 상호작용을 통해 계획하고 행동하며 학습하는 자율 에이전트로 재구성함으로써 패러다임 전환을 이룬다. 본 서베이에서는 에이전트적 추론을 세 가지 상보적 차원으로 정리한다. 먼저 환경 역학을 세 층으로 특성화한다: 핵심 단일 에이전트 능력(계획, 도구 사용, 안정 환경에서의 검색)을 확립하는 기초적 에이전트적 추론; 피드백·기억·적응을 통해 이러한 능력을 정교화하는 방법을 다루는 자기 진화형 에이전트적 추론; 조율, 지식 공유, 공유 목표를 포함하는 협업 설정으로 지능을 확장하는 집합적 다중 에이전트 추론. 이들 층 전반에서, 구조화된 오케스트레이션을 통해 테스트 시점 상호작용을 확장하는 문맥 내 추론(in-context reasoning)과, 강화학습 및 지도 미세조정을 통해 행동을 최적화하는 사후 학습 추론을 구분한다. 과학, 로보틱스, 의료, 자율 연구, 수학 등 실제 응용과 벤치마크에 걸친 대표적인 에이전트적 추론 프레임워크도 검토한다. 본 서베이는 에이전트적 추론 방법을 사고와 행동을 잇는 통합 로드맵으로 종합하고, 개인화, 장기 지평 상호작용, 세계 모델링(world modeling), 확장 가능한 다중 에이전트 학습, 실세계 배포를 위한 거버넌스 등 열린 과제와 향후 방향을 개괄한다.