우리는 수학자가 AI 시스템을 지휘하는 방식으로 Lean 4 증명 보조기에서 연구 결과를 형식화하고, 이 활동을 형식화 게임으로 규정한다. 목표는 LaTeX 문서를 Lean으로 변환하는 것이다. 개발 결과가 컴파일되고, sorry가 없으며, 기계 검사를 통해 목표 정리들이 Lean의 공리적 기반에만 의존함이 확인될 때 게임은 승리한다. 재사용성은 우리가 도입한 정의에 의한 두 번째 검증 기준으로, 해당 개발이 더 넓은 라이브러리가 흡수할 수 있는 범용 수학의 자립적 층을 산출하는지를 묻는다. 사례 연구는 Dobrushin의 평균장 경로를 통한 비선형 블라조프(Vlasov) 방정식의 적절성(well-posedness)에 대한 완전하고 공리-순수(axiom-clean)한 형식화이다. 여기에는 존재성, 유일성, 안정성 추정, 평균장 극한, 그리고 단기 구간 중첩 원리(약한 해는 라그랑지안임)가 포함된다. 인간의 역할은 증명을 작성하는 것이 아니라 지휘하는 것이었다: 정의의 범위를 설정하고, 분해 방향을 조종하며, 라이브러리의 공백을 분류하는 것이었고, AI 에이전트가 실행을 담당했다. 형식화는 작성된 각 명제의 증명을 인증하며, 작성된 명제가 의도된 정리인지 여부는 수학자의 판단에 남는다. 빌드 과정에서 파생된 최적 수송(optimal transport) 기계류(특히 Wasserstein-1 거리의 속성과 Kantorovich-Rubinstein 쌍대성 정리)는 Mathlib만을 대상으로 컴파일되는 자립적 층으로 분리된다: 개발의 약 6분의 1(299개 선언 중 49개)로, 역방향 의존성이 없는 22개 선언 인터페이스 뒤에 위치한다. 주요 정리들은 약 1주일이 걸렸고, 전체 개발에는 약 한 달이 소요되었다. 정량적 주장들은 일반 법칙이 아닌 하나의 게임에서의 관찰로 보고한다. 게임의 규칙은 특정 시스템을 명시하지 않으므로, 방법론적 틀은 어느 한 번의 실행 도구들보다 오래 지속되도록 의도되었다.
자율 코딩 에이전트가 자동화된 테스트 생성을 크게 발전시켰음에도, 이들은 근본적으로 게으른 생성(lazy generation)이라는 현상에 의해 제한된다. 이는 에이전트가 작업을 조기에 종료하고 복잡한 프로그래밍 로직을 체계적으로 회피하여 불충분한 코드 커버리지를 초래하는 현상이다. 현재 이러한 조기 종료를 완화하려면 지속적인 인간-참여(human-in-the-loop) 감독이 필요하다. 인간의 직관에 대한 이러한 과도한 의존은 자동화 생성의 효율성 이점을 상쇄하는 병목 현상을 야기한다. 우리는 테스트 생성 과정에서 인간 개입을 대체하는 코딩 에이전트의 적응형 자동 감독 프레임워크인 SCATE를 제안한다. 감독을 문맥적 밴딧(contextual bandit) 문제로 공식화함으로써, SCATE는 현재 커버리지와 클래스 테스트 가능성 지표를 기반으로 가장 유망한 테스팅 행동을 선택하는 방법을 학습하여, 불필요한 생성 노력을 최소화하면서 커버리지 향상을 극대화한다. 우리의 실증적 평가는 SCATE가 다양한 코딩 에이전트와 원활하게 통합됨을 보여준다. GEMINI-CLI에 적용했을 때, 에이전트 단독 기준선 대비 라인 커버리지 32.3%, 브랜치 커버리지 30.9% 향상을 달성한다. CLAUDE CODE와의 비교는 프레임워크가 각 에이전트의 고유한 강점을 최적화하기 위해 정책을 동적으로 적응시킴을 확인한다. SCATE는 또한 모든 지표에서 최신 비에이전트 방식을 일관되게 능가한다.
LLM이 생성한 코드는 컴파일되고 테스트를 통과하며 올바르게 보이지만, 배포 후 오류가 발생하는 경우가 많다. 근본 원인은 논리적인 문제이기보다는 구조적인 문제인 경우가 많다. 생성된 엔드포인트가 프로젝트에서 선언된 적 없는 설정 키를 참조하거나, 임포트가 어떤 레지스트리에도 존재하지 않는 패키지를 대상으로 하거나, 새로운 라우트가 모든 형제 엔드포인트에 적용된 인증 가드를 누락하는 경우가 그 예이다. 각 패치는 지역적으로는 유효하지만 전역적으로는 일관성이 없으며, 표준 CI 툴체인은 이러한 실패를 거의 식별하지 못한다. LLM 기반 코딩 도구가 널리 채택됨에 따라, 이 맹점은 소프트웨어 품질에 대한 위험으로 점점 커지고 있다. 우리는 이를 \textbf{패치워크 문제}라고 부른다. 이 논문은 임포트, 호출, 의존성, 설정, 스키마, 리소스, 제어 흐름, 라우팅 그래프를 포함한 저장소 아티팩트의 그래프 표현에 대한 일관성 불변식으로서 구조적 일관성을 형식화하고, LLM 생성에 특정한 결함과 단순히 LLM에 의해 증폭된 결함을 구분하는 8가지 범주의 실패 분류 체계를 도입한다. 우리는 기존 툴체인에서 충분히 지원되지 않는 교차 관심사 불변식에 대해 전용 탐지기를 배포하는 한편, 성숙한 정적 분석 도구가 이미 탁월한 영역에서는 이를 활용하는 하이브리드 검증 프레임워크를 제시하며, 발견적 패턴 매칭이 아닌 증명 가능한 제약 위반을 목표로 한다. 네 가지 프롬프팅 전략 하에서 두 프론티어 모델에 대한 실증 평가 결과, 구조적 실패의 대다수가 타입 검사, 테스트, SAST를 완전히 회피하며, 실패 패턴이 모델 간 질적으로 상이하게 나타나 모델 무관(model-agnostic) 완화 전략에 도전을 제기하는 것으로 드러났다. 실제 AI 생성 저장소에 대한 외부 검증을 통해 이러한 실패가 통제된 실험의 인공물이 아니라 LLM이 최소한의 인간 감독 하에 코드를 작성하는 모든 환경에서 만연하다는 것이 확인되었다.
AI 에이전트는 짧고 명확하게 정의된 태스크를 자율적으로 완료할 수 있는 수준에 도달했다. 그러나 기존의 터미널 벤치마크는 대부분 몇 분 내에 종료되는 단순한 문제에 집중하며, 최종 결과만으로 평가한다. 이러한 방식은 중간 과정의 진척과 부분적 해결책을 간과하여 희소한 보상 신호를 생성하고 에이전트 능력에 대한 불완전한 그림을 제공한다. 우리는 Long-Horizon-Terminal-Bench를 소개한다. 이는 실험 재현, 소프트웨어 엔지니어링, 멀티모달 분석, 인터랙티브 게임, 과학적 컴퓨팅을 포함한 9개 카테고리에 걸쳐 46개의 장기 수평 태스크로 구성된 터미널 벤치마크이다. 각 태스크는 참조 솔루션 또는 시뮬레이션 엔진을 갖춘 Terminal-Bench 스타일의 설정을 따르되, 세밀하게 채점된 서브태스크로 추가 분해된다. 이 설계는 밀집한 중간 보상과 부분 점수를 가능하게 하여, 에이전트가 최종 목표에 도달하는지 여부뿐만 아니라 개방형 워크플로우에서 얼마나 진전을 이루는지도 평가할 수 있다. Long-Horizon-Terminal-Bench의 태스크는 일반적으로 수백 번의 에피소드와 수 분에서 수 시간의 실행 시간을 요구하며, 단발성 문제 해결보다는 장기 수평 계획, 긴 컨텍스트 관리, 반복적 디버깅을 요구한다. 우리는 15개의 최전선 모델을 평가한 결과, 에이전트가 태스크당 평균 990만 토큰을 소비하며, 실행당 약 231회의 에피소드와 85.3분의 실행 시간이 소요됨을 확인했다. 이는 Long-Horizon-Terminal-Bench가 기존 터미널 기반 벤치마크보다 더 까다로움을 보여준다. 가장 강력한 테스트 모델조차 부분 보상 임계값 0.95에서 pass@1 15.2%, 완전 보상 임계값 1.0에서 10.9%를 달성하는 데 그쳤으며, 두 임계값 기준 모델 전체의 평균 통과율은 각각 4.3%와 1.7%에 불과하다. 이러한 결과는 개선의 여지가 충분함을 드러낸다. 우리는 실패 유형과 오류 패턴을 추가로 분석하고, 장기 수평 터미널 에이전트의 미래 발전을 지원하기 위해 Long-Horizon-Terminal-Bench를 공개한다.
대규모 언어 모델(LLM) 에이전트는 다단계 플래닝 작업에서 가능성을 보여주었으나, LATS(Language Agent Tree Search)와 ReAct 같은 기존 접근 방식은 플래닝 과정에서 LLM 추론에 크게 의존하여 높은 계산 비용과 확률적 동작을 초래한다. 본 논문에서는 **GATS**(Graph-Augmented Tree Search)를 제안한다. GATS는 UCB1 기반의 체계적인 트리 탐색과 계층적 월드 모델을 결합하여 추론 중 LLM 호출을 제거하면서도 우수한 플래닝 성능을 달성하는 플래닝 프레임워크이다. 세 층으로 구성된 월드 모델은 다음을 통합한다: (L1) 정확한 심볼릭 액션 매칭, (L2) 실행 로그에서 학습된 통계, (L3) 미지의 액션에 대한 LLM 기반 예측. 분기 경로와 막힌 길이 포함된 합성 플래닝 작업에서 GATS는 **100% 성공률**을 달성한 반면, LATS는 92%, ReAct는 64%에 그쳤다. 코딩 워크플로우, 웹 탐색, 장기 과제를 포함한 12가지 도전적 시나리오에 걸친 포괄적인 스트레스 테스트에서 GATS는 **100% 성공**을 유지한 반면, LATS는 88.9%, ReAct는 23.9%로 하락했다. GATS는 플래닝 중 **과제당 LLM 호출이 0번**(LATS의 경우 과제당 37번 대비)으로, 실행 전반에 걸쳐 분산이 없는 결정론적 계획을 생성한다. 본 결과는 학습된 월드 모델을 활용한 체계적인 탐색이 에이전트 플래닝에서 LLM 유도 탐험을 크게 능가할 수 있음을 보여준다.
대규모 언어 모델(LLM) 시스템의 신뢰성은 일반적으로 모델 능력의 함수로 정의된다. 우리는 신뢰성이 추론 시간 제어(inference-time control) — 작업 구성과 컨텍스트 선택을 관장하는 계산 층 — 에 의해 크게 영향을 받는다는 것을 입증함으로써 이 관점에 이의를 제기한다. 우리는 프로그래밍 방식의 조율과 경계가 명시된 프롬프트 기반 추론을 결합한 구조화된 인터페이스로 이 제어를 외재화하는 아키텍처 구현체인 CogniConsole을 소개한다. 다단계 대화형 환경에서 제어 가능성 지향 프로브(controllability-oriented probes, N=489)를 통해, 비구조적 방식에서 완전 스캐폴드 방식으로의 구조적 스캐폴딩 강화가 고정된 모델 아키텍처 하에서 출력 분산과 실패율을 체계적으로 감소시킴을 보인다. 우리의 결과는 컨텍스트 드리프트(context drift)나 비일관적인 제약 준수와 같이 관찰되는 많은 실패 유형이 능력 부족이 아닌 불충분하게 명세된 제어에서 비롯됨을 시사한다. 본 연구는 추론 시간 제어를 일급 추상화(first-class abstraction)로 다루는 경험적 근거를 제공하며, 스케일링만을 넘어선 LLM 시스템 설계 및 평가의 새로운 방향을 열어준다.
고객 행동 모델링은 추천, 마케팅, 의사결정 지원의 근간이 되지만, 기존 접근법은 의사결정에 대한 설명 없이 예측 정확도만을 최적화하거나, 실제 행동 데이터에 기반하지 않은 채 사용자를 시뮬레이션하는 데 그쳤다. 본 논문에서는 통합된 사람-환경(Person-Environment) 공식화를 통해 대규모 소매 거래로부터 고객 의사결정을 직접 학습하는 대규모 행동 모델(LBM, Large Behavioral Model)을 제안한다. 고객 상태는 과거 구매 이력에서 도출된 행동 프로파일로 표현되며, 제품 컨텍스트는 검색-증강 생성(RAG)을 통해 반영된다. 이 모델은 언어화된 행동 데이터에 대한 지속적 사전학습, 의사결정 생성을 위한 지도 미세조정, 그리고 증거 기반 보정을 위한 검증 가능한 보상을 활용한 강화학습을 통해 학습된다. 제안된 프레임워크는 구매 예측, 어려운 부정 사례(hard-negative) 판별, 장바구니 완성, 프로모션 반응, 크로스 도메인 바우처 사용 예측 태스크에서 평가된다. 이 모델은 도메인 내 소매 태스크에서 최신 범용 언어 모델을 지속적으로 능가하는 동시에, 소매업체 및 의사결정 도메인 전반에 걸쳐 강력한 제로샷 및 미세조정 전이 능력을 보인다. 절제 연구(ablation study)에 따르면, 지속적 사전학습이 행동 일반화의 주요 동인이고, 검색은 학습과 추론 모두에 적용될 때 가장 효과적이며, 강화학습은 일반적인 언어 모델 사전 분포보다 명시적 행동 증거에 대한 의존도를 향상시킨다. 이러한 결과는 거래 이력에 인코딩된 행동 지식이 언어 모델에 의해 효과적으로 학습될 수 있음을 입증하며, 고객 디지털 트윈 및 행동 시뮬레이션을 위한 확장 가능한 기반을 제공한다.
추천 시스템에서 대형 교사 LLM의 사고의 연쇄(CoT) 트레이스는 불필요한 반복 검증이 많아 지식 증류에 부적합한데, SCOReD는 학생 LLM의 어텐션을 활용해 각 세그먼트의 중요도를 측정하고 KEEP/REWRITE/FUSE/PRUNE 편집을 동적으로 선택함으로써 이를 학생 모델의 출력 분포에 맞게 최적화한다. SCOReD로 최적화된 CoT로 학습하면 기준 SFT 대비 NDCG 1.56%, Recall@5 1.9% 향상과 함께 추론 길이를 27.3% 단축하는 효과를 달성했다.
현행 법적 판결 예측(LJP)은 사후 사법 자료에 대한 의존으로 인해, 모델이 실제 예측보다 소급적 분류를 수행할 가능성(likelihood)이 높다는 제약이 있다. 본 논문은 영국 고용심판소(UKET) 결정에서의 청구 수준 결과 예측을 연구함으로써 이러한 맥락에서 지름길 학습(shortcut learning)을 실증적으로 조사한다. 33,158건의 개별 청구 코퍼스를 사용하여, 청구 텍스트와 LLM이 추출한 사건 요약으로부터 결과를 예측하며, 해석 가능한 TF-IDF 기반 분류기(classifier)부터 블랙박스 대규모 언어 모델(LLM)까지 다양한 모델을 평가한다. 표면적인 예측 성능 수치는 높게 나타나지만, 사후 사법 텍스트로 학습된 LJP 시스템의 이러한 성능이 원천 자료의 소급적 특성에 의해 좌우될 수 있음을 실증한다. 테스트 데이터를 누수(leakage)에 대한 인간의 판단에 따라 층화하면, 결과를 암시하는 단서가 서술에 내재된 경우 성능이 향상됨을 확인할 수 있다. 더욱이, 누수로 식별된 특징의 불과 4%만으로 학습된 모델이 인간 전문가를 능가하는 높은 성능을 달성한다. 이러한 결과는 LJP 성능이 언어적 아티팩트(linguistic artefacts)에 의해 과장될 수 있다는 우려를 실증적으로 뒷받침한다. 그러나 이 취약점이 연구 의제 자체를 무력화하지는 않는다. 오히려 사후 판결문은 잠재적으로 오염된 텍스트로 취급하여 적극적인 감사(auditing)가 필요한 대상으로 다루어야 한다. 누수 특징을 마스킹한 후 모델을 재학습하면 Macro-F1의 감소가 미미한 수준에 그친다. 따라서 모델은 지름길이 존재할 경우 이를 기회주의적으로 활용하지만, 해당 아티팩트가 제거된 후에도 유용한 예측 신호를 추출하는 능력은 유지된다.
강력한 추론은 모델의 지식뿐만 아니라 생성 과정에서 인지적 행동이 얼마나 효과적으로 발휘되는지에도 달려 있다. 기존 방법들은 명시적인 행동 수준 제어에 의존하는 경우가 많아, 추론 상태·과제·모델에 따라 실패 양상과 필요한 교정이 달라질 때 충분히 적응하지 못한다. 이를 위해 우리는 잠재 보상 조향(LRS, Latent Reward Steering)을 제안한다. LRS는 인지적 행동을 암묵적으로 담고 있는 희소 오토인코더(SAE, sparse-autoencoder) 잠재 상태를 최적화함으로써 인지적 행동을 촉진하는 적응형 추론 시간 프레임워크이다. 사전에 정의된 인지적 행동이나 그로부터 도출된 조향 방향에 의존하는 대신, LRS는 최종 답안의 정확성을 기준으로 추론 궤적 위에서 잠재 보상 모델을 학습하여 중간 잠재 상태의 품질을 추정한다. 추론 시에는 보상 그래디언트가 취약한 잠재 상태에 대한 상태별 교정 방향을 제공하며, 보상 및 신뢰도 게이트가 보상 신호가 취약하다고 표시한 상태에만 개입을 제한한다. 여러 추론 LLM 백본과 벤치마크에서 수행한 실험은 LRS가 다양한 기준선 대비 일관되게 성능을 향상시킴을 보여주며, 사후 분석을 통해 LRS가 원래의 추론 오류를 수정하는 바람직한 인지적 행동을 암묵적으로 촉진함을 확인하였다. 코드는 https://github.com/jiakanglee/Latent-Reward-Steering 에서 확인할 수 있다.
문맥 내 학습(ICL)은 멀티모달 대규모 언어 모델(MLLM)이 소수의 레이블된 예시로부터 이미지를 분류할 수 있게 한다. 그러나 이러한 모델들이 제공된 컨텍스트를 어떻게 활용하는지는 여전히 불투명하다. 사고의 연쇄(Chain-of-Thought) 프롬프팅이 널리 사용되고 있지만, 최근 연구들은 이것이 실제 내부 연산을 반영하지 않을 수 있다고 주장한다. 본 논문에서는 기준선 분류부터 기술 논리(Description Logics, DL) 공리 생성에 이르는 형식적 엄밀성이 증가하는 다섯 가지 조건을 사용하여, 퓨샷(few-shot) ICL 환경에서 동결된(frozen) MLLM의 개념 기반 설명 가능성을 체계적으로 평가한다. 독립적인 LLM-as-a-judge 파이프라인을 통해 네 가지 최신 MLLM을 평가한 결과, 설명은 예측만 하는 것보다 실제로 더 어렵다는 것을 입증한다. 놀랍게도, 모델이 형식적으로 구조화된 개념 기반 설명을 생성하도록 강제하면 예측 정확도가 단조롭게 저하되며(93.8%에서 90.1%로), 이는 명시적 추론이 성능을 보편적으로 향상시킨다는 가정에 반한다. 그러나 모델이 클래스 판별적 시각적 특징을 성공적으로 표현할 때, 설명 품질은 올바른 예측과 강한 상관관계를 보인다. 이러한 결과는 MLLM이 시각적 분류에 뛰어난 성능을 보이지만, 형식적이고 기계 검증 가능한 설명 가능성을 위한 특정 인스트럭션 튜닝이 부족함을 시사한다.
직접 선호 최적화(DPO)는 대규모 언어 모델(LLM)을 인간의 선호에 정렬하기 위한 효과적인 프레임워크이지만, 복잡한 추론 작업에서 어려움을 겪는다. DPO는 선호 응답이 비선호 응답보다 전체적으로 생성될 가능도를 최적화하며, 추론 작업에서 전형적인 다단계 풀이의 부분 구간에 피드백을 제공할 세밀함이 부족하다. 기존 방법들은 안정적인 선호 학습(예: KTO, RSO 같은 DPO 변형)이나 구조화된 추론(예: ReMA의 멀티 에이전트 강화학습(RL) 프레임워크, Tree of Thoughts) 중 하나에는 뛰어나지만, 이 두 가지 상호보완적인 강점을 결합하는 데는 실패한다. 우리는 HiPO(Hierarchical Preference Optimization)를 제안한다. 이는 DPO의 확장으로, 응답을 추론 구간(질의 명확화 및 맥락, 추론 단계, 답변)으로 분리하고 각 구간의 DPO 손실의 가중합으로 전체 손실을 계산한다. 우리의 접근 방식은 구간별 학습을 가능하게 하면서 DPO의 연산 효율성과 학습 안정성을 유지한다. Math Stack Exchange 선호 데이터셋을 사용하여 HiPO와 DPO로 파인튜닝된 여러 7B LLM에 대해, HiPO로 학습된 모델이 다양한 일반적인 수학 벤치마크에서 다른 모델들을 능가하고, GPT-4.1로 측정한 구성력, 논리적 흐름, 일관성에서도 더 우수함을 입증한다.
대규모 언어 모델(LLM)은 낮은 비용으로 합성 설문 응답을 생성할 수 있지만, 질문에 따라 정확도가 예측 불가능하게 달라진다. 본 연구는 모든 과제에 대해 저렴한 LLM 예측이 가능한 상황에서, 고정된 인간 응답자 예산을 추정 과제들에 할당하는 설계 문제를 다룬다. 우리의 프레임워크는 세 가지 구성 요소를 결합한다. 첫째, 예측 기반 추론(Prediction-Powered Inference)을 기반으로, 인간 표본 크기 증가에 따라 추정량의 분산이 얼마나 빠르게 감소하는지를 결정하는 질문별 교정 난이도를 정의한다. 둘째, LLM이 가장 신뢰하기 어려운 과제에 인간 레이블을 더 많이 배분하는 폐쇄형 최적 할당 규칙을 도출한다. 셋째, 교정 난이도가 새로운 설문에서 관측되지 않은 인간 응답에 의존하기 때문에, 파일럿 데이터 없이 완전히 새로운 과제에 대해 이를 예측하는 메타러닝 접근법을 역사적 데이터로 학습한다. 이 프레임워크는 일반적인 M-추정으로 확장되어, 회귀 계수와 컨조인트 분석을 위한 다항 로짓 부분 가치를 포함한다. 서로 다른 도메인, 질문 유형, LLM에 걸친 두 개의 데이터셋에서 프레임워크를 검증한 결과, 목표 설문에 대한 파일럿 인간 데이터 없이도 이론적으로 달성 가능한 효율성 향상의 61~79%를 포착하고, MSE를 각각 11.4%와 10.5% 감소시켰다.
실제 소프트웨어는 끊임없이 변화하는 개방형 요구사항을 충족하기 위해 지속적으로 진화해야 한다. 장기 실행 시스템으로 점점 더 많이 배포되는 AI 에이전트는 이제 이러한 진화를 주도하는 역할을 맡고 있다. 그러나 기존 벤치마크는 에이전트를 독립적이고 일회성 코딩 작업에서만 평가하여, 실제 소프트웨어 진화에 내재된 시간적 의존성과 기술 부채를 간과한다. 이러한 격차를 해소하기 위해, 우리는 잡음이 많은 커밋 로그에서 검증 가능한 마일스톤 DAG를 재구성하는 에이전트 파이프라인인 DeepCommit을 제안한다. 여기서 마일스톤은 기능적으로 응집된 개발 목표로 정의된다. 이 실행 가능한 시퀀스를 기반으로 SWE-Milestone 벤치마크를 구축하였으며, 이는 에이전트가 마일스톤 수준의 작업 스트림에서 시스템 무결성을 유지하고 오류 누적을 제한하는 능력을 평가한다. 이 두 차원은 현재 벤치마크에서 대체로 다루어지지 않는 장기적 소프트웨어 진화의 핵심 요소이다. 4개의 에이전트 프레임워크에서 12개의 최신 모델을 평가한 결과, 심각한 취약점이 드러났다: 전체 성능 점수가 독립 작업에서의 >80%에서 연속적 설정에서 최대 38%로 크게 하락하여, 에이전트가 장기적 유지보수와 오류 전파에 있어 겪는 심각한 어려움이 드러났다.
대규모 언어 모델(LLM)은 계획을 수립하고, 도구를 호출하고, 신뢰할 수 없는 데이터를 읽고, 그 결과에 따라 행동하는 에이전트로 점점 더 많이 배포되고 있다. 이로 인해 프롬프트 주입(prompt injection) 공격에 노출된다: 읽기만 해야 할 데이터가 명령으로 실행되는 것이다. 가장 원칙적인 방어책은 콘텐츠 검사를 출처(provenance) 기반 방식으로 대체하는 것이다: 데이터를 출처에 따라 분류하고, 신뢰할 수 있는 데이터와 신뢰할 수 없는 데이터를 직무 분리(dual-LLM 패턴)와 정보 흐름 제어를 통해 분리하는 방식이다. 그러나 현재의 선도적인 시스템들은 완전히 신뢰하기 어렵다: 흐름 추적은 오류가 발생하기 쉽고, 의도적인 완화 조치는 감사하기 어려우며, dual-LLM 패턴은 아키텍처에 고정 내장되어 있다. 우리는 LLMbda를 제시한다. 이는 타입 없는 값에 의한 호출(call-by-value) 람다 계산법으로, 특정 아키텍처에 종속되지 않으면서도 출처 기반 방어를 표현 가능하고 증명 가능하게 건전한 방식으로 만든다. LLMbda는 에이전트 시스템의 실행 핵심 요소를 일급 구성체로 추가한다: 포크(fork)하거나 초기화할 수 있는 프롬프트-응답 대화, 코드 생성, 그리고 모든 값이 레이블을 지니고 모든 리덕션이 이를 전파하는 동적 정보 흐름 제어. 격리(isolation)는 프로그램이 표현하는 정책이 되고, 재분류(reclassification)는 명시적이고 감사 가능한 구성체가 된다. 우리의 핵심 결과는 코드 생성 에이전트를 포함한 전체 계산법에 대한 종료 비민감(termination-insensitive) 확률적 비간섭(noninterference) 정리이며, 공격자가 모든 신뢰할 수 없는 입력을 선택하는 경우에도 성립하는 절연된(insulated) 변형을 포함한다. 검증된 인터프리터 자체가 모델을 호출하는 하네스(harness)이며, 이는 우리가 알기로 실행 파일이 기계 검증된 보안 정리의 대상인 최초의 LLM 에이전트 하네스로, 모든 에이전트가 해당 보장을 상속받는다. AgentDojo 뱅킹 벤치마크에서, LLMbda 내에 구축된 에이전트는 항상 적용 상태인 강제 실행으로, 정책 검사 없이 실행된 선도적인 dual-LLM 방어 시스템인 CaMeL(정책 검사를 적용하면 유용성이 절반으로 감소함)과 동등한 유용성을 달성하며, 1296번의 공격 실행 중 단 두 번을 제외한 모든 공격에 저항한다. 우리의 하네스와 모든 증명은 Lean으로 작성되었다.
응급 통화 수신원은 공공 안전 대응의 첫 번째 운영 연결 고리로, 연간 2억 4천만 건 이상의 통화를 처리하면서 지속적인 교육 위기에 직면해 있다. 많은 센터에서 인력 부족이 25%를 초과하며, 신규 직원 한 명을 양성하는 데 숙련된 인력을 현업에서 이탈시키는 일대일 교육이 최대 720시간 필요할 수 있다. 전통적인 교육 방식은 이러한 제약 조건 하에서 확장에 어려움을 겪으며, 교육 범위와 피드백 적시성 모두를 제한한다. 메트로 내슈빌 긴급 통신부(MNDEC)와의 협력을 통해, 우리는 실세계 제약 조건 하에서 생성형 AI(GenAI) 기반의 통화 수신 교육 시스템을 설계·개발·배포하였다. 6개월에 걸쳐 배포 규모는 초기 파일럿에서 1,120회의 교육 세션에 참여한 190명의 운영 사용자로 확대되었으며, 통제된 환경이나 순수 시뮬레이션 평가에서는 대부분 드러나지 않는 시스템 제공, 엄격성, 복원력, 인적 요소와 관련된 체계적인 과제들이 노출되었다. 98,429건의 사용자 상호작용, 조직 프로세스, 이해관계자 참여 패턴을 포착한 배포 로그를 분석함으로써, 구체적인 설계 및 거버넌스 실천 방안과 결합된 네 가지 핵심 교훈을 도출하였다. 이 교훈들은 실질적인 제약 조건이 인간 중심 설계를 근본적으로 형성하는 안전 필수적 공공 부문 환경에서 AI 기반 교육 시스템을 제공하고자 하는 연구자와 실무자에게 실증적 지침을 제공한다.
대규모 언어 모델(LLM)로 구동되는 생성형 소셜 로봇(GSR)은 적응형 대화 기반 튜터링을 가능하게 하지만, 동시에 허위 정보, 과도한 의존, 개인정보 침해와 같은 위험도 초래한다. 교육 기술 및 책임 있는 AI를 위한 기존 프레임워크는 주로 바람직한 행동을 정의하는 데 그치며, 생성형 에이전트가 이러한 행동을 안정적으로 표현하는 데 필요한 지식 전제조건을 구체적으로 명시하는 경우는 드물다. 이러한 간극을 해소하기 위해 본 연구는 지식 기반 설계 관점을 채택하고, 튜터링 지향 GSR이 고등교육 환경에서 책임감 있고 효과적으로 기능하기 위해 어떤 정보를 필요로 하는지 탐구한다. 대학생 및 강사와의 12회 반구조화 인터뷰를 바탕으로, 세 가지 지식 유형에 걸친 12개의 설계 요구사항을 도출하였다: 자기 지식(역할 커스터마이징이 가능한 적극적·성실·친화적 성격), 사용자 지식(학생의 학습 목표, 학습 진도, 동기 유형, 감정 상태, 배경에 관한 개인화 정보), 맥락 지식(학습 자료, 교육 전략, 강좌 관련 정보, 물리적 학습 환경). 이러한 결과를 토대로, 본 연구는 튜터링 GSR 설계를 위한 구조화된 기반을 제공하며, 생성형 AI 역량을 교육학적·윤리적 기대와 정렬시킨다.
다중 제약 계획(Multi-constraint planning)은 잠재적으로 충돌하는 여러 제약 조건을 만족하면서 후보 계획을 식별, 평가 및 개선하는 작업이다. 기존의 대규모 언어 모델(LLM) 접근 방식은 이 영역에서 근본적인 한계를 지닌다. 긴 자연어 사고의 연쇄(chain)에 의존하는 순수 추론 패러다임은 제약 조건이 누적될수록 비일관성, 오류 누적, 과도한 비용 문제에 취약하다. 반면, 코딩 또는 솔버 기반 전략과 결합된 LLM은 유연성이 부족하여 문제별 코드를 처음부터 생성하거나 고정된 솔버에 의존함으로써 다양한 문제에 걸쳐 일반화 가능한 논리를 포착하지 못한다. 이러한 한계를 해결하기 위해, 우리는 쿼리별 추론과 범용 코드 실행을 분리하는 프레임워크인 SCOPE(Scalable COde Planning Engine)를 제안한다. 추론과 실행을 분리함으로써 SCOPE는 입력 파라미터의 최소한의 변경만으로 쿼리 간에 일관되고 결정론적이며 재사용 가능한 솔버 함수를 생성한다. SCOPE는 비용과 지연 시간을 줄이면서 최첨단 성능을 달성한다. 예를 들어, GPT-4o를 사용할 경우 TravelPlanner에서 93.1%의 성공률을 달성하며, 이는 최고 기준선(CoT) 대비 61.6% 향상된 수치이고, 추론 비용은 1.4배, 소요 시간은 약 4.67배 절감된다. 코드는 https://github.com/DerrickGXD/SCOPE에서 확인할 수 있다.
대규모 언어 모델(LLM) 기반 에이전트는 GUI 자동화, 도구 사용, 데이터 조작 등 복잡한 다단계 작업을 수행하는 능력이 점점 향상되고 있으나, 경험으로부터 학습할 수 없다는 한계가 있다: 새로운 세션마다 솔루션을 처음부터 다시 발견해야 한다. 우리는 BREW(Bootstrapping expeRientially-learned Environmental knoWledge)를 소개한다. 이는 에이전트의 과거 상호작용 궤적을 구조화된 검색 가능한 지식 베이스(KB)—무엇을 해야 하는지, 언제 적용되는지, 무엇을 주의해야 하는지를 담은 개념 수준의 절차적 문서인 자연어 레시피—로 증류하는 프레임워크이다. 프로그램 합성의 라이브러리 학습 원리에 기반하여, BREW는 에이전트 메모리를 모듈형의 개념 지역화 문서로 분해하고, KB 구성을 상태 공간 탐색 문제로 형식화한다. 이 공간을 탐색하기 위해, 우리는 병렬적 개념별 탐색 트리 전반에 걸쳐 레시피 정확도와 검색 가능성을 공동으로 최적화하는 보상 기반 알고리즘인 Expand-and-Gather 몬테카를로 트리 탐색(EG-MCTS)을 도입한다. 또한 사후 레이블링(hindsight relabeling)을 적용하여 근접 실패 궤적을 긍정적 시연으로 변환함으로써, 잠재적 에이전트 역량을 재사용 가능한 지식으로 표면화한다. OSWorld, tau^2-Bench, SpreadSheetBench의 세 가지 도메인 기반 벤치마크에서 BREW는 기본 에이전트 대비 작업 성공률 10~20% 향상과 실행 단계 10~15% 감소를 달성하였으며, 메모리 없는 성능 이하로 저하될 수 있는 기존 메모리 증강 기준 모델들을 지속적으로 능가하였다. 결과로 생성된 KB는 검사 가능하고 모듈형이며 확장 가능하여, 에이전트 최적화를 위한 투명하고 제어 가능한 기반을 제공한다.
통신 네트워크는 규모와 복잡성이 빠르게 증가하고 있어 효과적인 관리, 운영, 최적화가 점점 더 어려워지고 있다. 인공지능(AI)이 많은 통신 작업에 적용되어 왔음에도 불구하고, 기존 모델들은 적용 범위가 좁고, 대량의 레이블된 데이터를 필요로 하며, 이기종 배포 환경에 대한 일반화에 어려움을 겪는다. 이로 인해 네트워크 트러블슈팅은 근본 원인과 수정 조치를 파악하기 위해 다양한 데이터 소스를 수동으로 연관 짓는 분야 전문가(SME)에 여전히 크게 의존하고 있다. 이러한 한계를 해결하기 위해, 우리는 대규모 언어 모델(LLM)이 완전 자동화된 네트워크 트러블슈팅을 위한 여러 특화 도구를 조율하는 에이전트 워크플로우를 채택한 다중 에이전트 시스템(MAS)을 제안한다. AI/ML 기반 모니터가 장애를 감지하면, 프레임워크는 오케스트레이터, 솔루션 플래너, 실행기, 데이터 검색기, 근본 원인 분석기 등의 에이전트를 동적으로 활성화하여 단시간 내에 문제를 진단하고 수정 전략을 권고한다. 이 시스템의 핵심 구성 요소는 내부 문서를 기반으로 적절한 수정 계획을 생성하는 솔루션 플래너다. 이를 위해 도메인 기반의 솔루션 계획을 생성할 수 있도록 독점 트러블슈팅 문서로 소형 언어 모델(SLM)을 파인튜닝하였다. 실험 결과, 제안된 프레임워크가 무선 접속 네트워크(RAN)와 코어 네트워크 도메인 모두에서 트러블슈팅 자동화를 크게 가속화함을 보여준다.