본 연구는 독일 기업에서 인적 자원 관리(Human Resource Management)에 AI를 통합하는 과정을 조사한다. AI 기반 기술이 인적 자원 관리를 실제로 어떻게, 그리고 '증강(augmenting)'하고 있는지를 묻는다. 조직은 생성형 AI(generative AI) 또는 예측 분석(predictive analytics)을 활용해 전통적인 인적 자원 기능을 변화시키고, 일상 업무를 간소화하며, 자원을 전략적이고 사람 중심의 활동으로 재배치한다. 인터뷰, 집단 토론, 설문조사(N=410)를 통해 얻은 결과는 AI 도구가 HR 분석 역량을 강화하는 한편, 도입은 주로 효율성 및 합리화(rationalising) 목표를 위해 이루어진다는 점을 보여준다. AI 도구의 도입은 디지털 인프라, 공동결정(co-determination) 체계, 윤리적 함의와 같은 조직 변혁 요인에 의해 형성된다. 본 연구는 인재 개발 개선을 위한 전략적 잠재력과 데이터 거버넌스(data governance) 및 알고리즘 투명성(algorithmic transparency)이 제기하는 과제를 모두 조명한다. 전반적으로, 이 연구는 HR에서 기술 변화의 모호한 역할을 이해하는 데 기여하며, 예측 역량을 증강할 것을 약속하면서도 효율성과 합리화(rationalisation)의 목적에 기여한다는 점을 보여준다.
대규모 언어 모델(LLM)이 자율 에이전트로 발전함에 따라 통합 평가 인프라의 필요성이 점점 더 중요해지고 있다. 그러나 현재의 평가 파이프라인은 여전히 높은 수준으로 파편화되어 있고 강하게 결합되어 있어 재현성을 저해하고 중복된 엔지니어링을 야기한다. 이를 해결하기 위해, 우리는 LLM 기반 에이전트를 평가하기 위한 오픈소스, 경량, 확장 가능한 인프라인 AgentCompass를 제안한다. AgentCompass는 평가 프로세스를 벤치마크(Benchmark), 하네스(Harness), 환경(Environment)이라는 세 가지 독립 구성 요소를 중심으로 구성하여, 복잡한 실행 로직을 재구현하지 않고도 유연한 설정이 가능하도록 한다. 또한 내결함성 비동기 런타임과 포괄적인 궤적(trajectory) 분석 도구를 제공하여 보상 해킹(reward-hacking)과 같은 미묘한 실패 모드를 투명하게 진단할 수 있다. 5가지 역량 차원에 걸쳐 20개 이상의 벤치마크를 기본 지원함으로써, AgentCompass는 에이전트 연구를 발전시키기 위한 확장 가능하고 재현 가능한 인프라를 커뮤니티에 제공한다.
본 장은 고전적 에이전트 기반 모델, 즉 명시적으로 정의된 행동 규칙에 따라 에이전트들이 상호작용하는 모델에서부터 출발하여, 대규모 언어 모델(LLM)에 기반한 AI 강화 시뮬레이션, 그리고 궁극적으로 현실 세계의 사회-기술 시스템을 고충실도·데이터 기반으로 표현한 사회 디지털 트윈(Social Digital Twins)에 이르는 진화를 살펴본다. 이 궤적을 따라 각 패러다임의 주요 방법론적 기반, 응용, 장점, 한계를 논하며, 일반적인 사회적 메커니즘을 탐구하기 위해 설계된 추상적 모델에서 특정 사회 시스템의 점점 더 현실적인 계산적 표현으로의 점진적 전환을 강조한다.
LLM 에이전트는 비용을 결정하는 상태가 직접 관측되지 않는 다주간 의사결정 과제에서 점점 더 많이 평가되고 있다. 이러한 과제에서는 최종 비용만으로 에이전트가 왜 실패했는지 알 수 없다. 세계를 잘못 읽었을 수도 있고, 올바르게 읽었음에도 행동하지 못했을 수도 있다(아는 것과 하는 것의 간극, knowing-doing gap). 기존 평가는 이 두 실패를 분리할 수 없다. 참조 정책이 에이전트가 보지 못하는 특권 정보를 읽거나, 아예 존재하지 않기 때문이다. 우리는 STOCKTAKE를 소개한다. 이는 6개의 숨겨진 요인 과정을 갖춘 분해된 부분 관측 마르코프 결정 과정으로 구축된 26주 공급망 보충 벤치마크이며, 공정한 참조 정책을 계산할 수 있도록 설계되었다. 각 요인마다 정확한 베이즈 필터가 에이전트가 받는 것과 동일한 관측 스트림에서 롤아웃 정책을 구동한다. 각 실행을 증상 맹목적 base-stock 하한(0)과 이 오라클(1) 사이에서 채점하면 skill score가 산출되며, 매주 작성된 근거를 채점하면 진술된 신념 탐지 지연(stated-belief detection lag)과 knowing-doing rate가 산출되어, 상태 추정과 제어가 별도로 측정된다. 큐레이션된 스트레스 프로필이 적용된 50개 시드에서 Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, Grok 4.5는 숨겨진 실패의 84-88%를 일반적으로 발생 후 일주일 이내에 탐지하지만, skill score는 0.62에서 -0.23까지 분포한다. 네 모델 중 두 모델은 증상 맹목적 하한 이하로 끝나면서도, 하한을 넘긴 두 모델보다 요인을 약간 더 빠르게 지목한다. 실패에는 두 가지 얼굴이 있다. 스트레스가 지속되는 경우, 올바르게 진단된 스트레스 주 중 34-43%는 모든 모델에서 여전히 재고 소진(stockout)으로 끝나며, 이 비율은 모델이 인지한 주의 심각성을 부분적으로 반영한다. 이 비율은 skill score와도 반대 방향으로 나타난다. 하한 이하의 두 모델은 진단된 주에서 가장 적게 재고 소진을 겪으므로, 과소 대응(under-response)은 간극의 한 면에 불과하며, 그들의 추적 기록은 다른 면—보호하는 것보다 비용이 더 큰 대응—을 가리킨다. STOCKTAKE는 그 실패의 양방향을 모두 측정한다.
자동 과학 발견은 오랫동안 계산 학자들의 목표였다 — 스스로 자연의 비밀을 밝혀내는 기계, 즉 계산 시스템을 데이터 적합 도구를 넘어 우주의 메커니즘적 모델 생성과 정제로 나아가게 하는 것이다. 최근 기호 회귀(symbolic regression, SR) 및 대규모 언어 모델(LLM) 기반 에이전트의 진전은 이러한 시스템이 데이터로부터 방정식을 복구하고, 도메인 사전 지식을 통합하며, 연구 워크플로의 일부를 자동화할 수 있음을 시사한다. 그러나 기존 접근법 대부분은 좁은 방정식 발견 벤치마크에 집중하거나 광범위한 end-to-end 자동화 파이프라인에 초점을 맞추며, 생물학적 시스템은 비교적 덜 탐구되어 있다. 본 연구에서는 MEDA 시스템을 소개한다. 이는 생물학적 및 생물학적으로 영감받은 동역학 시스템의 상미분방정식(ODE) 모델 발견을 위한 LLM 및 SR 기반 에이전트 프레임워크이다. MEDA는 배경 지식을 검색하고, 허용 가능한 변수를 정의하며, 메커니즘적 제약을 생성하고, 후보 상미분방정식을 제안하며, 이를 적합하고 평가한다. 실험 데이터 유무와 관계없이 정규 모델 검색, 추론 기반의 미관측 변형 외삽, 그리고 개방형 발견 과제에서 이를 평가한다. 이러한 설정 전반에서 MEDA는 올바른 상태 변수를 복구했으며, 검색 및 외삽 과제에서 강력한 구조 복원을 달성했고, 생물학적으로 타당한 발견 지향 모델을 생성했다. 절제 및 강건성 분석에 따르면, 지식 유도 정식화와 메커니즘적 제약은 핵심 구성 요소이며, 수치 적합만으로는 궤적과 호환되지만 생물학적으로 부정확한 방정식을 유지할 수 있다.
취약한 사용자의 보호자로 설정되었으나 명시적인 역량 경계가 주어지지 않을 때, 대규모 언어 모델(LLM)은 자신의 한계를 인정하기보다 응급 서비스에 연락하거나 돌봄을 제공하는 것과 같이 실제로 수행할 수 없는 현실 세계의 보호 조치를 이미 취했거나 현재 취하고 있다고 응답할 수 있다. 우리는 이 현상을 보호 역량 환각(Protective Capacity Hallucination, PCH)이라 부른다. 이는 보호 역할을 맡은 모델이 언어 모델로서의 수행 가능 범위(affordance)를 초과하는 물리적 또는 제도적 행위 주체성(agency)을 주장하는 자기 참조적 오귀속(misattribution)이다. 8개 LLM과 13,600개 세션에 걸친 3단계 연구에서, PCH는 상황적 심각성과 상호작용 형식에 의해 공동으로 조절됨을 발견했다. 다자 대화형 입력은 일반 서비스 도메인에서 대부분의 모델에서 이를 상한(ceiling) 수준까지 끌어올리는 반면, 안전성 정렬(safety alignment)이 명시적으로 다루는 친밀한 관계 내 갈등(intimate-partner conflict)에서는 물리적 심각성이 더 크더라도 8개 모델 모두에서 하한(floor)에 머문다. 우리는 PCH를 역할 부여와 역량 경계 명세 사이의 배포 설계 격차의 징후로 해석한다. 이는 도움을 주려는 보편적으로 학습된 압력이, 어떻게 도울지에 대한 도메인 선택적 명세를 앞서는 부분적 정렬(partial alignment)의 부산물이다. 억제가 심각성이 아닌 정렬 적용 범위(alignment coverage)를 따르기 때문에, 역량 경계에 대한 배포 측 명세가 일반적인 완화(mitigation) 목표로 부상한다.
프로덕션 마이크로서비스 장애의 근본 원인을 식별하려면 메트릭, 로그, 트레이스에 걸친 대규모 멀티모달 텔레메트리에 대한 추론이 필요하며, 이 문제는 고전적 방법과 대규모 언어 모델(LLM) 기반 접근 모두에 저항적인 것으로 입증되어 왔다. OpenRCA 데이터셋은 이러한 과제를 보여준다: 대규모이고 멀티모달이며 상세한 도메인 지식이 부족하고, 기존 모든 방법에서 일관되게 낮은 정확도를 보인다. 우리는 고전적 인과 발견 방법과 기존 LLM 기반 멀티에이전트 시스템이 이 벤치마크에서 근본 원인을 신뢰성 있게 식별하지 못함을 보이고, 기존 LLM 기반 및 고전적 베이스라인을 상당히 능가하는 구조화된 멀티에이전트 RCA 파이프라인을 제시하며, 도메인 지식 기반 및 지식 무의존(knowledge-free) 운영 모드를 모두 지원한다. 실패가 어디에서 기인하는지 진단하기 위해, 우리는 역추론 에이전트를 도입한다. 이 에이전트는 정답이 주어지면 추출된 이상 징후 중 어떤 신호가 이를 뒷받침하는지 식별하고 Stage 1이 해당 신호에 접근할 수 있었는지 판단하여, 각 실패를 Reasoning Gap(증거는 있으나 미사용) 또는 Data Ambiguity(증거가 실질적으로 부재)로 분류한다. 이 분석은 필요한 증거가 실패의 대다수에 존재함을 보여준다: 병목은 데이터 접근이 아니라 에이전트가 이를 올바르게 추론하는 능력이다. 또한 역추론 보고서에서 판별 규칙을 체계적으로 추출하는 자동화된 규칙 마이닝 파이프라인을 도입하여, 수동 지식 큐레이션에 대한 의존을 줄인다. 모든 구성에서 모델의 추론 능력과 도메인 지식이 주요 제약이다: 더 강한 모델은 더 많은 도메인 전문성을 내재하고, 명시적 지식 주입은 이 격차를 부분적으로 보완한다. 증거 추출이 완벽해도 추론 성능은 실질적으로 한계가 있다: 스캐폴드 엔지니어링과 더 나은 데이터 파이프라인만으로는 이 격차를 메울 수 없으며, 진전은 모델 수준에서의 개선을 요구한다.
인공지능(AI), 특히 생성형 AI(GenAI)의 산업 도입이 최근 몇 년간 크게 증가하였다. 그러나 이러한 모델의 사용은 다양한 악의적 행위자에 의해 시스템을 새로운 형태의 사이버공격에 노출시킬 수 있으며, 적대적 프롬프트 공격(APA)이 그러한 위협의 가장 두드러진 사례 중 하나이다. 본 논문은 AI 안전성의 종합적인 평가를 위해 적대적 프롬프팅 프레임워크(Adversarial Prompting Framework, APF)의 구현을 제시한다. 이 프레임워크는 직접적인 유해 요청부터 고급 인코딩 기반 공격까지 여러 정교화 수준에서 구조화된 적대적 프롬프트를 생성함으로써 AI 모델의 회복력을 체계적으로 평가한다. 우리의 구현은 기업 환경에서 이 방법론의 실용적 적용을 보여 주며, 정량적 보안 평가 지표를 갖춘 자동화된 테스트 기능을 제공한다. 결과는 공격 벡터에 따라 모델 취약성에 유의미한 차이가 있음을 보여 주며, 인코딩된 프롬프트가 안전성 메커니즘을 우회하는 데 가장 높은 성공률을 보였다.
본 논문은 ICAART 2026 학회에서 발표된 논문의 확장판으로, 그 선행 연구는 LEA(Learning Engagement Assistant)를 소개했다. LEA는 통합된 Chat, Tutor, Quiz 모드 전반에 걸쳐 과목별 검색-증강 생성(RAG)과 구조화된 지식 구성 요소(KC) 모델을 결합한 적응형 AI 튜터링 에이전트이다. 해당 선행 연구는 합성 학습자 에이전트를 사용하여 시뮬레이션만으로 단일 STEM 과목(CMP511)에서 LEA를 검증했다. 본 논문은 실제 학생(n = 8, CMP511)을 대상으로 한 LEA의 최초 교실 배포와, 두 학술 수준과 두 학문 영역에 걸친 세 과목에 시스템을 배포하여 교차 과목 확장성에 대한 최초의 실증 검증 결과를 보고함으로써 그 연구를 확장한다. 이 연구는 모드 전반에서 시뮬레이션 예측과의 괴리를 드러내며, 합성 평가만으로는 실제 배포의 모든 측면을 예측할 수 없음을 보여준다. RAGAS 기반 교차 과목 확장성 평가(660개 질문) 결과, Answer Relevancy와 Context Precision은 과목 전반에서 대체로 안정적(각각 0.88-0.94, 0.88-0.90)인 반면, Faithfulness는 시스템의 원래 과목으로부터의 교육과정 거리가 멀어질수록 감소(0.69에서 0.50)하는 것으로 나타난다. 이는 확장성 한계라기보다 시스템의 원래 주제에 맞춰 조정된 생성 로직을 반영한 예비적 발견일 수 있다. 이러한 결과는 오케스트레이션 층은 수정이 필요 없지만, 모든 하류 구성 요소의 완전한 과목 비특이성은 추가 조사가 필요함을 시사한다.
현대 AI 에이전트의 능력은 기반 모델뿐 아니라 프롬프트를 구성하고, 상태를 관리하며, 도구를 호출하고, 실행을 조율하는 하네스(harness)에도 달려 있다. 모델, API, 환경, 요구사항이 변함에 따라 하네스도 지속적으로 수정되어야 한다. 이러한 변경을 수행하기 전에 개발자나 코딩 에이전트는 목표 동작을 구현하는 모든 코드 위치를 식별해야 한다. 이는 프로덕션 하네스가 크고 긴밀하게 결합되어 있으며 동작이 분산되어 있는 반면, 수정 요청은 시스템이 무엇을 해야 하는지를 기술하고 저장소는 파일과 모듈 단위로 구성되어 있기 때문에 어렵다. 코드 검색, 저장소 인덱싱, 긴 컨텍스트 처리는 검토를 용이하게 하지만, 여전히 이러한 동작-코드 매핑을 수작업으로 복원해야 한다. 따라서 동작 위치 파악(behavior localization)은 하네스 진화의 핵심 병목이다.
우리는 Harness Handbook을 제안한다. 이는 정적 분석과 LLM 지원 구조화를 통해 하네스 코드베이스로부터 자동으로 합성되는 동작 중심 표현으로, 각 동작을 해당 소스와 연결한다. 또한 Behavior-Guided Progressive Disclosure(BGPD)를 제안한다. 이는 에이전트를 고수준 동작에서 관련 구현 세부사항으로 안내하고 후보 위치를 현재 소스와 대조하여 검증한다. 두 개의 오픈 소스 하네스에 대한 다양한 수정 요청에서 Handbook-Assisted 계획은 더 적은 플래너 토큰을 사용하면서 동작 위치 파악과 편집 계획 품질을 개선하며, 가장 큰 이득은 분산된 위치, 드물게 실행되는 경로, 모듈 간 상호작용에서 나타난다. 따라서 복잡한 에이전트 시스템의 진화는 편집을 생성하는 것뿐 아니라 그 편집이 어디에 적용되어야 하는지를 결정하는 것에도 달려 있다.
파운데이션 모델(foundation model)에는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이 포함되며, 이상 탐지, 사고 보고, 여행자 정보 제공과 같은 교통 관리 센터(TMC) 업무에 점점 더 많이 사용되고 있다. 여러 이러한 모델을 TMC 기능 전반에 배포하는 것은 포트폴리오 질문을 제기한다: 각 기능에 어떤 모델이, 어떤 배포 모드로, 그리고 어떤 공유 하드웨어 예산 하에서 제공되어야 하는가? 우리는 이를 파운데이션 모델 배포 포트폴리오(FMDP) 문제로 공식화한다. 이는 공유 GPU 용량에 대해 기능별 품질, 지연 시간, 안전성 제약을 만족하면서 총 소유 비용(TCO)을 최소화하는 혼합 정수 프로그램이다. 0-1 배낭 문제로의 환원을 통해 이 문제가 NP-난해함을 증명하고, 다항 시간 탐욕적 휴리스틱을 제안한다. 다섯 가지 TMC 기능과 19개의 후보 (모델, 모드) 쌍을 포함한 예시 사례 연구에서, FMDP는 4개 기능을 오픈소스 API로, 오픈소스 모델이 품질 하한을 충족하지 못하는 1개 기능을 폐쇄형 API로 라우팅하는 혼합 포트폴리오를 식별하여 월 $34(가장 저렴한 실행 가능한 전체 폐쇄형 API 기준선 대비 97% 절감)의 비용을 산출한다. 손익분기 분석에 따르면, 온프레미스 GPU 투자는 시간당 약 309회의 비전 쿼리 이상이거나 API 가격이 두 배로 오를 때만 합리적이 된다.
의미를 보존하는 커밋과 의미를 변경하는 커밋을 구별하는 것은 소프트웨어 저장소 마이닝(software repository mining)에서 여전히 해결되지 않은 과제이다. 기존 접근법은 리팩터링 커밋을 정확하게 탐지하지만, 행동을 변경하는 수정이 뒤섞이지 않은 순수하게 의미를 보존하는 커밋인지는 보장할 수 없다. 이러한 한계는 디버깅, 결함 국소화(fault localisation), 버그 데이터셋 구축, 롤백 분석, 버그 수정 백포팅(backporting) 등 여러 작업에 영향을 줄 수 있다. 이 간극을 메우기 위해, 우리는 SemaDiff를 제안한다. 이는 행동 기반 분석—커밋 전후 버전에서 유사한 테스트 실행을 비교하는 방식—을 통해 의미를 보존하는 커밋을 식별하는 새로운 접근법이다. 리팩터링의 영향을 받는 코드는 종종 테스트하기 어렵고 두 버전 간에 서로 다르기 때문에, 우리는 그 코드에 대한 추가 호출 메서드를 생성하여 테스트 대상으로 사용하는 방식을 제안한다. 커밋이 주어지면 SemaDiff는 diff를 분석하여 수정된 코드를 식별하고, 이를 호출하는 변경되지 않은 종속 코드를 추출한다. 그런 다음 언어 모델을 사용하여 추가 종속 클래스를 생성해 두 버전 모두에서 변경된 코드를 실행하도록 하고, 종속 코드에 대한 테스트를 자동으로 생성한다. 이를 통해 서로 다른 코드 버전에 대해 동일한 테스트를 얻을 수 있어 행동 차이 탐지가 가능해진다. 커밋은 생성된 모든 테스트가 두 버전에서 동일한 결과를 낼 때만 의미를 보존하는 것으로 분류된다. SemaDiff를 평가하기 위해, 잘 알려진 오픈소스 Java 프로젝트에서 수집한 183개 커밋으로 구성된 데이터셋을 수동으로 구축하고 주석을 달았다. 얻어진 결과는 SemaDiff가 전체 사례의 약 76%에서 의미를 보존하는 커밋과 의미를 변경하는 커밋을 정확히 구별하며, 의미 변경 커밋 탐지에서 100% 정밀도를 달성함을 보여준다.
자기 개선형 자율 에이전트는 연구 프로토타입에서 배포 시스템으로 확산되고 있다. 핵심 목표는 최소한의, 심지어 인간 개입 없이 경험으로부터 통제 가능한 진화 또는 적응을 이루는 것이다. 본 서베이는 현대 자기 개선 에이전트를 경험을 누적된 역량 향상으로 전환하는 적응형 시스템으로 조망한다. 우리는 현대 에이전트를 기반 모델과 프롬프트, 메모리, 도구, 제어 로직으로 구성된 운영 스캐폴드를 결합한 설정으로 표현하는 시스템 수준의 프레임워크를 제시한다. 이 프레임워크 내에서 자기 개선은 모델 파라미터 또는 스캐폴드 구성 요소에 대한 갱신을 획득하고 반영하는 자기 유도 업데이트 연산자로 정식화된다. 선행 연구를 갱신 대상과 변화를 유도하는 신호에 따라 체계화하고, 응용을 검토하며 평가를 논의한 뒤, 미해결 과제와 향후 연구 방향으로 마무리한다. 편의를 위해 기술적 업데이트는 https://github.com/selfimproving-agent/awesome-Self-Improving-Agents 에서 추적한다.
대규모 언어 모델(LLM)은 놀라운 성공을 거두었지만, 콘텐츠 출처와 오남용에 대한 우려가 커지면서 신뢰할 수 있는 워터마킹 기법의 필요성을 촉발하고 있다. 그러나 이러한 기법은 주로 두 가지 이유로 실무에서 거의 채택되지 않았다: i) 모델 성능의 심각한 저하, ii) 추가 추론 오버헤드. 이 문제를 확인하기 위해, 우리는 서로 다른 생성 태스크를 아우르는 포괄적인 벤치마크를 구축하여 9개의 대표적인 워터마킹 방법을 체계적으로 평가했다. 우리는 거의 모든 기존 방법이 텍스트 유창성을 위해 설계되었지 제한적이고 복잡한 태스크를 위해 설계되지 않았으며, 그 오버헤드가 지연 시간에 민감한 시스템에서의 배포를 막는다는 것을 발견했다. i)와 ii)를 해결하기 위해, 우리는 점점 더 인기를 끄는 전문가 혼합(MoE) LLM을 위한 LLM 워터마킹 방안 \textit{WaterMoE}를 제안한다. WaterMoE는 각 라우터에서 전문가 선택에 제어된 섭동을 통해 워터마킹 신호를 내장하며, 이는 최종 출력에서 토큰 선택 변화로 누적된다. 후처리 토큰 샘플링 접근법으로서의 워터마킹과 달리, WaterMoE는 추론 루프 내에 워터마크를 내장하여 무시할 수 있는 품질 저하와 계산 오버헤드만을 발생시킨다. 광범위한 실험을 통해 우리 방법이 워터마크가 없는 경우에 근접한 충실도 성능을 달성하고, 벤치마크에서 최신(state-of-the-art) 워터마킹 방법들을 지속적으로 능가하며, 최대 $4\times$ 속도 향상을 달성하고 네이티브 생성 대비 추가 추론 지연 시간이 단 1%에 불과함을 보여준다. 결과는 WaterMoE가 실제 태스크에 배포될 수 있는 능력을 보여준다.
MiMo-V2.5 모델 패밀리를 위한 전체 파이프라인 추론 최적화를 제안한다. 이 모델은 Hybrid Sliding Window Attention(Hybrid SWA), sparse 전문가 혼합(MoE), 멀티모달 인코더를 결합한다. Hybrid SWA는 이상적으로 Full Attention에 비해 어텐션 연산과 KVCache 저장을 모두 크게 줄일 수 있지만, 프로덕션에서 이러한 이득을 실현하려면 상당한 엔지니어링 노력이 필요하다. 우리는 계층별 프리페치, SWA 인식 접두 문맥 캐시 트리, 특화된 배치 전략을 통해 KVCache 시스템을 체계적으로 최적화하여 엄격한 $O(W)$ SWA 저장과 높은 캐시 적중률을 달성한다. 또한 RDMA 최적화 네트워킹을 갖춘 고성능 분산 캐시 인프라 GCache를 구축하고, 로드 밸런싱을 유지하면서 연산을 줄이기 위한 KVCache-affinity 라우터를 개발한다. 멀티모달 입력에 대한 최적화도 수행하며, GPU 이미지 전처리, 병렬 비디오 디코딩, 멀티모달 캐시 공유를 포함한다. 이러한 최적화를 종합하면 Hybrid SWA + MoE + 멀티모달 복합 아키텍처를 효율적으로 다루는 최초의 대규모 언어 모델(LLM) 프로덕션 서빙 시스템을 구성한다.
인공지능(AI)의 발전으로 대량의 데이터를 자동으로 분석할 수 있게 되었다. 이전에는 시간이 많이 걸리고 노동 집약적이었던 작업들을 AI를 활용하여 훨씬 더 효율적으로 완료할 수 있다. 본 연구는 소프트웨어 공학 학사 학위의 교육과정 패턴을 분석하고 개정하는 데 AI 기법을 사용한다. 교육과정에는 종종 긴 선수 과목 시퀀스가 있으며, 해당 시퀀스 내에서 한 과목에 불합격할 경우 4년 내 학위 이수가 위태로워질 수 있다. 대학 교수진에 의한 교육과정의 수동 분석 및 개정은 시간이 오래 걸리고 노동 집약적인 과정이므로, 변경이 드물게 이루어지고 학생들의 변화하는 요구에 따라잡기 어렵게 만든다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 교육과정 패턴을 분석하고 개정안을 제안함으로써, 교육과정 변경 소요 시간을 단축하고 병목 현상 및 졸업 지연을 줄인다.
자율 코딩 에이전트는 엔지니어링 조직으로 하여금 API 기반 프론티어 모델—높은 토큰 비용으로 강한 추론—과 온프레미스 양자화 오픈 가중치 모델—저한계비용 스케일링과 데이터 주권을 약속하지만 추론 충실도에 다소 손실—사이에서 선택하도록 강제한다. 우리는 프로덕션 모노레포에서 연속된 28일 두 기간에 걸친 단일 개발자, 비무작위 종단 사례 연구를 통해 이 트레이드오프를 연구한다: Claude Code를 사용한 API 기반 Claude Opus 4.7/4.8 구성 대 NVIDIA Blackwell 하드웨어에서 NVFP4로 양자화된 Opencode를 사용하는 온프레미스 GLM-5.1/5.2 구성. LLM 텔레메트리와 Git 이력을 분석한 결과, 프롬프트 캐싱(99.3% 히트율)이 실현 API 비용을 88.6% 절감하여 백만 토큰당 실질 $0.57에 이르며, 이는 공유 온프레미스 슬라이스의 상각 단위 비용 $2.83보다도 낮다(이용률 의존적 역전; 총 실현 지출과 총 소유 비용(TCO)이 견고한 지표이다). 유사한 총 코드 변동 규모에서 로컬 구성은 훨씬 높은 결함 수리 부담과 연관되었다: 수정 커밋 비율(FCR) 74.9% 대 45.9%, 모든 난이도 계층 내에서 커밋이 수리일 확률이 2.6~4.9배 높았다(Mantel-Haenszel OR = 3.61). 대만 시장 매개변수와 대칭 노동 모델 하에서, 온프레미스 배포는 공유 GPU 할당 시에도 여전히 실질 TCO의 40.1%를 절감하는 반면, 전용 예약은 캐시된 API보다 43.8% 더 비용이 든다. 공유 할당 하에서 진정한 페널티는 금전적이 아니라 측정 가능한 개발자 경험 부담이다—타임스탬프 지표는 더 많은 작업이 디버깅 스파이럴에 갇히고 커밋 템포가 더 느림을 보여준다—오프라인 재현은 하이브리드 라우팅 게이트웨이가 순수 API 기준선을 압도하기보다 비용-품질 프론티어를 따라 결함률과 인프라 절감을 교환함을 보여준다.
대규모 언어 모델(LLM)은 종종 동질적인 출력을 생성하여, AI 코딩 어시스턴트가 개발자가 만드는 소프트웨어 산출물의 수렴을 초래할 수 있다는 우려를 불러일으킨다. 실제로 이러한 현상이 발생하는지는 불분명한데, 개발자가 모델 출력을 대화적으로 프롬프트하고 평가·수정·거부하며, 출력이 프롬프트와 저장소(repository) 맥락에 따라 달라지기 때문이다. 나는 2019년부터 2026년 중반까지의 Kaggle 대회 제출물을 사용하여 코드 동질화를 조사한다. 먼저 무작위 시드(seed) 값 42로의 광범위한 수렴을 기록하는데, 이는 LLM이 프로그래밍 문화의 오래된 관습을 강화하고 있음과 일치한다. 이어서 집계와 추상화의 두 수준에서 보다 넓게 동질화를 연구한다. 제출물 수준에서는 대회 내 제출물 간 평균 쌍별 유사도를 측정한다. 대회 수준에서는 제출된 코드의 개념적 범위를 측정하며, 각각에 대해 서로 다른 척도를 사용한다: 표면 구문을 포착하는 TF-IDF 표현과 코드 의도 및 의미를 포착하는 Voyage 3 코드 임베딩(embedding)이다. 결과는 개별 및 집합 수준 모두에서 상당한 구문적 동질화를 보여준다: 개별 제출물은 문자 그대로의 구문과 코드 구조에서 더 유사해졌고, 구문적 변이의 잠재 차원(latent dimensionality)은 좁아졌다. 반면 의미적 동질화에 대한 증거는 개별적으로나 집합적으로나 거의 찾을 수 없다. 평균 의미적 거리는 본질적으로 평탄하게 유지되며, 의미적 접근법의 대회 수준 잠재 차원 범위도 안정적이며, 소폭 확장되었음을 시사하는 증거도 있다. 이러한 발견은 AI 코딩 어시스턴트가 구현 세부 사항을 확실히 표준화하고 있지만, 코더가 사용하는 접근법과 문제 해결 전략에서의 동질화에 대한 증거는 아직 나타나지 않았음을 시사한다.
제로샷 객체 목표 내비게이션(zero-shot object-goal navigation)은 특정 목표에 대한 학습 없이 낯선 환경에서 알려지지 않은 범주의 객체를 탐험하고 그곳으로 이동할 수 있도록 지능형 에이전트를 가능하게 하는 것을 목표로 한다. 제로샷 내비게이션 과제에서는 사전학습된 대규모 모델을 활용하여 사전 지식으로 에이전트의 내비게이션을 안내하는 경우가 일반적이다. 그러나 대규모 언어 모델(LLM) 기반의 기존 제로샷 객체 목표 내비게이션 방법들은 LLM을 평면적인 추론 도구로만 사용하여 객체 또는 영역을 직접 연관 짓는다. 이들은 객체 국소화를 위한 인간과 유사한 방 의미론의 계층적 공간 인지 모델링이 부족하여, 탐험의 심각한 맹목성, 의미 연관의 부족한 정확도, LLM의 상식 추론 잠재력을 완전히 발휘하지 못하는 문제를 초래한다. 본 논문은 제로샷 객체 목표 내비게이션을 위한 LLM 기반 계층적 방-객체(HRO) 프레임워크를 제안하며, 이는 에이전트가 거친-세밀(coarse-to-fine) 방식으로 목표 객체를 탐험하고 내비게이션하도록 안내한다. Gibson 및 HM3D 데이터셋에서의 실험은 HRO 프레임워크가 기존 LLM 기반 방법 대비 우수한 성공률과 일반화 성능을 달성함을 검증하며, 제로샷 객체 목표 내비게이션에서 LLM의 강력한 잠재력을 강조한다.
에이전틱 LLM 코딩 도구는 긴 세션 기록을 compaction 요약으로 압축하며, 이후 세션이 이를 ground truth로 상속받는다. 본 논문은 Claude Code에서의 실패 모드를 문서화한다. 시간 초과된 명령(종료 코드 143)의 부분적 표준 출력이 compaction 요약에 확인된 결과로 기록되고, 재검증 없이 세션과 모델 버전 전반에 걸쳐 거짓 양성이 전파된다. 근본 메커니즘은 관측과 지속성(persistence)의 혼동으로, 터미널에 나타난 정보가 내구성 저장소에 기록된 정보와 동등한 것으로 취급된다. 이 발견은 LLM-as-judge 채점에서의 비결정성에 관한 선행 연구에서 보고된 LLM 자기 평가(self-evaluation) 실패 분석을 확장하며, 에이전틱 도구가 자신의 운영 결과를 보고할 때 유사한 신뢰성 결함을 보인다는 것을 보여준다. 이 실패는 데이터 처리, 과학적 계산, 또는 다단계 자동화를 위해 에이전틱 세션 연속성에 의존하는 모든 워크플로에 직접적인 함의를 갖는다.