검색 API는 많은 에이전트(agent)의 핵심 검색 층(layer)이며, 가장 빈번하게 사용되는 도구인 경우가 많다. 전통적인 검색 API는 웹사이트 내용을 미리 보여주는 URL, 제목, 스니펫을 제공한다. 전체 페이지 검색은 토큰(token) 소모가 크기 때문에, 에이전트 검색 아키텍처는 점점 더 점진적 공개(progressive disclosure) 방식을 채택하고 있다: 에이전트가 먼저 스니펫을 확인한 후 전체 페이지를 가져올지 여부를 결정한다. 이러한 시스템에서 검색 API 성능은 주로 답변 정확도로 평가된다. 우리는 상용 검색 API를 의사결정 표면(decision surface)으로, 즉 에이전트가 즉시 답변할지, 재검색할지, 아니면 토큰을 소비하여 페이지를 열지를 결정하게 만드는 순위화된 스니펫·URL·메타데이터의 집합으로 이해하는 것이 더 적절하다고 주장한다. 우리는 이 주장을 동결된 GPT-5.4 에이전트 1개, 두 가지 도구(search_web 및 fetch_page), SEALQA-HARD의 100개 질문으로 검증하며, 검색 공급자(Brave, Tavily, Firecrawl)만을 변경한다. Kimi-K2.6 오라클이 에이전트에게 노출되는 모든 콘텐츠 요소(URL, 제목, 스니펫, 가져온 페이지)에 레이블을 부여하여 6,869개의 유효한 URL별 판단을 생성한다. 우리는 정확한 일치를 보존하면서 무해한 형식 및 명칭 변형을 허용하는 감사된 정답 레이블인 의미론적 매칭(semantic match)을 사용한다. 이 기준에서 공급자들의 성능은 유사하지만(25, 25, 26 / 100), 증거 경제(evidence economy)는 현저히 다르다: Brave는 정답이 풍부한 스니펫을 제공하고, Tavily는 1순위에 정답을 지지하는 URL을 집중시키며, Firecrawl은 이 고정된 에이전트 정책 하에서 더 넓은 탐험(exploration)과 연관된다. 또한 우리는 표면 모순 대 정답 URL 비율(surface contradiction-to-gold URL ratio)을 도입하는데, 이 값은 0.92에서 2.59까지 다양하다. 따라서 공급자 선택은 단순한 재현율(recall) 결정이 아니라 검색 예산 및 정책 결정이다.
특허 데이터베이스는 가장 방대한 공개 기술 지식 아카이브 중 하나이지만, 특허권이 만료되거나 소멸된 이후에도 해당 지식의 상당 부분은 식별·해석·재활용이 어려운 상태로 남아 있다. 본 논문은 만료 및 소멸 예정 특허를 발굴하고, 기술 트렌드를 식별하며, 특허 공개 내용을 비즈니스 경로(business pathway)로 전환하기 위한 AI 기반 프레임워크를 제안한다. 여기서 경로란 SaaS 제품, 서비스, 라이선싱 패키지, 컨설팅 플레이북, 교육 제공물, 데이터 제품, 내부 프로세스 도구 등 구조화된 상용화 루트를 의미한다. 본 프레임워크는 특허 만료를 주로 법적 문제가 아닌 비즈니스 신호이자 아카이브 전환점으로 취급한다. 법적 상태는 여전히 중요하지만, 고객 수요·구현 타당성·채널 접근성·시장 타이밍과 함께 리스크 심사 입력 요소 중 하나로 다루어진다. 본 논문은 특허 메타데이터, 유지료 기록, 법적 상태 지표, 시맨틱 검색, 특허 패밀리 분석, 시장 신호, 생성형 AI 워크플로를 결합한 시스템 아키텍처를 기술한다. 개념 증명(proof of concept)으로 공식 주간 CIPO ST.96 아카이브의 378개 레코드 전체를 파싱하고, 만료·소멸·소멸 임박 후보 20건을 식별하며, 투명한 채점 모델의 안정성을 검증하고, 로컬 호스팅된 Qwen3.6 모델을 활용해 구조화된 검토 패킷을 생성하였다. 평가 결과, 재현 가능한 수집, 가중치(weight) 변동에 안정적인 순위, 스키마 준수 모델 출력이 확인되었으며, 동시에 법적 상태 정보의 불완전한 커버리지와 레지스터 및 전문가 검토의 필요성도 드러났다. 본 논문은 AI가 잠재된 기술 지식에 대한 발굴 및 변환 층(layer)으로 기능할 수 있지만, 그러한 시스템은 법적 불확실성·데이터 한계·상용화 리스크를 명시적으로 표현해야 한다고 주장한다.
추론 언어 모델(RLM)은 추론 지향 학습 데이터가 가장 풍부한 언어인 영어로 추론할 때 가장 강한 성능을 발휘합니다. 그러나 추론 트레이스(reasoning trace)는 모델 해석 가능성과 안전성을 위한 단서이며, 모델 사용자와 개발자 모두에게 실용적으로 유용합니다. 따라서 강력한 추론 성능을 유지하면서도 사용자가 선택한 언어로 추론하는 모델을 개발할 수 있는 것이 바람직합니다. 이를 위해 본 연구는 일본어로 추론하는 모델 학습의 실현 가능성을 조사합니다. 우리는 Qwen-3-8B로부터 지속적으로 사전학습된 일본어 대규모 언어 모델(LLM)인 Qwen-3-Swallow-8B의 일본어 추론 변형 모델을 GRPO를 이용해 개발하고, 코딩·수학·과학 벤치마크에서 평가합니다. 연구 결과, GRPO로 일본어 지속 사전학습 모델을 학습시킴으로써 추론 언어 제어가 실현 가능함을 보여줍니다. 그러나 성능은 여러 벤치마크에서 강력한 영어 추론 기준선(baseline)과 동등한 수준에 그칩니다. 또한 학습된 모델을 일본 문화 관련 벤치마크에서 평가한 결과, 기준선 모델보다 성능이 낮아, 일본어 추론이 문화적으로 관련된 과제에서의 성능을 자동으로 향상시키지는 않음을 시사합니다.
음성 언어 모델(SLM)은 음성 인식과 추론을 통합하지만, 민감한 도메인에 대한 적응은 아직 충분히 연구되지 않았다. 특히 원본 학습 데이터에 접근할 수 없고 다국어 음성 질의 상호작용이 요구되는 경우에는 더욱 그러하다. 우리는 싱가포르의 4개 공식 언어에 걸친 5가지 음성 태스크에서 오픈소스 SLM을 싱가포르 Home Team 맥락에 적응시켰으며, LoRA 미세조정, 파국적 망각을 방지하는 대리 텍스트-QA 데이터셋, 그리고 CoBa 재가중치 방식을 음성에 적용한 멀티태스크 목적함수를 결합하였다. 또한 텍스트 및 음성 형태의 504,853개 샘플로 구성된 다국어 QA 데이터셋 HTD-multilingual-QA를 구축하였다. 그 결과물인 HT-Moonstone (5B)은 대부분의 태스크에서 자신보다 최대 7배 큰 SLM과 동등하거나 이를 능가하며, 평가된 모든 모델 중 최고의 억양 및 성별 인식 성능을 달성하고, 원본 음성 QA 능력의 2% 미만만을 손실한다.
대규모 언어 모델(LLM)은 의료 제공자, 환자, 보험사를 대상으로 임상시험 결과를 요약하는 데 점점 더 많이 활용되고 있으나, 환각(hallucination) 경향은 이처럼 위험 부담이 높은 맥락에서 심각한 위험을 초래한다. 본 연구는 세 가지 이해관계자 대상별로 LLM이 생성한 임상시험 요약의 충실도(faithfulness)를 측정하기 위한 벤치마크 평가 프레임워크를 제시한다. 해당 프레임워크는 ClinicalTrials.gov 통합 분석 데이터베이스에서 층화 추출된 200개의 임상시험으로 구성되며, 대상별 프롬프트 템플릿과 6개 차원의 충실도 어노테이션 스키마를 사용하여 평가된다. GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash를 대상으로 총 1,800개의 생성 요약에 대해 크로스 인코더 자연어 추론(NLI) 모델을 활용한 기준선 측정값이 수립되었다. 근거 없는 주장(Unsupported Claims)이 세 모델 모두에서 주요 실패 유형으로 확인되었으며, 평균 어노테이션 점수는 3점 만점에 1.55점이었다. 지식 그래프 증강 검색 시스템을 개발하여 기준선과 비교 평가한 결과, NLI 기반 충실도 점수에서 통계적으로 유의미한 향상이 나타났다(함의(entailment) +0.0125, 충실도 +0.0130, p < 0.0001). 개선 양상은 모델에 따라 달랐으며, GPT-4o는 주로 모순 감소를 통해 개선된 반면 Claude Sonnet 4.6과 Gemini 2.5 Flash는 함의 증가를 통해 개선되었다.
우리는 합병 차익거래(merger arbitrage)를 위한 언어 모델 예측 시스템을 제안한다. 합병 차익거래는 발표된 M&A 거래의 결과를 예측하는 것이 과제인, 특수하고 높은 위험이 수반되는 금융 환경이다. LLM을 활용한 판단적 예측(judgmental forecasting)에 관한 기존 연구들이 광범위한 혼합 주제 벤치마크와 뉴스 단편 같은 짧은 컨텍스트에 집중해온 것과 달리, 우리는 수백 페이지에 달하는 기술 문서에 대한 긴 컨텍스트 추론이 요구되는 환경을 연구한다. 우리 시스템은 전문가가 설계한 컨텍스트 엔지니어링과, 과거 거래에서 도출된 사후 지식 기반 추론 트레이스(hindsight-guided reasoning traces)를 활용한 파인튜닝을 결합한다. 발표된 거래가 주어지면, 시스템은 상호 배타적인 세 가지 결과—발표된 조건으로 종결, 상위 입찰, 거래 종료—에 대한 확률 분포를 출력한다. 42개국에 걸쳐 400개 이상의 대형 거래로 구성된 표본 외(out-of-sample) 데이터셋에서, 우리의 파인튜닝 모델은 평가한 모든 방법 중 최고 성능을 달성하여 클래스 균형 브라이어 점수(class-balanced Brier score)를 0.151로 낮췄다. 이는 보정된 시장 내재 확률보다 24%, XGBoost보다 19%, 프론티어 언어 모델보다 25~42% 낮은 수치이다. 이러한 결과와 절제 연구(ablation studies)를 통해, LLM 기반 예측이 특화된 긴 컨텍스트 금융 워크플로에서 성공할 수 있으며, 사후 지식 기반 지도학습과 전문가 설계 컨텍스트가 핵심적인 역할을 함을 보여준다.
추천 시스템은 협업 필터링, 순차 모델, 콘텐츠 기반 검색기, LLM 기반 재순위화기 등 이질적인 에이전트들 중 하나를 선택해야 하는 상황에 점점 더 자주 직면하지만, 어떤 단일 에이전트도 모든 상황에서 최선이지는 않다. 우리는 이 선택 문제를 RouteRec 프레임워크를 통해 비용 제약 하에서의 태스크 인식 에이전트 순위 결정으로 연구하며, 네 개의 전통적인 추천 에이전트와 하나의 LLM 재순위화 에이전트에 대해 요청 수준 하드 선택(hard selection)과 아이템 수준 학습 기반 집계(learned aggregation)를 비교한다. MovieLens-1M에서 완전한 품질 오라클은 상당한 개선 여지를 보여(HR@10 = 0.584), 유용한 교차 에이전트 신호가 존재함을 확인한다. 그러나 누출 없는 5-폴드 아웃오브폴드 프로토콜 하에서 하드 선택은 BM25 미만(0.223 대 0.254)에 머물며, 선택적 LLM 에스컬레이션도 이를 개선하지 못한다. 동일한 프로토콜에서 학습 기반 집계는 다른 결과를 보인다: 저비용 전용 변형이 HR에서 BM25와 동등하고 더 높은 NDCG 추정치를 기록하며(0.123 대 0.114), 게이트 전체 에이전트 집계는 70.2%의 LLM 호출로 HR@10 = 0.295에 도달한다. 이로부터 얻는 교훈은 라우팅이 해결되었다는 것이 아니라, 희소한 고정 후보 설정에서 하나의 완전한 에이전트 목록을 선택하는 요청 수준 선택이 너무 거칠다는 것이며, 아이템 수준 집계가 더 유망한 행동 공간임을 의미한다.
XAlpha는 금융 시장에서 예측력 있는 알파 신호를 발굴하기 위해 외부 리포트 기반 지식과 과거 발굴 피드백을 통합한 다중 소스 메모리 시스템을 활용하는 LLM 기반 AI 퀀트 리서처 프레임워크다. Macro/Micro/Cross Brain으로 구성된 폐루프 아키텍처를 통해 가설 수립부터 팩터 코드 구현, 검증, 피드백 반영까지의 전 과정을 자동화하며, CSI300 실험에서 기존 대표 기준 방법들 대비 우수한 알파 발굴 성능을 달성했다.
우리는 에이전트 호라이즌을 스케일링하여 1조 매개변수급 성능에 도달하는 35B 전문가 혼합(MoE) 에이전틱 모델인 Agents-A1을 소개한다. 우리는 에이전트 호라이즌 스케일링을 두 가지 관점에서 탐구한다: 장기 호라이즌 궤적 스케일링과 이질적인 에이전트 능력 스케일링. 이 목표를 지원하기 위해, 우리는 외부 지식, 행동, 관찰, 검증기 결과를 연결하여 평균 45K 토큰 길이의 에이전틱 궤적을 생성하는 장기 호라이즌 지식-행동 인프라를 구축한다. 이를 기반으로, 우리는 3단계 방식으로 Agents-A1을 학습한다. 첫째, 기반 모델을 광범위한 에이전틱 행동에 정렬하기 위해 전체 도메인 지도 미세조정을 수행한다. 둘째, 각 도메인의 전문 지식을 포착하기 위해 도메인 수준의 교사 모델들을 학습한다. 셋째, 서로 다른 도메인 간 지식 전달 효율성을 향상시키기 위해 두드러진 어휘 정렬을 갖춘 다중 교사 도메인 라우팅 온-정책 지식 증류를 제안하며, 6개의 이질적 도메인을 하나의 배포 가능한 학생 모델로 통합한다. Agents-A1은 장기 호라이즌 에이전트 벤치마크에서 강력하고 폭넓은 성능을 달성한다. Kimi-K2.6 및 DeepSeek-V4-pro와 같은 1조 매개변수 모델과 비교하여, Agents-A1은 SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), MolBench-Bind (56.8)에서 선두적인 결과를 달성하며, SciCode (44.3), HLE (47.6), BrowseComp (75.5)에서도 매우 경쟁력 있는 성능을 유지한다. 우리는 이 연구가 장기 호라이즌 태스크에서 1조 매개변수 모델의 성능에 도달하거나 이를 견줄 수 있는 35B 에이전트를 활용하여 호라이즌을 스케일링하는 실용적인 경로를 커뮤니티에 제공하기를 바란다.
인간 문항 난이도 예측은 공정성과 효과적인 검사 구성을 뒷받침하는 신뢰할 수 있는 추정을 제공한다는 점에서 교육 평가의 핵심이다. 기존 방법은 종종 비용이 큰 인간 보정 또는 문항 수준의 텍스트 표현에 의존하며, 문항을 어렵게 만드는 인지 과정에 대한 제한적인 증거만을 제공한다. 우리는 난이도를 문항 텍스트의 속성일 뿐만 아니라, 문항이 유발하는 문제 해결 부담의 관측 가능한 결과로도 볼 수 있어야 한다고 주장한다. 대규모 추론 모델(LRM)은 추론 트레이스를 통해 확장 가능한 과정 증거를 제공하지만, 해석 가능한 모델링을 지원하려면 이러한 증거가 구조화되어야 한다. 이를 위해 우리는 LRM 추론 트레이스를 인지적으로 정당화된 에피소드 시퀀스로 매핑하는 프레임워크인 Epi2Diff(Episode to Difficulty)를 제안한다. 이러한 에피소드는 트레이스 세그먼트를 기능적 문제 해결 상태로 묶어, 추론 규모, 노력 배분, 상태 전이를 통해 난이도를 모델링할 수 있게 한다. Epi2Diff는 간결한 에피소드 동역학 특징을 추출하고 이를 의미적 문항 표현과 결합하여 인간 난이도를 예측한다. 네 가지 실제 인간 난이도 데이터셋에서의 실험 결과, Epi2Diff는 미세조정된 소규모 언어 모델, LLM 문맥 내 학습(ICL), 지도 LLM 적응을 포함한 강력한 베이스라인을 일관되게 능가했다. SAT에서 파생된 분류 벤치마크에서 Epi2Diff는 지도 LLM 미세조정 베이스라인 대비 평균 8.1%의 상대적 향상을 달성했다. 추가 분석에 따르면, 더 어려운 문항은 단순히 더 긴 응답을 유발하는 것이 아니라, 더 많은 노력이 들고 반복적이며 구현 중심적인 에피소드 동역학을 유발한다. 이러한 결과는 LRM 추론 트레이스의 인지적 에피소드가 인간 문항 난이도에 대한 예측 가능하고 해석 가능한 과정 표현을 제공하며, 추론 모델을 활용한 교육 측정에 대한 새로운 관점을 제시함을 보여준다.
동물 복지 관련 텍스트가 LLM 학습 데이터로 쓰일 때, 어휘가 맞춰진 입장 대비 탐침과 홀드아웃 벤치마크로 Llama-3.2-1B를 10가지 언어적 특성별로 미세조정해 추론 선호 변화를 측정했다. 여덟 특성이 유의미하게 바뀌었고, 단호한 확신·명시적 도덕 어휘·감정·평가적 주장·서사·해악 심각성·즉각적 시간 프레이밍은 동물 복지 지지 추론을 강화했으며, 완곡 표현과 구체적 감각 묘사는 입장을 희석시켰다.
표준 사후 학습 파이프라인은 언어 모델을 유용하게 만들기 위해 지도 미세조정(SFT)과 강화학습(RL)을 적용하지만, 이러한 과정은 사전학습 동안 주입된 가치를 의도치 않게 저하시킬 수 있다. 우리는 사후 학습 데이터의 도메인이 공감 지향 합성 데이터로 중간 학습된 Llama 3.1 8B 모델에서 동물에 대한 공감 가치의 유지에 차등적으로 영향을 미치는지 조사한다. SFT(유용성: Dolly-15k vs. 코딩: Magicoder-110K)와 GRPO(유용성: RLHFlow vs. 코딩: Magicoder)를 모두 사용하며, ANIMA 2.2 벤치마크와 MORU 벤치마크(Moral Reasoning Under Uncertainty, 불확실성 하 도덕적 추론)에서 평가한다. ANIMA에서 유용성 학습은 코딩 학습에 비해 동물에 대한 공감을 유의미하게 저하시킨다(SFT: 35.7% vs. 65.2%; GRPO: 18.7% vs. 32.0%). 이는 두 개의 독립적인 유용성 데이터셋과 두 가지 학습 패러다임에서 재현된다. 영어 MORU 항목에서 유용성 학습은 일반적 도덕적 추론을 25.5%p 저하시킨다(46.4% vs. 71.9%). 이 격차는 공감 효과와 크기 면에서 필적하는 눈에 띄는 차이다. 그러나 이 효과는 언어 간 이전되지 않는다. 다국어 MORU 벤치마크에서는 도메인 효과가 사라진다(SFT: 52.3% vs. 51.2%). 대조적으로, 동물에 대한 공감 효과는 언어에 걸쳐 일관되게 이전되며, Magicoder의 기본 모델 대비 ANIMA %p 향상은 영어 항목보다 비영어 항목에서 4.5배 크다. 이러한 � divergence는 중간 학습을 통해 주입된 가치가 도메인 특화 사후 학습에서 얻는 추론 향상보다 더 깊고 언어 간적으로 인코딩된다는 것을 시사한다. 이 결과는 가치 중심 중간 학습을 기반으로 구축하는 연구소에 있어, 코딩 도메인 사후 학습이 일반적 추론 능력을 해치지 않으면서 중간 학습된 가치를 유용성 사후 학습보다 더 잘 보존할 수 있음을 시사한다.
사고의 연쇄(Chain-of-Thought)와 도구 호출로 이루어진 긴 에이전트 추적(trace)은 후속 생성을 고정(anchor)시키는 낡은(stale) 내용을 축적하고, 결국 컨텍스트 윈도우(context window)를 초과한다. 기존 스캐폴드(scaffold)는 토큰 임계값에서 트리거되는 고정 간격 압축(compaction)으로 이를 완화한다. 이러한 트리거는 궤적(trajectory) 구조를 고려하지 않아, 유도(derivation) 중이거나 검색(search) 중에 부분 결과를 폐기할 위험이 있다. 우리는 SelfCompact를 제안한다. 이는 모델 자체가 언제, 어떻게 압축할지 결정할 수 있게 하는 스캐폴드이다. 구체적으로, 추론(inference) 시점에 두 가지 요소를 결합한다: (i) 누적된 컨텍스트를 요약하기 위해 모델이 호출하는 압축(compaction) 도구, (ii) 언제 실행할지(하위 과제가 해결되었을 때, 또는 궤적이 수렴할 때)와 언제 억제할지(유도 중이거나, 막혔을 때)를 명시하는 경량 루브릭(rubric). 둘 다 필요하다. 도구만으로는 공개 가중치(open-weight) 모델 전반에서 사용이 들쭉날쭉하며, 종종 도움이 되지 않는 순간에 호출되거나 아예 호출되지 않는다. 루브릭만으로는 실행할 수 없다. 함께하면 미세조정(fine-tuning)이나 외부 감독 없이도 효과적인 적응형 압축을 이끌어낸다. 6개의 벤치마크(경쟁적 수학 및 에이전트 검색)와 7개 모델에 대한 실험 결과를 제시한다. 결과에 따르면 SelfCompact는 토큰 비용의 일부만으로 고정 간격 요약과 동등하거나 그를 능가하며, 요약 없음 기준선(baseline) 대비 수학에서 최대 18.1점, 에이전트 검색에서 5–9점 향상을 보였고, 질문당 비용은 30–70% 낮았다. 결과는 메타인지(meta-cognitive) 격차를 드러낸다. 프롬프트 없이(unprompted) 모델은 자신의 컨텍스트가 부패(rotting)하고 있는 시점을 신뢰성 있게 판단하지 못하지만, 경량 루브릭이 이 격차를 메우며, 언제 압축할지를 학습(training) 없이도 스캐폴드가 제공할 수 있는 역량으로 재구성한다.
KV 캐시에 대한 사후 컨텍스트 삭제는 국소적 편집이 전역적 결과를 초래하기 때문에 어렵다. 특정 스팬이 처리되면, 그 영향이 이후 모든 토큰의 캐시 상태로 전파된다. 이 문제는 장문 컨텍스트 대규모 언어 모델(LLM) 응용에서 자연스럽게 발생하는데, 오래된 검색된 사실, 잘못된 도구 관찰 결과, 철회된 사용자 선호, 또는 유해한 프롬프트 주입이 프리필(prefill) 이후에야 식별될 수 있다. 정확한 삭제는 삭제된 스팬 이후의 모든 토큰을 재연산해야 하므로, 계산 비용이 삭제 스팬의 길이가 아닌 접미부(suffix) 길이에 따라 결정된다. 우리는 효율적인 지역적 컨텍스트 삭제를 위한 학습 기반 KV 캐시 편집 방법인 KVEraser를 소개한다. 처리된 컨텍스트와 제거할 스팬이 주어지면, KVEraser는 삭제 구간의 KV 상태만 학습된 조종 상태(steering states)로 교체하고 나머지 캐시는 변경하지 않고 재사용한다. 전이 가능한 삭제 메커니즘을 학습하기 위해, 우리는 2단계 학습 파이프라인을 구축한다. 범용 스팬-이웃 사전학습은 삭제기가 삭제된 스팬의 영향을 억제하도록 학습시키고, 태스크별 미세조정은 이 능력을 하위 시나리오에 적응시킨다. 실험 결과, KVEraser는 1K~32K 컨텍스트 길이에 걸친 도메인 내(in-domain) 태스크에서 삭제 후 성능이 완전 재연산과 거의 동등한 수준을 보이면서도, 지연 시간은 완전 재연산의 17.6배 증가에 비해 24%만 증가하는 것으로 나타났다. KVEraser는 또한 유해한 사실적 방해 요소가 포함된 미지의 장문 문서 질의응답(QA) 태스크에도 일반화되어, 완전 재연산 대비 3~4배의 속도 향상으로 근사 기준선(approximate baselines) 중 최고 성능을 달성한다.
문제, 연구 전략 및 발견: 대규모 언어 모델(LLM)의 부상은 도시 계획에 있어 핵심적인 질문을 제기한다. 즉, 어떤 형태의 전문적 계획 지식을 AI가 모방할 수 있으며, 어떤 지식이 여전히 인간의 판단을 필요로 하는가이다. AI 도구가 계획 실무에서 점점 더 많이 활용되고는 있지만, 계획 전문성의 핵심인 문맥 민감성, 가치 인식, 제도적 소양을 갖고 추론할 수 있는지를 시험하는 체계적인 프레임워크는 여전히 부재하다. 본 논문은 Bloom의 수정된 분류법을 채택한 4가지 지식 기둥과 5가지 인지 수준의 4x5 행렬을 통해 LLM 추론을 평가하는 도메인 특화 평가 프레임워크인 Urban Planning Bench(UPBench)를 소개한다. 자동화된 채점과 전문가 검토를 통해 25개 LLM을 평가한 결과, 비단조적 인지 곡선(non-monotonic cognitive curve)을 발견했다. 모델들은 사실적 회상(factual recall) 및 통합적 판단보다 고차원적 분석 작업에서 더 나은 성능을 보였다. 이는 종종 하위 수준으로 간주되는 계획 지식이 제도적, 관할권적, 시간적 맥락에 의해 깊이 형성되어 있어 LLM이 일반화하기 어렵다는 것을 시사한다. 우리는 이러한 한계를 규제적 환각(regulatory hallucination), 개념적 혼동(conceptual conflation), 난제 마비(wickedness paralysis), 실천적 지혜 결여(phronetic deficit)라는 네 가지 인식론적 진단으로 요약한다. 실무를 위한 시사점: 연구 결과는 계획 분야에서 차별적인 업무 위임을 뒷받침한다. LLM은 학제 간 통합, 문헌 조사, 시나리오 생성, 예비 정책 분석을 보조할 수 있다. 그러나 관할권 특화 규정, 규범적 갈등 해결, 문맥 민감적 절차에 대해서는 여전히 신뢰할 수 없다. 기관은 AI 보조 규제 분석에 대해 검증을 요구해야 하며, 계획 교육은 제도적 소양, 규범적 판단, 문맥 민감성을 강조해야 한다.
실제 대규모 언어 모델(LLM) 애플리케이션은 단일 에이전트 워크플로우를 넘어 오케스트레이션된 멀티 에이전트 시스템으로 전환되고 있지만, 현재 모델들은 각 서브 에이전트가 무엇을 알아야 하는지 결정하는 데 여전히 어려움을 겪고 있다. 이를 측정하기 위해 우리는 멀티 에이전트 시스템을 위한 오케스트레이션 프롬프트를 구성하는 LLM의 능력을 평가하는 벤치마크인 PerspectiveGap을 소개한다. PerspectiveGap은 110개의 시나리오를 포함하며, 각 시나리오는 역할-단편 할당(role-fragment assignment)과 자유형 프롬프트 작성이라는 두 가지 방해 요소 혼합 태스크 형식으로 평가된다. 이 시나리오들은 저자들의 실제 엔지니어링 경험에서 도출되어 10개의 토폴로지로 구성되며, 최소한의 역할 및 엔지니어링 오버헤드로 효용을 극대화하는 루프 중심의 오케스트레이션을 구축하는 프롬프트 경제(Prompt Economy) 원칙에 의해 구조화된다. 10개 회사의 33개 상용 모델을 대상으로 한 실험에서 GPT-5.5는 모든 경쟁 모델을 크게 앞선 반면, Opus 4.8은 강력한 코딩 성능에도 불구하고 오케스트레이션 프롬프팅에서 두드러진 약점을 보인다. 그럼에도 불구하고 PerspectiveGap은 여전히 난이도가 높으며, 평가된 모델들은 평균 통합 통과율 17.2%(GPT-5.5는 62.0%)와 평균 전체 누출률 217.9%(시나리오별 정보 누출 이벤트 횟수이며 비율이 아님; GPT-5.5는 49.1%)를 달성하는 데 그쳤다. 이러한 결과는 멀티 에이전트 오케스트레이션 프롬프팅이 별도의 독립적이며 충분히 평가되지 않은 능력임을 시사하며, PerspectiveGap은 이를 체계적으로 측정하고 개선하기 위한 기반을 제공한다.
이 연구는 대규모 언어 모델(LLM)이 생성한 외국어로서의 영어(EFL) 학습 콘텐츠의 교육적 타당성을 평가한다. 문법 드릴 애플리케이션에서 연습하는 일본 중학생들의 로그 데이터를 활용하여, 다양한 질문 양식이 학생 수행도에 미치는 영향과 이론적으로 현지화된 CEFR 난이도 단계가 실증적 과제 난이도를 정확히 예측하는지를 분석하였다. 결과는 명확한 수행도 위계를 보여준다: 객관식 문제는 인지 부하가 가장 낮았고, 클로즈(빈칸 채우기) 과제는 능동적 회상에 가장 큰 장벽을 형성하였으며, 드래그앤드롭 연습은 가장 큰 시간적 부담을 유발하였다. 또한, 학습자 데이터는 CEFR-J 문법 프레임워크를 검증하였으며, 숙달도 수준이 높아질수록 정확도가 꾸준히 감소하고 응답 시간이 증가함을 보여주었다. 이러한 결과는 LLM이 학습 콘텐츠를 성공적으로 생성할 수 있음을 입증하는 동시에, 학습자를 수동적 인식에서 능동적 언어 산출로 전환시키기 위해 개발자들이 질문 양식을 전략적으로 순서화할 필요성을 강조한다.
AI 연구 에이전트는 이제 대규모 AI 지원 과학적 발견을 뒷받침한다. 우리는 AI가 생성한 아이디어가 과학적 탐험을 넓히는지, 아니면 주로 기존 연구를 강화하는지 검토한다. 다섯 가지 에이전트 프레임워크와 다섯 가지 대규모 언어 모델(LLM)을 활용하여 다양한 과학 분야에 걸쳐 219,655개의 아이디어를 생성한다. 실험 전반에 걸쳐 네 가지 일관된 패턴이 나타난다. 첫째, AI가 생성한 아이디어는 동일한 연구 영역 내에서 인간이 저술한 논문보다 더 집중되어 있다. 둘째, AI가 생성한 아이디어는 이후의 인간 후속 연구보다 출발점이 된 문헌에 훨씬 더 가깝게 머문다. 셋째, AI가 생성한 아이디어는 미래의 인간 연구와 정합성이 낮다. 마지막으로, AI가 생성한 아이디어는 역사적 과학 지형에서 영향력이 낮은 영역에 위치한다. 전반적으로, 현재의 AI 연구 에이전트는 과학적 탐험을 넓히기보다 국소적 정교화(local elaboration)에 더 적합한 것으로 보인다.
표준 다음 토큰 예측(NTP)이 은닉 표현 공간을 충분히 제약하지 못해 표현 퇴화(representation degeneration) 현상을 유발한다는 문제를 지적하며, 이를 해결하기 위해 동일 모델의 얕은 레이어 표현을 자기지도(self-supervised) 타깃으로 활용해 잠재 공간에서 연속적 밀도 감독을 추가하는 NITP(Next Implicit Token Prediction)를 제안한다. 0.5B~9B 규모의 dense 및 전문가 혼합(MoE) 모델에서 약 2%의 추가 학습 FLOPs만으로 MMLU-Pro 5.7%, C3 6.4%, CommonsenseQA 4.3%의 성능 향상을 달성하며, 추론 비용은 전혀 증가하지 않는다.
프롬프트 압축은 대규모 언어 모델(LLM)의 추론 비용과 컨텍스트 길이를 줄이지만, 기존 평가는 주로 자기회귀(autoregressive) 아키텍처에 집중되어 있다. 본 연구는 LLMLingua-2가 확산 대규모 언어 모델(DLLM), 특히 LLaDA-8B-Instruct에 효과적으로 전이되는지를 검토한다. 수학적 추론, 프롬프트 재구성, 요약을 포함하는 GSM8K, DUC2004, ShareGPT를 각 데이터셋당 250개의 프롬프트로 약 50% 압축 비율에서 평가한다. 원본, 압축, 재구성된 프롬프트의 출력은 정확 일치 정확도(exact-match accuracy), BLEU, ROUGE, BERTScore를 사용하여 비교된다. 결과에 따르면 높은 의미적 보존이 반드시 확산 모델에서 안정적인 하위 태스크 동작을 보장하지는 않는다. 요약은 상대적으로 견고하게 유지되는 반면, 수학적 추론은 높은 의미적 유사도에도 불구하고 크게 저하된다. 재구성 결과는 또한 의미적으로 유사한 프롬프트가 안정적인 디노이징(denoising)에 필요한 추론 핵심 정보를 누락할 수 있음을 보여준다. 전반적으로 압축 실패는 의미적 편향(semantic drift)보다 정보 누락에 의해 주로 발생하며, 이는 자기회귀 프롬프트 압축 방법이 DLLM에 균일하게 전이되지 않을 수 있음을 시사한다. 이러한 발견은 확산 인식(diffusion-aware) 압축 전략의 필요성을 동기 부여한다.