대규모 언어 모델(LLM) 에이전트는 기술 진화(skill evolution)를 통해 과거 작업의 경험을 재사용 가능한 기술로 저장하는 경우가 점점 많아지고 있습니다. 에이전트가 안전하지 않은 작업을 완료할 때, 기술 진화는 다른 면에서는 유용한 기술 내부에 안전하지 않은 절차를 보존할 수 있으며, 이후의 무해한 작업에서는 안전하지 않은 지시가 사라진 후에도 해당 위해가 반복될 수 있습니다. 본 연구에서는 이러한 실패 현상을 기술 오진화(skill misevolution)라고 정의합니다. 이 현상은 에이전트가 안전하지 않은 절차를 기술로 작성하고, 이후의 작업에서 해당 기술을 검색하여 따르는 과정을 필요로 합니다. 본 연구에서는 각 작업 세션을 초기화하되 기술 라이브러리는 유지하여 이러한 각 단계를 독립적으로 검증할 수 있는 SkillMisevo-Gym을 소개합니다. 또한 25개 에피소드에 걸쳐 525개 작업으로 구성된 SkillMisevo-Bench를 구축하였으며, 각 에피소드는 새로운 세션에서 세 가지 무해한 작업을 수행하기 전에 악의적인 작업과 관련된 무해한 작업을 번갈아 수행하도록 설계되었습니다. 에이전트와 진화 방법의 21가지 조합 전반에 걸쳐 모든 조합이 안전하지 않은 기술을 작성했으며, 그중 15개 조합은 새로운 세션으로 위해를 전파하여 이러한 위험이 기술 진화 자체에서 비롯됨을 보여주었습니다. 기술 진화는 15개 조합에서 무해한 작업의 효용성을 높였지만 17개 조합에서 악의적 작업의 위해성 또한 증가시켰으므로, 효용성만으로 방법을 평가하는 것은 이러한 위험을 은폐할 수 있습니다. 이에 본 연구는 기술이 작성될 때와 이후 작업에서 기술이 검색될 때 각각 검증을 수행하는 SafeEvolve를 제안합니다. 이 방법은 학습 중 무해한 작업의 효용성을 0.4점 이내로 유지하면서, 새로운 세션에서의 안전하지 않은 검색 비율을 35.3%에서 8.7%로, 위해 발생 비율을 21.3%에서 4.0%로 줄입니다. SafeEvolveUp은 완화 기법이 없는 기술 진화 대비 효용성을 1.3점 이내로 유지하면서 새로운 세션의 위해를 16.0점 감소시킵니다. 에이전트가 자체 경험을 통해 학습함에 따라, 과거의 행동을 미래 작업으로 전달하는 기술 또한 안전성(safety)의 대상에 포함되어야 합니다. 코드는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.
공유 문서에 대한 반복적인 쿼리는 동일한 하위 트랜스포머(transformer) 층(layer)들을 반복해서 실행합니다. 본 논문에서는 분할 깊이 j를 명시적인 재사용 가능 문맥 축으로 만드는 CoMem을 소개합니다. CoMem은 토큰(token)당 하나의 깊이 j 잔차를 기록하고, 유계 청크 집합을 선택하며, [j:L) 층만 재개합니다. 우리가 알고 있는 문서 재사용 시스템 중 CoMem은 분할 깊이를 조정 가능한 서빙 축으로 만들고 이를 일치하는 j=0 엔드포인트로 격리합니다. Qwen3-8B에서 j=12는 선택된 팩 Read를 931.9ms에서 664.4ms로 줄이며(1.403배), 3.12포인트의 RULER 비용(95% CI [2.36, 3.93])을 수반하지만, 연속 접두 문맥(continuous-prefix) 오라클은 전체 격차를 회복합니다. 그 결과로 생성된 깊이 축은 품질-지연 시간-스토리지 간의 트레이드오프를 정량화하며, 동일 어댑터를 사용하는 별도의 Write 포함 파이프라인은 2.74배 더 빠릅니다. 동일 지연 시간 기준 원시 재생(raw replay)은 BM25에서 11.56포인트 앞서며, 이는 선지불된 깊이의 적용 가능성 한계를 숨기지 않고 직접 측정합니다. CoMem은 토큰당 8KiB를 저장하는 반면, 프로토콜 정렬된 동일 Qwen3 CacheBlend 스타일 진단 방식은 토큰당 144KiB를 저장합니다(집단 및 적응 예산은 일치하지 않음). 문맥-위치 인수분해는 누락된 하위 층 문서 문맥을 테스트된 주요 멀티키 오류로 식별하며, 32토큰 오버랩은 지속 바이트나 쿼리당 Read를 늘리지 않고도 92.5에서 98.5로 점수를 높입니다. CoMem은 반복 쿼리 긴 문맥 서빙을 위해 트랜스포머 깊이를 측정 및 조정 가능한 차원으로 개방합니다.
퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.
대규모 언어 모델(LLM) 에이전트가 트레이딩 시스템에 점점 더 많이 활용되고 있으며, 여기서 모델의 추론, 도구 사용, 지속적인 의사결정은 트레이딩 가치를 창출할 것이라는 기대를 바탕으로 비용을 발생시킨다. 기존 평가는 일반적으로 성능 지표만을 보고할 뿐, 동적인 LLM 매개 의사결정이 유발된 비용을 측정 가능한 증분 수익으로 전환하는지 여부인 '에이전틱 생존 가능성(agentic viability)'을 살펴보는 경우는 드물다. 이 기준을 적용하기 위해 본 논문에서는 트레이딩 기록, 런타임 추적 로그, 배포 구성을 바탕으로 에이전틱 트레이딩 시스템을 평가하는 추적 기반 진단 툴킷인 TradeLens를 소개한다. TradeLens는 트레이딩 궤적을 재구성하고, 수익과 비용을 해석 가능한 근거에 귀속시키며, 에이전트가 스스로의 지능 비용을 감당하는지 여부와 그 이유를 진단한다. 본 연구에서는 배포에 관한 논의와 함께 백본 모델, 자본 규모, 트레이딩 빈도, 시스템 아키텍처 전반에 걸쳐 광범위한 분석을 수행한다. 실험 결과에 따르면 생존 가능성은 '지능의 수익 전환'에 달려 있다. DeepSeek-V3.2의 저조한 자산 선택이나 GLM-4.7의 부정적인 타이밍과 같이 모델마다 서로 다른 실패 패턴을 보이며, 자본 규모, 트레이딩 빈도, 아키텍처는 특히 의사결정에 귀속된 타이밍 가치에 미치는 영향을 통해 이러한 실행 결과에 주로 중요한 영향을 미친다. 이러한 발견은 LLM 기반 트레이딩 에이전트의 평가를 역량 중심의 성능 순위 매기기에서 지능의 수익 전환에 대한 추적 기반 진단으로 재구성한다. 소스 코드는 https://github.com/ParadooxAI/TradeLens 에서 확인할 수 있다.
고품질 주석 데이터의 부족으로 인해 대규모 언어 모델(LLM)이 생성한 출력물에서 충실성 환각(faithfulness hallucination)을 식별하는 것은 여전히 어려운 과제입니다. 최근 연구들은 근거, 레이블, 환각 주장 등을 포함한 학습 데이터를 합성하기 위해 고도화된 LLM에 의존하고 있습니다. 그러나 이러한 방식들은 생성기를 정적 구성 요소로 취급하므로 탐지기의 반복적 개선을 제한합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 진화하는 생성기와 함께 탐지기가 부트스트래핑할 수 있도록 하는 새로운 프레임워크인 환각 셀프 플레이(Hallucination Self-Play, HSP)를 제안합니다. HSP는 동일한 기반 모델에서 초기화된 두 가지 역할을 포함하며, 하나는 모델 출력의 충실성을 평가하는 탐지기이고, 다른 하나는 점진적으로 탐지하기 어려운 환각 반응을 생성하는 생성기입니다. 구체적으로, 탐지기는 먼저 인간이 레이블링한 데이터로 파인튜닝된 후 AI 피드백 강화학습(RLAIF)을 통해 생성기를 학습시키는 보상 모델로 활용됩니다. 이어서 진화한 생성기는 규칙 기반 강화학습을 통해 탐지기를 추가로 최적화할 수 있도록 환각 데이터를 합성합니다. 세 가지 모델 계열에 대해 RAGTruth 및 LLM-AggreFact에서 수행한 실험 결과는, 제안된 프레임워크가 외부 지도 없이도 소형 LLM을 점진적으로 강화하여 고도화된 LLM과 대등하거나 능가하는 수준에 도달할 수 있음을 입증합니다. 본 연구의 코드는 https://github.com/maybenotime/Hallucination_Self-Play 에서 제공됩니다.
강화학습(RL)은 최종 결과에 도달하기 전 여러 중간 결정이 필요한 장기적(long-horizon) 검색 태스크에서 대규모 언어 모델(LLM) 에이전트의 성능을 향상시킵니다. 그러나 롤아웃 예산은 중간 상태의 유용성을 평가하지 않고 할당되는 경우가 많아, 가망이 없는 분기에서 연산이 낭비될 수 있습니다. 본 논문에서는 중간 상태의 정보성(informativeness)을 중심으로 롤아웃 수집을 구성하는 프레임워크인 정보 획득 기반 롤아웃 정책 최적화(IGRPO)를 제안합니다. 구체적으로, IGRPO는 확장 확률이 노드 수준의 정보성에 의존하는 예산 인식 트리 구조 롤아웃을 수행하여, 고정된 롤아웃 예산 내에서 유익한 분기에는 더 많은 연산을 투입하고 정보성이 낮은 분기는 덜 자주 확장되도록 합니다. 학습 궤적(trajectory)이 생성되는 방식을 직접 조정함으로써, IGRPO는 더 높은 누적 정보성을 선호하는 검색 궤적에 대한 극한 교사 분포(limiting teacher distribution)를 유도합니다. 그 결과로 얻어지는 분포는 명시적인 정책 최적화 목표를 제공하여, 적응형 롤아웃 수집과 원칙에 기반한 정책 학습을 연결합니다. 7개의 검색 증강 질의응답 벤치마크에 대한 실험 결과, IGRPO는 유사한 롤아웃 예산 하에서 3B 및 7B 백본 모두에서 강력한 베이스라인보다 더 높은 평균 정확도를 달성하여, 검색 에이전트 학습을 위한 정보성 기반 궤적 생성의 유효성을 뒷받침합니다. 코드는 https://github.com/e3trange/IGRPO 에서 확인할 수 있습니다.
최근 대규모 언어 모델(LLM) 에이전트는 자신이 유지 관리를 돕는 지식 베이스를 바탕으로 질문에 답하는 경우가 많습니다. 일반적인 직관에 따르면 점진적 공개(progressive disclosure)를 적용할 경우 이 과정을 더 적은 비용으로 수행할 수 있을 것으로 여겨집니다. 즉, 하나의 커다란 인덱스를 로드하는 대신 에이전트가 간결한 카탈로그와 한 줄짜리 페이지 요약을 읽은 뒤 필요한 페이지만 여는 방식입니다. 본 연구에서는 LLM이 유지 관리하는 709페이지 분량의 실제 마크다운 지식 베이스를 대상으로 사전 등록된 연구를 통해 이러한 직관을 검증했습니다. 해당 지식 베이스를 점진적 공개가 가능하도록 개조하고, 에이전트가 페이지에 접근하는 방식에서만 차이가 나는 네 가지 버전을 구축했습니다. 페이지 자체는 모든 버전에서 동일하므로, 나타나는 모든 차이는 접근 구조에서만 기인합니다. 각 버전은 에이전트가 정해진 프로토콜을 따르거나, 스스로 경로를 선택하거나, 카탈로그를 먼저 로드하도록 강제하는 세 가지 방식으로 테스트되었습니다. 서로 다른 모델 계열의 판정 모델이 검증된 참조 답변을 기준으로 블라인드 평가를 수행했습니다. 준비 단계의 파일럿 실험을 통해 질문을 변경했습니다. 성능이 뛰어난 에이전트는 대규모 인덱스를 전혀 로드하지 않았습니다. 에이전트는 질문으로부터 페이지의 위치를 파악하고 해당 페이지를 직접 읽었습니다. 본 연구에서 측정하고자 했던 비용 절감 효과는 이러한 에이전트에는 존재하지 않았기 때문에, 답변 품질을 주요 평가 지표로 삼았습니다. 품질은 유지되었습니다. 사전에 설정한 마진 내에서 개조된 지식 베이스의 답변은 기존 지식 베이스의 답변만큼 우수했습니다. 두 가지 한계점이 존재합니다. 인간 평가자와 모델 판정관 간의 일치도가 계획에서 요구한 수준보다 훨씬 낮았으므로, 품질 결과는 민감도 점검으로 뒷받침된 판정 모델에 의존합니다. 또한 에이전트가 카탈로그를 먼저 로드하도록 강제된 경우나 더 엄격한 테스트 하에서 가장 신뢰도 높게 채점된 두 가지 기준에서는 품질 유지가 입증되지 않았습니다. 테스트한 모든 조건에서 비용은 명확히 감소했으며, 개조된 버전은 답변당 인용한 페이지 수가 더 적었고 도구 턴(tool turn) 수도 더 적었습니다.
연산 재현성은 과학 연구의 핵심임에도 불구하고 여전히 달성하기 어렵습니다. 본 논문에서는 국제 FABRIC 테스트베드를 LoomAI를 통한 대규모 언어 모델(LLM) 코딩 에이전트(agent)와 결합하여 여러 도메인에 걸쳐 발표된 실험의 재현을 어떻게 단순화할 수 있는지 보여줍니다. 저자들은 FABRIC 상에서 BBR 계열 혼잡 제어 평가, CPU 전용 MPI 클러스터에서의 LAMMPS 분자 동역학 스케일링(scaling) 벤치마크, 스트레스 단백질 항상성 유전체학 파이프라인을 다루는 세 가지 사례 연구를 재현했습니다. 단순히 수치적 출력을 일치시키는 데만 집중하기보다는, 재현된 실험이 원본 연구와 동일한 과학적 결론을 뒷받침하는지 여부를 평가합니다. AI 어시스턴트는 환경(environment) 구축, 코드 수정, 디버깅에 효과적이었으나, 명확히 정의된 워크플로가 부족한 분석 단계에서는 어려움을 겪었으며 실행 순서와 데이터 의존성을 확립하기 위해 인간의 안내가 필요했습니다. 이러한 사례 연구 전반에 걸쳐 AI 지원 워크플로는 재현에 드는 노력을 약 4~6배 줄였습니다. 마지막으로 연구 테스트베드에서 AI 지원 재현성을 개선하기 위한 실질적인 권장 사항을 제시하며 마무리합니다.
파운데이션 모델은 심리학, 사회학, 경제학과 같은 행동과학 분야에 점점 더 많이 적용되고 있습니다. 이러한 모델은 설문 응답 예측 및 인간 피험자 실험 시뮬레이션과 같은 과업에서 유망한 가능성을 보이지만, 다양한 행동과학 과업 전반에서 얼마나 잘 수행되는지에 대한 체계적인 이해는 여전히 부족합니다. 본 연구에서는 (1) 행동 예측 및 시뮬레이션, (2) 전략적 의사결정, (3) 피험자 특성 추론(inference), (4) 행동 지식 적용이라는 네 가지 핵심 역량을 따라 파운데이션 모델(model)을 평가하는 종합 벤치마크인 BehaviorBench를 소개합니다. 특히 BehaviorBench는 개인 수준과 분포 수준 모두에서 모델 출력을 평가하여, 피험자별 정확도뿐만 아니라 행동적 타당성에 필수적인 요구사항인 집단 수준의 정렬(alignment)까지 포착합니다. 평가 결과, BehaviorBench는 선도적인 범용 대규모 언어 모델(LLM)과 행동 데이터로 특별히 학습된 행동 파운데이션 모델 모두에게 여전히 도전적인 과제로 남아 있음을 보여줍니다. 또한 개인 수준과 분포 수준의 성능이 항상 일치하지는 않는다는 점을 발견했습니다. 범용 LLM은 인간 응답의 다양성을 과소평가하는 경향이 있는 반면, 행동 파운데이션 모델은 개인 수준 예측에서 뒤처지는 경우가 많습니다. 나아가 다양한 행동 데이터에 대한 미세조정(fine-tuning)이 개인 수준 예측과 분포 정렬을 모두 향상시켜 이 두 목표 간의 균형을 맞출 수 있음을 입증합니다. 이러한 결과는 개인 및 분포 수준 모두에서의 평가가 갖는 중요성을 강조하며, BehaviorBench를 행동적으로 정렬된 AI 시스템을 개발하고 평가하기 위한 기반으로 확립합니다. BehaviorBench와 모델은 https://umich-foreseer.github.io/behaviorbench/ 에서 확인할 수 있습니다.
트레이스는 LLM 에이전트가 무엇을 수행했는지는 기록하지만, 각 단계가 무엇에 의존했는지는 암묵적인 상태로 남겨둡니다. GRADE는 두 가지를 하나의 그래프에 담아내며, 기존에 발표된 6가지 그래프 뷰는 이 그래프의 프로젝션(projection)입니다. 실행 엣지(edge)는 추가 비용 없이 확보되지만, 비용이 발생하는 각 의존성 엣지는 트레이스에서 관찰되었거나, 추가된 로깅을 통해 선언되었거나, 특정 가정하에 추론된 것으로 등급(grade)이 매겨집니다. 우리는 이 스키마를 한 등급씩 검증합니다. 6개의 도구 사용, 코딩 및 웹 코퍼스에서 의존성 층(layer)을 복원하고, 실행 크기(run size) 대비 실패 예측 성능 향상을 측정합니다. 첫째, 선형 실행 크기 기준선(baseline) 대비 3개의 코퍼스에서 예측 성능이 향상되지만, 성능 이득은 학습기(learner) 및 태스크 샘플링에 따라 달라집니다. 보류된(held-out) 코퍼스에서는 실행 크기 기준선이 무작위 확률 수준에 머무는 것과 달리 의존성 층은 무작위 수준 이상을 유지하지만, 이는 하나의 학습기에서 나타나며 동일하게 태스크 샘플링에 주의해야 합니다. 둘째, 구조는 실제로는 지니지 않은 신호인 것처럼 보일 수 있습니다. 전체 히스토리를 바탕으로 추론된 층은 실행 크기를 그대로 재진술할 뿐입니다. 코퍼스 내 사전 등록된 검증에서는 복원된 층이 각 단계의 의존성을 재연결하되 개수는 유지한 차수 일치 위조(degree-matched counterfeit) 구조와 구별되지 않습니다. 복원된 층이 이 위조 구조 대비 보였던 가장 큰 전이 우위는 보류된 코퍼스의 태스크 패밀리를 제외할 경우 역전됩니다. 구조의 유효성을 인정하기 전에 각 엣지의 등급을 매기고, 실행 크기 기준선을 유지하며, 차수 일치 연결 대조군(control)을 평가해야 합니다.
대규모 언어 모델(LLM) 기반 에이전트(agent)의 성능이 향상되고 널리 배포됨에 따라, 실제 환경에서 적대적 오용에 대한 유인이 커지고 있습니다. 주요 신종 위협 중 하나는 분해 공격(Decomposition Attacks) \cite{glukhov2024breach, jones2024adversaries}으로, 유해한 작업을 개별적으로 실행될 때 안전성(safety) 메커니즘을 회피하지만 누적되어 악의적인 의도를 달성하는 더 단순하고 무해한 하위 작업들로 쪼개는 방식입니다. 최근의 벤치마크들은 멀티턴 및 다중 도구 사용 환경에서 에이전트 안전성을 평가하지만, 이러한 형태의 분해 기반 오용을 명시적으로 포착하지 못하며 현실적인 적대적 실행 흐름을 반영하지 못할 수 있습니다. 이를 위해 본 연구에서는 분해 공격 환경에서 에이전트 안전성을 평가하기 위해 특별히 설계된 벤치마크인 DeCompBench를 소개합니다. DeCompBench는 그래프 프레임워크를 사용하는 '설계 단계부터의 분해(decomposition-by-design)' 원칙으로 제작되었으며, 유해한 작업을 현실적인 워크플로우를 갖는 개별적으로 무해하고 실행 가능한 하위 작업으로 분해할 수 있도록 지원합니다. 맞춤형 분해기를 사용한 실험 결과에 따르면, 최신 에이전트들은 단일한 형태의 유해한 작업에 대해서는 높은 거부율을 보이지만 분해된 변형 작업에 대해서는 거부율이 크게 낮아지며, 의도치 않게 적대적 목표를 달성하는 경우가 흔한 것으로 나타났습니다. 이러한 발견은 분해 공격에 대한 안전성 평가 및 이에 상응하는 방어 기법의 필요성을 강조합니다. 본 연구의 데이터셋(dataset)은 공개되어 있으며 https://huggingface.co/datasets/decompositionbench/DeCompBench 에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 개인 맞춤형 학습을 대규모로 지원하기 위해 수학 문장제 문제를 각색하는 데 점점 더 많이 활용되고 있지만, 이러한 각색이 모델 간에 일관적인지, 대규모 환경에서 문화적 다양성을 보존하는지, 그리고 모델이 어떤 문화적 개체를 가장 두드러진 것으로 취급하는지를 밝혀내는 문제는 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 Claude Opus 4, GPT-4.1, Gemini 2.5 Pro가 60개의 영어 수학 문장제 문제를 벵골어, 힌디어, 펀자브어(인도), 우르두어, 신디어(파키스탄), 이탈리아어, 시칠리아어(이탈리아)로 어떻게 각색하는지 분석합니다. 이 언어 구성은 고자원 언어인 이탈리아어 및 힌디어부터 연구가 부족한 신디어, 시칠리아어, 펀자브어에 이르기까지 전체 자원 스펙트럼을 아우릅니다. 저자들은 6,489개의 개체 변환을 주석 처리하여, 모델이 이름, 음식, 장소와 같은 개체를 보존하는지, 현지화하는지, 일반화하는지, 생략하는지, 혹은 변경하는지 코딩했습니다. 모델들은 변환 유형에 대해서는 62.5%의 사례에서 일치했으나, 구체적인 대체 항목에 대해서는 33.5%에서만 일치했는데, 이는 모델 선택이 학생들이 접하는 문화적 세계를 직접적으로 형성함을 의미합니다. 21개의 모든 언어-모델 조합에서 엔트로피 붕괴가 나타났으며, 각색 과정에서 문화적 다양성이 확장되기보다는 압축되었습니다. 모델들은 이름, 음식, 통화와 같은 표면적 표지를 우선시하는 반면, 문화적으로 특정한 가정을 내포하는 학년제 시스템과 같은 더 깊은 구조적 특징은 그대로 유지했습니다. 대상 국가를 명시한 프롬프트에도 불구하고, 모델들은 인도 벵골어권 학생들에게 방글라데시 타카를 사용하는 등 지역적 맥락을 잘못 귀속시키고, 달걀 찾기를 이드 활동으로 각색하는 것과 같은 문화 간 교차 오염을 유발했습니다. 일부 실패 사례는 개별 번역에서 명확히 드러납니다. 다양성 붕괴, 표면적 표지에 대한 체계적 선호, 일관된 지역적 오귀속을 포함한 다른 실패 요소들은 말뭉치 수준의 분석을 통해서만 드러납니다. 각색된 문제를 올바르게 보이게 만드는 표면적 타당성이야말로 오히려 더 깊은 수준의 실패를 쉽게 간과하게 만드는 요인입니다.
대규모 언어 모델(LLM)의 자기보고 설문 응답은 실제 행동 방식을 예측할 수 있을까요? 선행 연구에서는 그렇지 않다고 보았으나, 이는 인간 성격 검사를 차용한 것이어서 이러한 괴리가 LLM 자기보고 자체보다는 인간용 구성개념을 빌려 쓴 데서 비롯되었을 가능성이 있습니다. 본 연구에서는 상향식(bottom-up)으로 구조를 도출하고 LLM 고유의 행동(예: 과도한 거부, 요청되지 않은 면책 조항)으로 구축된 자기보고 도구를 통해 이를 검증합니다. 17개 개발사의 25개 LLM에 300개 문항을 30회 실시한 결과, 재현 가능하고 신뢰할 수 있는 5개 요인(Tucker $φ\geq .957$, $α\geq .930$)을 도출했습니다. 이후 이러한 자기보고 결과를 151명의 인간 평가자와 LLM 판사 앙상블이 평가한 2,500개의 개방형 행동 샘플과 비교했습니다. 인간과 LLM 판사는 모델 행동에 대해 일치된 평가를 보였으나($\bar{r} = .51$), 자기보고는 인간의 평가($\bar{r} = .09$, 95% CI $[-.07, .18]$)나 평가자 무관 텍스트 측정값을 거의 따라가지 못했으며, 준거 비신뢰도를 보정하더라도 5개 요인 중 4개는 0에 가까웠습니다. 장황성(Verbosity)만이 부분적인 예외였습니다($r = .40$, 신뢰도 상한의 71%). 응답성(Responsiveness)의 경우, 자기보고는 인간보다 LLM 판사를 더 잘 따랐으며($r = .53$ 대 $.18$; Steiger $p = .04$), 길이와 형식을 통제하더라도 이러한 경향은 사라지지 않았습니다. 즉, LLM 판사와 LLM 자기보고 간의 일치는 둘 중 어느 쪽이 인간의 판단을 추적하고 있는지에 대한 증거로는 빈약합니다.
대규모 언어 모델(LLM) 기반 트레이딩 시스템 연구에서 체결 현실성(execution realism)은 여전히 표준화가 미흡하여, 백테스트, 시뮬레이션 및 포트폴리오 벤치마크 전반에 걸친 비교와 재현을 제한하고 있습니다. 본 논문은 체결 재현성 증거 감사가 중첩된 PRISMA-ScR 체계적 범위 고찰(systematic scoping review)을 제시합니다. 재현 가능한 8개의 쿼리 패밀리를 통해 쿼리 수준의 레코드 796건이 반환되었으며, DOI/제목 중복 제거 후 687건의 고유 레코드가 남았고, 101건의 보고서에 대해 원문 회수를 시도하여 직접 및 대체 오픈 액세스 경로를 통해 59건의 전문(full text)을 확보했습니다. 53건의 보고서는 2건의 맹검 저자 검증(validation) 패킷 조정 결과에 따라 확장된 증거 차팅(charting) 대상 잠정 적격으로 분류되었습니다. 차팅 프레임워크는 시점 통제(point-in-time controls), 시간적 분할(temporal splits), 홀드아웃 평가(held-out evaluation), 거래 비용 및 회전율, 체결 시맨틱, 유니버스 구성, 아키텍처 보고, 아티팩트 가용성을 개별적으로 평가합니다. 직접 트레이딩, 포트폴리오 또는 알파 구성, 벤치마크 연구는 공통의 성과 추정치(estimand)로 통합되지 않고 별도의 기술적 하위 그룹으로 유지됩니다. 검색 응답, 회수 시도 내역, 파일 해시, 증거 발췌본, 스크리닝 결정 및 코딩 워크시트는 리뷰 자료와 함께 아카이빙됩니다. 최종 필드 수준 집계치는 저자 검증이 완료될 때까지 의도적으로 공개를 보류합니다.
다중 턴 사용자 대면 에이전트(agent)는 불완전한 요청으로부터 사용자의 의도를 추론하고, 대화와 도구를 통해 누락된 정보를 수집하며, 유효한 작업을 실행해야 합니다. 학습(training) 궤적은 이러한 과정을 사용자 메시지, 에이전트 응답, 도구 호출 등이 교차 배치된 시퀀스로 기록합니다. 충분히 복잡한 궤적을 합성하는 것은 에이전트를 학습시키기 위한 핵심 경로가 되었으나, 기존 파이프라인은 주로 여러 사용자 요청을 더 긴 작업으로 구성하여 난이도를 높임으로써 순차적 실행을 학습시키는 쓰기 집약적(write-intensive) 궤적을 생성합니다. 우리는 에이전트가 인자(argument)를 식별하기 전에 상당한 양의 읽기 도구 근거를 수집하고 비교해야 하는 경우, 단일 쓰기 결정 자체도 어려워질 수 있으며 이는 쓰기 집약적 데이터만으로는 해결할 수 없는 과제라고 주장합니다. 이러한 통찰을 바탕으로, 우리는 작업 내 쓰기 결정의 수와 개별 결정 각각의 근거 부담이라는 두 가지 복잡성 축을 따라 다중 턴 에이전트 학습 궤적을 합성하는 파이프라인인 WRIT(Write-Read Intensive Trajectory Synthesis)를 제안합니다. WRIT은 먼저 쓰기 집약적이면서도 읽기 부하가 큰 작업을 생성합니다. 그런 다음 현실적인 대화 변형을 반영하도록 사용자 행동 지침을 다양화하고, 마지막으로 실행 가능한 환경(environment)에서 에이전트-사용자 상호작용을 시뮬레이션하여 완전한 학습 궤적을 생성합니다. 이렇게 도출된 데이터는 에이전트가 더 긴 작업을 실행할 수 있도록 학습시킬 뿐만 아니라, 높은 정보 부하 하에서도 견고하고 근거 기반(evidence-grounded)의 의사결정을 내릴 수 있도록 학습시킵니다. 단 2,000개의 합성된 궤적만으로 WRIT으로 학습된 4B 모델(model)은 $τ^2$-bench에서 GPT-5.1 no-think를 능가하고 추론(inference) 시점의 토큰(token) 사용량을 대폭 줄여, 컴팩트한 SFT 데이터가 값비싼 테스트 시점 추론의 일부를 효율적인 에이전트 행동으로 전환할 수 있음을 보여줍니다.
대규모 언어 모델(LLM)은 전력망 분석 요청을 전력 계통 시뮬레이션을 위한 실행 가능한 프로그램으로 변환할 수 있지만, 전력 회사와 연구소는 종종 온프레미스(on-premise) 배포를 요구합니다. 이러한 환경에서는 환각(hallucination)된 함수, 오용된 매개변수, 잘못 처리된 결과 테이블 등 API 지식 경계에서 초회(first-pass) 실패가 빈번하게 발생합니다. 본 논문에서는 pandapower를 위해 동결된 2,000개 태스크 스위트로 공개된 매개변수화된 벤치마크 생성기인 PowerCodeBench와 가중치(weight) 업데이트가 필요 없는 배포 시점 워크플로를 제시합니다. 문서 기반 L0-L3 프로브는 진단, 모델 비교, 문서 할당, 백엔드 보정을 위한 모델별 API 프로필을 생성합니다. 쿼리 측 수요 추정기는 생성 전에 계층화된 API 증거를 선택하고, 실행 피드백은 표적화된 수정을 라우팅합니다. 10개의 오픈 가중치 LLM(1.5B-480B)과 4개의 중간급 API 전반에서, 검증(validation) 지원 워크플로는 7B 이상의 모든 모델과 모든 API에 대해 보조가 없는 초회 실행 대비 최대 3회의 수정 라운드 후 스칼라 일치 정확도를 32-56%포인트 향상시킵니다. 70B-120B 범위의 오픈 가중치 모델은 동일한 툴 미사용 조건에서 4개 벤더 중간급 정확도 범위에 도달합니다. 선택적 주입은 프롬프트(prompt) 토큰의 41%만을 사용하여 전체 층(layer) 참조에 근접합니다. 두 워크플로 모두에서 수치 검증을 통과한 모델-아이템 쌍 중 엔지니어링 검토 결과, 일반 수정에서는 66%였던 요청 분석 충족률이 전체 워크플로 출력에서는 88%로 확인되었습니다. OpenDSS 및 PyPSA에 대한 라운드 0 파일럿은 콜드 스타트 시점의 광범위한 검색에서 보정된 선택적 주입으로 이어지는 단계별 온보딩의 필요성을 입증합니다. 측정된 처리량, 지연 시간, 에너지 및 할당된 GPU 메모리는 실용적인 온프레미스 서빙 엔벨로프를 확립합니다.
대규모 언어 모델(LLM)은 표준화된 벤치마크에서 종종 인상적인 점수를 기록하지만, 정확도만으로는 모델의 능력을 온전히 파악하기 어렵다. 리더보드에서 오픈소스 LLM을 평가하는 방식은 데이터 오염, 협소한 태스크 범위, 실제 환경의 신뢰성과의 낮은 정렬(alignment) 같은 고질적인 문제에 직면해 있다. MMLU-Pro, BBH, IFEval과 같은 벤치마크 기반 평가는 고정된 테스트 세트에서 모델이 무엇을 출력하는지를 주로 포착할 뿐, 모델이 정보를 어떻게 처리하고 불확실성을 어떻게 보정(calibrate)하며 내부 지식을 어떻게 구조화하는지는 보여주지 못한다. 본 논문에서는 벤치마크 중심 평가에서 벗어나 이를 보완하는 LLM의 '상태 중심 내재적 평가(state-centered intrinsic assessment)'로의 전환을 제안한다. 이를 위해 은닉 활성화(hidden activations)와 출력 분포로부터 태스크에 구애받지 않는 진단을 도출하는 프레임워크인 잠재 성능 프로파일링(Latent Performance Profiling, LPP)을 소개한다. LPP는 모델의 잠재 표현(latent representation)과 동역학에 대한 일련의 스칼라 지표를 정의하여, 해석 가능한 비교를 가능하게 하고 숨겨진 취약점을 드러내는 특성을 규명한다. 정적인 정확도 점수와 달리 LPP는 비슷한 크기의 모델 전반에서 안정적이고 아키텍처에 민감한 시그니처를 제공한다. 0.5B부터 14B 크기에 이르는 8개 LLM을 대상으로 한 광범위한 실증 분석을 통해, 벤치마크 점수가 유사한 모델이라도 엔트로피나 압축률의 차이와 같이 대조적인 잠재 프로파일을 보일 수 있음을 입증한다. 이러한 통찰을 바탕으로, 리더보드 바이어스와 분리되면서도 내재적 지표와 정렬되는 불확실성 및 기호 추론용 합성 프로브(synthetic probe)를 설계한다. 모델 행동에 대한 더 깊고 해석 가능한 이해를 제공하여 표면적인 정확도를 넘어 더욱 신뢰할 수 있는 모델 선택, 안전성 평가 및 다각적 평가를 가능하게 하도록 벤치마크와 함께 LPP를 보고할 것을 권장한다.
대규모 언어 모델(LLM)이 계산 사회 분석의 프록시로 점점 더 널리 사용되고 있으나, 인간 커뮤니티의 "두터운 기술(thick descriptions)"(Geertz, 1973)을 충실하게 표현하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 평가는 종종 사회적 정체성을 정적인 레이블로 단순화하여 실제 집단이 사회적 변화에 대응하는 방식을 소외시킵니다. 이러한 격차를 해소하기 위해, 본 연구는 실제 뉴스에 대한 개별 커뮤니티의 진성적이고 사건 조건부인 반응을 기준으로 LLM이 시뮬레이션한 담화를 벤치마킹하는 반응 중심 프레임워크인 CARE(Community-Aware Reaction Evaluation)를 도입합니다. 207개의 Reddit 커뮤니티에 걸쳐 2,166개의 뉴스 기사에 대한 9,947개의 실제 반응을 포괄하는 CARE는 거친 태도와 세분화된 의사소통 톤을 아우르는 계층적 분류 체계를 사용하여 주요 LLM을 평가합니다. 우리의 실증적 분석 결과는 널리 쓰이는 커뮤니티 조건화(community-conditioning) 패러다임에서 두 가지 중대한 실패 모드를 드러냅니다. 첫째, 커뮤니티 문맥과 목표 지향적 추론이 매크로 수준의 태도 및 톤 프로파일링을 유의미하게 향상시키는 반면, 특정 사건에 대한 반응을 예측할 때는 이러한 이점이 인스턴스 수준에서 대체로 붕괴됩니다. 둘째, 커뮤니티 조건화의 이점은 현저하게 불균등합니다. 즉, 프롬프트 전략이 비균일한 변화를 초래하여 일부 커뮤니티에서의 충실도 향상이 다른 커뮤니티의 성능 저하로 상쇄됩니다. 이러한 미시-거시 간 괴리와 커뮤니티 수준의 불안정성은 표준 조건화가 동적이거나 공평한 사건 반응을 포착하지 못한 채 모델이 정적인 기준선 프로필을 근사하도록 할 뿐임을 보여주며, CARE가 커뮤니티 인지 사회 시뮬레이션을 위한 필수적인 진단 도구임을 확립합니다. 코드와 데이터는 https://github.com/nuankw/Handle_with_CARE 에서 제공됩니다.
가중치 공개(open-weight) 대규모 언어 모델(LLM)을 보호하기 위한 최근의 방어 기법들은 적대적 사용을 방지하는 것을 목표로 한다. 이러한 방어 기법의 기저에는 유해한 새로운 동작이 모델 탈옥(jailbreaking)을 통해 유도되기보다는 미세조정(fine-tuning)을 통해 학습된다는 가정이 깔려 있다. 그러나 사전학습된 LLM은 이미 여러 영역에 걸쳐 상당한 유해 지식을 인코딩하고 있어 중요한 의문을 제기한다. 공격자가 미세조정을 전혀 거치지 않고도 보호된 모델을 탈옥시켜 유해한 사용을 달성할 수 있는가? 본 논문에서는 가중치 공개 보호 장치가 잘 알려져 있음에도 불구하고 이러한 방어 기법을 대상으로 체계적으로 평가되지 않았던 더 단순한 전략들에 취약함을 보여준다. 구체적으로, 그래디언트(gradient) 기반 최적화에 의존하지 않는 두 가지 저비용 공격인 제거(abliteration)와 프리필링(prefilling)을 평가한다. 세 가지 유해성 평가 벤치마크(BeaverTails, HarmBench, AdvBench)에 걸쳐 이러한 공격들은 보호된 가중치 공개 모델에 대한 공격 성공률을 10% 미만에서 16%~96% 범위로 증가시킨다. 이러한 취약점을 완화하기 위해 저자들은 학습 과정에 제거 기반 목적 함수를 결합한 제거 저항 튜닝(ART, abliteration-resistant tuning)을 도입한다. ART는 기존 방어 기법 위에 중첩 적용될 수 있으며, 제거, 프리필링 및 이들의 결합 공격 성공률을 10%~20% 감소시킨다. 이러한 결과는 가중치 공개 모델의 공격 표면이 이전에 규명된 것보다 더 넓으며, 보호 방어 기법에 대한 평가가 적대적 미세조정을 넘어 더 다양한 공격 전략을 포함해야 함을 시사한다.
재귀적 자기 개선을 향해, 우리는 대규모 언어 모델(LLM) 에이전트가 표준 트랜스포머(Transformer)를 넘어 파운데이션 모델을 자율적으로 설계하는 방안을 연구한다. 우리는 고수준 아키텍처 탐색을 위한 AIRA-Compose와 저수준 메커니즘 구현을 위한 AIRA-Design이라는 이중 프레임워크 접근법을 소개한다. AIRA-Compose는 24시간의 예산 하에 11개의 에이전트를 사용하여 기본적인 계산 프리미티브를 탐색한다. 에이전트들은 백만 단위 매개변수 후보들을 평가하고, 상위 설계를 350M, 1B, 3B 규모로 외삽한다. 이를 통해 두 가지 패밀리에 걸친 14개의 아키텍처, 즉 AIRAformer(트랜스포머 기반)와 AIRAhybrid(트랜스포머-Mamba 기반)가 도출된다. 1B 규모에서 사전학습된 이 모델들은 Llama 3.2 및 Composer 기반 기준 모델들을 일관되게 능가한다. 다운스트림 태스크에서 AIRAformer-D와 AIRAhybrid-D는 Llama 3.2 대비 정확도를 각각 2.4% 및 3.8% 향상시킨다. 나아가 AIRA-Compose는 매우 효율적인 스케일링 프론티어를 갖춘 모델들을 발견하는데, AIRAformer-C는 Llama 3.2 및 Composer의 최적 트랜스포머보다 54% 및 71% 더 빠르게 스케일링되며, AIRAhybrid-C는 Nemotron-2보다 23%, Composer의 최적 하이브리드보다 37% 뛰어난 스케일링 속도를 보인다. AIRA-Design은 20개의 에이전트에게 장거리 의존성을 위한 새로운 어텐션(attention) 메커니즘과 고성능 학습(training) 스크립트를 작성하도록 지시한다. Long Range Arena 벤치마크에서 에이전트가 설계한 아키텍처는 문서 매칭 및 텍스트 분류(classification)에서 인간의 최고 성능(SOTA) 대비 2.3% 및 2.6% 이내의 격차를 달성한다. Autoresearch 벤치마크에서는 Greedy Opus 4.5가 고정된 시간 예산 하에서 0.968의 검증(validation) 비트/바이트(bits-per-byte)를 달성하여 기존에 발표된 최솟값을 넘어섰다. 종합하면, 이러한 프레임워크들은 AI 에이전트가 사람이 수작업으로 설계한 기준 모델과 대등하거나 이를 능가하는 아키텍처 및 알고리즘 최적화를 자율적으로 발견할 수 있음을 보여준다. 이는 차세대 파운데이션 모델을 발견하기 위한 강력한 패러다임을 확립하며, 재귀적 자기 개선을 향한 분명한 진전을 나타낸다.