대규모 언어 모델(LLM)은 연구 아이디어 발굴을 점점 더 접근하기 쉽게 만들었지만, 효과적인 아이디어 개발은 후보 방향을 생성하는 것 이상을 요구한다. 연구자들은 현재 문헌에 문제를 근거시키고, 의미 있는 병목 지점을 식별하고, 기존 해결책과 차별화하며, 구현에 착수하기 전에 위험을 평가해야 한다. 우리는 연구 아이디어 발굴의 첫 단계를 위한 재사용 가능한 스킬 스위트로 ResearchStudio-Idea를 제시한다. 이 스위트는 독립형 다중 출처 문헌 검색 스킬인 Paper-Search, 신규성 주장에 대한 독립형 선행 기술 충돌 검사기인 Scoop-Check, 그리고 증거 그라운딩(evidence grounding), 패턴 기반 생성, 충돌 검색, 감사, 아이디어 카드 렌더링을 하나의 워크플로우로 구성하는 엔드투엔드 스킬인 IdeaSpark로 구성된다. IdeaSpark는 2021년부터 2025년 사이 ICLR, ICML, NeurIPS에서 수집한 1,947편의 머신러닝 학회 논문 코퍼스를 기반으로 구축되었으며, Oral 논문, 별도로 추적된 고인용 서브셋, 거절된 제출 논문이 포함된다. 이러한 결과물 분석을 통해 31개의 반복되는 아이디어 발굴 하위 패턴이 도출되었고, 이는 15개의 재사용 가능한 아이디어 발굴 패턴으로 통합되었다. 각 패턴은 연구 맥락, 병목 유형, 차별화 전략, 지지 선례, 일반적인 실패 모드를 담은 구조화된 카드로 운용된다. 연구 문제와 증거 번들이 주어지면, IdeaSpark는 증거 준비 상태를 평가하고, 주변 연구 맥락을 재구성하며, 미해결 병목 지점을 식별하고, 관련 패턴을 선택하여 하나의 후보 방향을 구체화하고, 잠재적으로 충돌하는 선행 연구를 검색하며, 결과 정보를 기반으로 한 감사를 수행한다. 이 워크플로우는 재사용 가능한 아이디어 발굴 패턴을 추적 가능한 연구 제안으로 변환한다. 블라인드 자동화 판정 평가에서 IdeaSpark는 경쟁력 있는 신규성을 유지하면서 스킬 미적용 및 범용 스킬 베이스라인보다 일관되게 더 강력한 연구 제안을 생성하는 것으로 나타났다.
AI 추론은 대규모 언어 모델(LLM)의 성공에 힘입어 현대 인공지능의 핵심 연구 주제로 부상하였다. 그러나 수학 연구는 비선형적인 유도 경로, 엄밀한 논리적 요구사항, 그리고 장기간의 탐험 주기를 특징으로 하기 때문에 기존 추론 시스템에 심각한 도전을 제기한다. 이러한 한계를 극복하기 위해 본 논문에서는 수학 연구의 전 주기에 걸쳐 코파일럿 역할을 수행하도록 설계된 LLM 기반 에이전트인 MechMath Agent Team(MMAT)을 제안한다. 우리는 시스템 책임을 제어(Control), 실행(Execution), 증강(Augmentation) 플레인으로 분리하는 삼중 Harness 아키텍처를 설계함으로써, 엄밀한 논리적 제어와 개방형 연구가 요구하는 민첩성을 조화롭게 결합하였다. 이 프레임워크를 기반으로 지식 베이스 관리자(Knowledge Base Manager), 자연어 증명기(Natural Language Prover), 형식 언어 증명기(Formal Language Prover)의 세 가지 전문 에이전트를 구현하였으며, 이들은 폐쇄 루프 내에서 협력하여 형식적으로 인증된 수학적 증명을 생성한다. MMAT을 정수론, 대수적 복잡도 이론, 미분 대수, 작용소 대수, 부등식 분야의 미해결 문제들에 대해 평가하였다. 두 달간의 배포 기간 동안 11개의 문제가 해결되어, 전체 연구 주기에 걸친 코파일럿으로서의 역량이 입증되었다. 본 연구의 기여는 세 가지로 요약된다: 다중 에이전트 수학적 추론을 위한 범용 분리형 Harness 아키텍처, MMAT 시스템에서의 구체적인 구현, 그리고 다양한 미해결 문제들에 대한 실증적 검증.
도메인 전문성 또는 비공개 도구 및 데이터에 접근 가능한 여러 대규모 언어 모델(LLM)의 예측을 집계하여 집단적 예측 성능을 향상시키는 방식이 점점 보편화되고 있다. 분산 환경에서는 모델의 비공개 정보에 접근하지 않고도 집계 가중치를 결정해야 하며, 전략적 보고에 대해 견고성을 유지해야 한다. 우리는 LLM 집계를 위한 이점 정렬 배팅 메커니즘(WALLA) 계열을 제안한다. 이 방식에서 각 모델은 예측값과 학습된 배팅값을 보고하며, 예측은 배팅값을 가중치로 사용하여 집계된다. WALLA는 순 지급 함수에 리브-원-아웃(leave-one-out) 기준선을 도입하여 세 가지 바람직한 속성을 이끌어낸다: (1) 임의의 신념 구조 하에서 예측에 대한 지배 전략 유인 호환성, (2) 최적 배팅값이 모델의 기대 점수 이점에 비례하는 이점-배팅 정렬, (3) 최적 예측 없이도 배팅 정책의 분산 학습을 가능하게 하는 예측 독립적 배팅 최적화. 나아가 정규성과 무차익거래를 절충하면서 메커니즘의 최악 손실을 유계로 유지하는 두 가지 메커니즘 변형을 구체화한다. 이질적인 모델과 비공개 정보 환경에 걸친 질의응답 및 예측 벤치마크 실험에서 WALLA는 중앙집중식 집계 방법과 동등한 예측 성능을 보이면서, 동시에 분산 학습, 이점 정렬 집계 가중치, 불확실성 인식, 유인 호환적 예측을 달성함을 보인다.
우리는 인터랙티브 배포에 최적화된 Nemotron-3-Super의 압축 변형 모델인 Nemotron-Labs-3-Puzzle-75B-A9B를 소개합니다. 이 모델은 높은 사용자 처리량 제약 조건 하에서 서버 처리량을 극대화하도록 설계되었습니다. 단일 8xB200 노드에서의 인터랙티브 서빙 워크로드에서, Puzzle-75B-A9B는 동일한 사용자 처리량 제약 조건 하에 Nemotron-3-Super 대비 약 2배 높은 서버 처리량을 달성합니다. 단일 H100 GPU에서의 초장문 컨텍스트 배포에서, 압축된 모델은 100만 토큰 동시 처리 요청 수를 1개에서 8개로 늘립니다. Puzzle-75B-A9B는 Iterative Puzzle 압축 프레임워크와 지식 증류, 강화학습, 양자화, 멀티-토큰 예측 헤드를 결합한 다단계 파이프라인을 사용하여 구성됩니다. 압축 과정은 이기종 전문가 혼합(MoE) 가지치기, 활성 매개변수 예산, Mamba 가지치기를 공동으로 최적화하여 모델 품질을 유지하면서 추론 효율성을 향상시킵니다. 우리는 Puzzle-75B-A9B를 추론, 코딩, 다국어, 장문 컨텍스트, 에이전트 벤치마크를 포함한 광범위한 평가 스위트에서 평가합니다. 상당한 압축에도 불구하고, 이 모델은 다양한 태스크에서 부모 모델 대비 강력한 다운스트림 정확도를 유지합니다. 이러한 결과는 대규모 하이브리드 MoE 모델이 강력한 다운스트림 성능을 유지하면서 배포 효율성을 위해 대폭 최적화될 수 있음을 보여줍니다.
대규모 언어 모델(LLM)은 인간이 수동적인 작업 제공자가 아닌 능동적인 협력자로 참여하는 환경에서 점점 더 많이 운용되고 있다. 본 논문에서는 인간과 LLM 기반 에이전트를 명시적인 역할, 권한, 통신 경로, 행동 권한을 가진 일급 참여자로 표현하는 그래프 기반 프레임워크인 HAS-Framework를 소개한다. 이 프레임워크를 기반으로, HAS-Bench는 에이전시 수준, 상호작용 채널, 페르소나 정책에 걸쳐 설정 가능한 인간 참여 하에서 인간-에이전트 시스템(Human-Agent Systems)을 평가한다. 본 벤치마크는 작업 결과와 프로세스 수준의 협업 행동을 모두 측정하며, 여기에는 명확화 품질, 피드백 활용, 제어 보정, 안전성, 주도권, 상호작용 비용이 포함된다. 6개 도메인에 걸친 실험 결과, 인간 참여가 작업 완료율과 실패 복구를 실질적으로 향상시킬 수 있음을 보여주지만, 그 효과는 인간 입력이 언제, 어떻게, 누구에 의해 행사되는지에 따라 달라진다.
그룹 기반 강화학습(RL)은 장기 상호작용 태스크에서 대규모 언어 모델 에이전트를 개선하는 효과적인 패러다임으로 자리 잡았다. 트래젝토리 수준 최적화보다 세밀한 정책 업데이트를 얻기 위해, 최근 연구들은 롤아웃 배치 내에서 중간 단계들을 그룹화하고 비교하는 단계 수준 그룹 기반 RL로 나아가고 있다. 그러나 단계 수준 어드밴티지 추정은 그룹 구성 방식에 민감하다. 넓은 상태 키로 그룹화하면 커버리지는 향상되지만 서로 다른 히스토리에서 취한 행동을 비교하게 될 수 있고, 히스토리 일관성을 강제하면 비교가 더 공정해지지만 단편적인 그룹과 피어 비교 신호 손실이 발생한다. 본 논문에서는 맥락 일관적인 단계 수준 학습을 위한 학습된 크리틱 불필요 방법인 ProGPO(Progress- and Reliability-Oriented Group Policy Optimization)를 제안한다. ProGPO는 정확한 접두 문맥 행동 비교를 유지하면서, 롤아웃 기반 상태 포텐셜에서 도출한 전이 크레딧으로 희소한 피어 비교를 보완한다. 이 포텐셜을 신뢰성 있게 추정하기 위해, ProGPO는 히스토리 깊이에 따른 역분산 융합과 의미론적 확장을 결합한다. 우리는 Qwen2.5-1.5B-Instruct를 사용하여 ALFWorld와 WebShop이라는 두 가지 도전적인 에이전틱 태스크에서 ProGPO를 평가한다. 실험 결과, ProGPO는 유사한 연산 오버헤드 하에서 동일 조건의 에이전틱 RL 베이스라인 대비 성능이 향상됨을 보여주며, 추가적인 Qwen2.5-3B-Instruct 실험을 통해 제안 방법의 확장성을 추가로 검증한다.
대규모 언어 모델(LLM)이 수동적 생성기에서 자율 에이전트로 전환됨에 따라 신뢰성, 보안, 상태 관리 측면에서 중대한 과제가 대두되고 있다. 현재의 에이전트 아키텍처는 임기응변식으로 구성되는 경우가 많아 환각 연쇄, 무한 루프, 프롬프트 인젝션 공격에 취약하다. 본 논문은 이러한 실패 양상 중 상당수를 시스템 생물학에서 오랫동안 연구되어 온 제어 모티프를 이용하여 분석할 수 있다고 주장한다. 단, 이 비교는 문자 그대로의 생물학적 메커니즘이 아닌 타입이 부여된 인터페이스와 조율 구조 수준에서 이루어진다. 우리는 다항식 함수자(polynomial functor)와 배선 다이어그램을 활용하여 유전자 조절 네트워크(Gene Regulatory Network)와 에이전트 소프트웨어 시스템 간의 타입 인터페이스 대응 관계를 개발한다. 다섯 가지 생물학적 모티프를 조합 가능한 소프트웨어 디자인 패턴에 매핑한다: 노이즈 억제를 위한 일관된 전방향 루프(Coherent Feed-Forward Loop), 계층적 보안을 위한 적응 면역(Adaptive Immunity), 자원 관리를 위한 미토콘드리아 신호전달(Mitochondrial Signaling), 신경-심볼릭 통합을 위한 내공생(Endosymbiosis), 공간적으로 가변하는 조율을 위한 형태소 확산(Morphogen Diffusion). 인식론적 위상 층(epistemic topology layer)은 배선 다이어그램의 관찰 구조로부터 크립키(Kripke) 스타일의 지식 연산자를 유도하고 다중 에이전트 스케일링에 관한 네 가지 예측 정리를 증명한다. 핵심 기여는 다음과 같다: (1) 에이전트 오퍼라드(Agentic Operad)—전방향 위상에 대해 증명 가능한 오류 억제 경계를 갖는 에이전트 합성을 위한 타입 구문; (2) 네 가지 정리(오류 증폭, 순차 패널티, 병렬 가속, 도구 밀도 스케일링)를 포함하는 인식론적 위상으로, 그 정성적 예측이 공개된 다중 에이전트 벤치마크와 일치함; (3) 자율 학습 프레임워크와 실증 문헌의 수렴 프록시에 기반하여 구조에서 발전으로 이어지는 6단계 진행 체계. 1,813개의 테스트와 116개의 예제를 갖춘 참조 구현을 통해 실용적 실현 가능성을 보여준다.
해석 가능성(interpretability) 방법론은 대규모 언어 모델(LLM) 내부에 표현된 특징을 밝히는 것을 목표로 한다. 기존 방법의 대부분은 인간의 편향을 반영할 수 있는 인간 정의 개념의 레이블이 부여된 예시로 시작하여, 활성화 공간이나 다른 분해 방법을 통해 해당 개념이 모델 내에서 어떻게 표현되는지를 식별한다. 우리는 활성화 기하학을 통한 마이닝(MAG, Mining via Activation Geometry)을 소개한다. 이는 모든 입력 $p$에 동일한 자연어 지시 $Q$를 앞에 추가하여 모델 활성화로부터 추론 특징을 추출하는 단순한 비지도 프레임워크로, $Q$는 "이 물체는 사막에서 찾을 수 있는가?" 또는 "이 프롬프트는 악의적인가?"와 같이 관심 있는 추론 특징을 정의한다. 단일 판독 지점에서 $m(Q \mid p) - m(p)$를 사용하여 지시가 모델의 내부 표현을 어떻게 변화시키는지 측정한다. 우리는 여덟 가지 서로 다른 MAG를 탐구한다. 추출된 추론 특징은 모델 자체의 세계 이해 및 판단을 예측하며, 단일 활성화 방향으로 근사될 수 있다. 또한 일부 특징은 더 선형적으로, 일부는 덜 선형적으로 표현된다는 것을 발견하였으며, 벡터 스티어링(vector steering)이라고도 불리는 이 선형 표현은 추론 특징을 주입하는 활성화 스티어링(activation steering)을 통해 LLM의 결정을 변화시킬 수 있다. 마지막으로, 동일한 방법을 사용하여 프롬프트 주입 분류기 프로브(prompt-injection classifier probe)의 최적 학습 데이터셋을 선택한다: 일반 활성화 간 유사도는 다운스트림 성능과 거의 무관한 반면, RFD 기반 유사도는 Top-1 정확도 94.7%, Top-2 정확도 100%를 달성한다.
과학적 방정식 발견은 광범위한 도메인 사전 지식과 엄격한 수치 검증을 결합해야 한다. 기호 회귀(symbolic regression)는 수치적 근거를 제공하지만 조합론적 탐색 공간에 직면하는 반면, 많은 언어 모델 시스템은 모델이 수식을 직접 제안하거나 선택하도록 요청한다. 우리는 다른 역할 분담 방식을 검토한다. 우리는 언어 모델이 방정식 작성자, 후보 결정자, 또는 탐색 제어기 역할을 수행하는 역할 명세를, 종단간(end-to-end) 언어 모델 및 순수 수치 기준선과 함께 비교한다. 여기서 제안하는 제어기 설정인 LLM-PySR에서, 언어 모델은 변수, 연산자, 변환 및 탐색 깊이를 지정하고, 기호 회귀는 표현식을 열거하고 적합시키며, 결정론적 지표가 보존 여부를 결정한다. 74개의 AI-Feynman 방정식과 7개의 복잡한 수식 복원 태스크에 걸쳐, 탐색 제어는 정확도, 복잡도, 안정성 및 비용의 균형에서 가장 강한 성과를 달성했다. 독립적인 배터리 데이터셋에서, LLM-PySR은 초기 전압 곡선 변위와 사이클 수명 사이의 간결한 구간선형(piecewise-linear) 관계를 식별했다. 이 결과는 언어 모델이 어떤 방정식이 살아남을지 결정하는 것보다 가설 탐험을 형성해야 함을 시사한다.
평생 에이전트(lifelong agent)는 더 큰 컨텍스트 윈도우와 더 나은 검색 이상의 것을 필요로 한다. 에이전트에게는 매 턴마다 서빙 스택이 동일한 히스토리를 재연산하도록 강제하거나 오래된 런타임 상태를 무음으로 재사용하지 않고도, 지속되고 진화하며 수정될 수 있는 메모리가 필요하다. 우리는 PLACEMEM을 평생 에이전트 메모리에 관한 시스템 포지션으로 제시하며, 실행 가능한 제어 플레인 프로토타입으로 구체화한다. 핵심 주장은 에이전트 메모리가 의미론, 출처, 유효성, 그리고 재사용 가능한 런타임 상태를 단일 수정 인식 식별자 아래 통합하는 버전 관리 캡슐(versioned capsule)로 표현되어야 한다는 것이다. 현재 프로토타입에서 캡슐은 프롬프트 수준 텍스트 검색, KV 인식 라우팅, 그리고 라이브 스트리밍 백엔드에 대한 연쇄 무효화(cascading invalidation)를 구동한다. 전망적 층-프런티어 재생(prospective layer-frontier replay)은 주장된 엔진 기능이 아닌 심층 통합 과제로 의도적으로 구성된다. 우리는 영속적 캡슐 상태, 동시성 안전 무효화, OpenAI 호환 라우팅 사이드카, 타입 지정 메타데이터 계약, 그리고 라이브 첫 번째 토큰 지연 시간, 재사용, 수정 후 동작을 측정하는 벤치마크 하네스를 갖춘 vLLM 우선 프로토타입을 설명한다. 결과물은 오늘날 수정 인식 제어 플레인 동작을 시연하는 실행 가능한 아티팩트이자, 미래 평생 에이전트 시스템에서 재생 인식 서빙 통합을 위한 구체적인 로드맵이다.
우리는 생성형 AI가 학술적 판단이 형성되고 학문적 신뢰가 구축되는 바로 그 실천들을 잠식함으로써 연구를 저하시킬 수 있다고 주장한다. 지식의 생산과 검증을 위한 구성적 조건으로서, 이러한 실천들은 AI가 그토록 효과적으로 모사하는 연구의 최종 산출물로 환원될 수 없다. 따라서 연구자들이 대규모 언어 모델(LLM)과 같은 시스템에 탐구의 핵심 과제를 위임할 때, 그들은 이러한 실천들을 더 이상 수행하지 않게 되고, 그와 함께 그 실천들이 제공하는 형성적 경험에 대한 접근을 잃어버릴 수 있다. AI가 생성한 개별 연구 산출물은 오히려 개선된 것처럼 보일 수도 있지만, 그 이면의 연구자는 성장에 실패한다. 이러한 위험에 맞서, 인간을 단순히 AI 출력물의 프롬프터나 품질 검토자로서 루프 안에 두는 것만으로는 연구를 지적 형성의 장으로 보존하기에 불충분하다. 대신 필요한 것은 판단이 점진적으로, 종종 마찰을 통해, 그리고 학문 공동체에의 참여를 통해 형성되는 살아있는 실천으로서의 연구에 대한 새로운 헌신이다. 우리가 이를 옹호하는 이유는, 그것이 자동화될 수 없는 연구의 네 가지 원천이자 근거—암묵적 지식, 개인적 헌신, 사회화, 그리고 깊은 읽기—에 기반하기 때문이다. 이 실천은 우리가 제2의 학문이라 부르는 것을 실현하는데, 이는 생성형 AI가 할 수 있는 것과 할 수 없는 것에 대한 비판적 경험으로부터 선택된 학문적 장인정신의 재전유를 의미한다. 위임될 수 없고 위임되어서도 안 되는 것이 바로 연구 공동체가 소중히 여기고 책임져야 할 것이 된다. 이것이 우리에게 남은 것이다.
우리는 대규모 언어 모델(LLM) 서빙에서의 온라인 라우팅 문제를 연구한다. 이 문제에서 요청들은 순차적으로 도착하며, 엄격한 배치 크기 및 KV-캐시 제약 하에 병렬 디코드 워커들에게 배분되어야 한다. 명시적인 서비스 수준 목표(SLO)와 연계되지 않고 지연 시간-처리량 트레이드오프에 대한 제한적인 제어만을 제공하는 기존의 라우팅 휴리스틱과 달리, 우리는 라우팅을 해석 가능한 의사결정 보상을 갖는 온라인 선형 프로그래밍으로 공식화하는 다목적 최적화 프레임워크를 제안한다. 우리는 온라인 선형 프로그래밍에 기반한 효율적인 입찰가 제어(bid-price control) 정책을 적용하여, 요청의 SLO 가중 이익이 쉐도우 가격(shadow price)을 초과할 때 해당 요청을 승인한다. 밀리초 수준의 의사결정 요구사항을 충족하기 위해, 예측 가능한 런타임으로 온라인에서 변화하는 이중 쉐도우 가격을 추적하는 웜스타트 방식의 투영된 1차 업데이트를 개발한다. 우리의 라우터를 Vidur 시뮬레이터에 통합하고, 종단 간 지연 시간, 첫 토큰 생성 시간(time-to-first-token), 처리량, 테일 성능 등 다양한 SLO 체계에서 표준 베이스라인 대비 상당한 성능 향상을 입증한다. 우리 결과의 큰 그림: 과학에 기반한 접근법이 휴리스틱에 기반한 접근법들을 능가한다.
자기 진화(self-evolving) 프레임워크는 일반적으로 주변 하네스(harness)를 고정된 것으로 취급하면서 태스크 솔루션을 최적화한다. 우리는 단일 모델이 멀티턴 행동 공간에서 태스크 솔루션을 생성하거나 선택된 하네스 구성요소를 편집할 수 있는 에이전틱 강화학습(agentic reinforcement learning) 프레임워크인 하네스 인식 자기 진화(HASE)를 소개한다. HASE는 단일 Qwen3-8B 모델이 Claude Code를 하네스 제안자로 사용하는 GPT-OSS-120B 모델의 텍스트 분류 성능에 필적하도록 한다. 알파 팩터 마이닝에서 HASE는 보고된 GPT-OSS-120B 기준선을 능가한다. HASE는 또한 불완전한 평가 구성요소를 수정하고 원 패킹 알고리즘 발견에서 최고 수준의 성능으로 수렴한다. 이러한 결과는 HASE가 하나의 통합된 에이전틱 프로세스를 통해 하네스와 솔루션을 모두 개선함을 보여준다.
대규모 언어 모델(LLM)이 점점 더 긴 출력을 생성함에 따라, 효과적인 불확실성 추정은 전체 응답을 폐기하는 대신 세밀한 수준에서 오류를 식별해야 한다. 이러한 방법들이 존재하지만, 어떤 해상도(토큰 단위부터 전체 생성물)에서든 불확실성을 평가하는 것은 어렵고 레이블 불완전성에 매우 민감하여, 노이즈가 없는 벤치마크가 필수적이다. 그러나 장문 생성 벤치마크는 결정론적 정답보다 오류 가능성이 있는 레이블에 의존하는 경향이 있다. 우리는 Single-answer Atomic Long-form Target(SALT)을 제안한다. 이는 단일하고 결정론적인 긴 텍스트 정답을 가진 여섯 가지 절차적 생성 태스크로 구성된 벤치마크로, 외부 판정자 없이 정확도, 보정(calibration), 랭킹을 단위 수준에서 평가할 수 있게 한다. SALT를 활용하여 50개 이상의 LLM을 분석한 결과 다음과 같은 핵심 인사이트를 발견했다. 각 불확실성 측면을 지배하는 신뢰도 함수를 식별하였으며, 더 거친 라인 수준 단위에서 보다 명확한 분리가 나타나는 경우에도 원자적(atomic) 해상도에서는 신뢰도 랭킹이 크게 붕괴됨을 보였다. SALT는 또한 생성 전반에 걸쳐 원자 수준의 통제된 개입을 가능하게 하여, 미래 오류의 두 가지 분리 가능한 원인을 밝혀낸다. 하나는 전역 컨텍스트 정확도가 지배하는 손상된 접두사로부터의 전파이며, 다른 하나는 증가하는 답변-컨텍스트 길이로 인한 제한된 성능 저하이다. 마지막으로, 사고의 연쇄(Chain-of-Thought) 프롬프트를 통하거나 학습을 통해 내재화된 추론은 트레이드오프를 유발하여 정확도를 향상시키는 반면 신뢰도 랭킹을 저하시킴을 보인다. 이러한 발견들은 신뢰할 수 있는 오류 식별 및 완화를 요구하는 위험 임계 응용 분야에 직접적인 영향을 미친다.
통합 멀티모달 모델(UMM)은 텍스트와 이미지가 인터리브된 추론 능력에서 유망한 성과를 보여주고 있으나, 강화학습(RL)을 통해 이러한 멀티턴 생성을 효과적으로 최적화하는 것은 여전히 해결되지 않은 과제로 남아 있다. 기존 접근법들은 RL을 텍스트 단계에만 적용하고 이미지 생성은 지도 학습 대용 방법에 위임함으로써, 이기종 모달리티에 걸친 전체 인터리브 궤적을 통해 정책 그래디언트가 전파되는 것을 방해한다. 이로 인해 UMM에 대한 RL의 잠재력은 충분히 활용되지 못하고 있다. 본 논문에서 우리는 BRAID(Bridging interleaved multi-modal reasoning as a unified Decision process)를 소개한다. BRAID는 멀티턴 텍스트-이미지-텍스트 추론을 통합 마르코프 결정 과정(MDP)으로 구성하여, 단일하고 원칙적인 RL 목적함수를 통해 텍스트 및 시각 생성을 공동으로 최적화하는 간단한 프레임워크이다. BRAID는 궤적 수준의 공유 어드밴티지를 계산하여 이를 텍스트 토큰과 이미지 디노이징 경로 모두에 일관되게 전파하며, 각각 모달리티 고유의 정책 그래디언트 메커니즘을 통해 최적화된다. 장기 크레딧 할당 문제를 추가로 해결하기 위해, BRAID는 비전-언어 모델(VLM) 판단자를 활용하여 각 중간 이미지의 추론 유용성을 평가하고, 중요한 시각적 분기점에서 학습을 강화하기 위한 밀집 턴 수준의 피드백을 제공한다. 공간 추론 및 시각 지각 벤치마크에서의 실험 결과, BRAID는 다양한 기준 모델들을 일관되게 능가하며, 비전 사고 가이던스를 갖춘 통합 MDP 구성이 효과적인 멀티모달 추론에 필수적임을 확인한다.
대규모 언어 모델(LLM) 에이전트는 장기 대화형 태스크에서 강력한 의사결정 능력을 보여왔지만, 실패한 궤적을 효과적으로 활용하는 데 여전히 어려움을 겪는다: 전체 재시도는 높은 상호작용 비용을 초래하고, 경험 검색은 중요한 경험 신호를 희석시키는 경향이 있다. 이를 해결하기 위해, 우리는 LLM 에이전트의 경험 활용을 위한 자기 피드백 재시도 프레임워크인 PivoARL을 제안한다. PivoARL은 구조화된 반성을 통해 핵심 오류 턴을 식별하고 해당 핵심 상태에서만 로컬 재시도를 수행함으로써, 올바른 접두 문맥을 재사용하고 불필요한 상호작용을 줄인다. 정보 이득 관점에서, 우리는 핵심 재시도가 오류 경계 근처에 유용한 경험 신호를 집중시켜 상태 무관 경험 활용으로 인한 신호 희석을 완화함을 추가로 보인다. 이러한 통찰을 바탕으로, 올바른 접두 문맥에 보상을 부여하는 동시에 오류 있는 접미 문맥을 분리하는 핵심 인식 크레딧 할당 메커니즘을 설계하고, 암묵적 반성 반환을 통해 반성 품질을 최적화한다. 우리는 4개의 에이전트 태스크와 7개의 검색 기반 QA 벤치마크에서 체계적인 평가를 수행한다. 결과는 PivoARL이 모든 태스크에서 Pass@2/3에 걸쳐 유의미한 향상을 달성하며, MetaRL 대비 평균 약 11.5% 향상됨을 보여준다. 나아가, 핵심 턴에 의해 유도된 대조적 선호 신호의 이점으로, PivoARL은 80% 이상의 태스크에서 Pass@1 또한 일관되게 향상시킨다. Minesweeper 환경에서 PivoARL은 GiGPO 대비 45% 이상 향상되고, 전체 재시도 방법에 비해 평균 약 42% 상호작용 턴을 줄인다. 코드는 https://github.com/yuki-younai/PivoARL 에서 확인할 수 있다.
우리는 멀티모달 대규모 언어 모델(MLLM)에 "심상" 시각화를 위한 실행 가능한 메커니즘을 부여하는 시각-기호적 추론 패러다임인 MentalThink를 소개한다. MentalThink의 핵심은 SVG와 함께 생각하는(think-with-SVG) 파이프라인으로, 모델이 다중 턴 추론을 위한 중간 시각적 표현으로서 확장 가능한 벡터 그래픽(SVG) 코드를 생성, 렌더링하고 해석하는 방법을 학습한다. 구조화된 벡터 스케치를 생성함으로써 모델은 공간적 가설을 외재화하고, 결정론적 렌더링을 통해 이를 검사하며, 제한된 기하학적 공간 내에서 추론할 수 있어 인간의 심상(mental imagery) 과정을 효과적으로 모방한다. 우리는 SVG 구문 정렬을 위한 지도 미세조정(SFT)과 중간 시각적 가설의 반복적인 검사, 수정 및 개선을 장려하기 위한 다중 턴 강화학습(RL)을 결합한 2단계 학습 프레임워크를 통해 이 패러다임을 구체화한다. 광범위한 평가를 통해 MentalThink가 공간 이해 및 추론 벤치마크에서 우수한 성능을 달성함(예: VSIBench에서 55.1%, MindCube에서 76.0%)을 입증하며, 실행 가능한 벡터 그래픽이 동적 관점 취득, 시각적 반성, 구성적 장면 구성을 위한 검증 가능한 시각적 작업 공간을 제공함을 보여준다.
프론티어 언어 모델의 사후 학습(post-training)은 선별된 태스크 스위트에서 수행되며, 이로 인해 학습 환경과 배포 환경 사이에 불가피하게 분포 이동(distribution shift)이 발생한다. 이는 개발자를 일반화 실패에 노출시키는데, 이 현상은 아직 충분히 이해되지 않고 있다. 이러한 일반화 실패를 보다 잘 이해하기 위해, 우리는 연구 커뮤니티가 단순화된 조건 하에서 명확한 시연 사례를 구성해야 한다고 본다. 이를 위해, 주어진 학습 태스크 분포에 대해 강화학습(RL)으로 추가 학습 시 제어 가능한 방식으로 일반화에 실패하는 언어 모델을 구성하는 간단하고 유연한 방법을 제안한다. 우리의 구성 방법은 '조건부 정책(conditional policies)' 집합에 해당하는 대화록의 혼합 데이터셋에 대한 지도 미세조정(Supervised Fine-Tuning)을 사용하며, 각 조건부 정책은 서로 다른 태스크 분포에서 독립적으로 특정 행동을 할당받아 '조건부 정책 혼합(mixture of conditional policies)'으로 잘 근사되는 모델을 얻는다. 이후 RL 학습은 학습 분포에서 가장 높은 보상(reward)을 획득하는 정책을 선택한다는 사실을 관찰하였다. 이는 두드러진 행동을 유발할 수 있는데, 동일한 질문 앞에 서로 다른 두 '트리거 문자열'을 붙인 두 분포로 구성된 통제 실험에서, 어느 한 분포에 대한 RL 학습이 기저 태스크가 동일함에도 불구하고 다른 분포에서의 성능을 능동적으로 0으로 저하시켰다. 또한 우리의 구성 방법을 활용하여, 각각 태스크 커버리지와 시간적 컨텍스트의 분포 이동에 해당하는, 미래 언어 모델에서 일반화가 실패할 수 있는 두 가지 새로운 방식을 제시한다. 우리의 구성은 의도적으로 단순하게 설계되었으며 '자연적인' 일반화 실패와 밀접하게 유사하지 않을 수 있지만, 결과로 얻어진 '모델 유기체(model organisms)'는 정렬(alignment) 스트레스 테스트와 일반화 과학에 유용하며, 학습 성공과 일반화가 구조적인 방식으로 분리될 수 있다는 존재 증명으로 활용될 수 있다.
에이전트 AI 시스템은 의사결정 정책을 편집, 개선, 수리하는 데 점점 더 많이 활용되고 있지만, 상태별 전문가 행동 레이블을 사용할 수 없을 때 이러한 편집을 평가하기가 어렵다. 우리는 호텔 가격 책정 시뮬레이터에서 이 문제를 연구한다. 이 시뮬레이터에서 에이전트 정책 편집기는 지역 수준의 진단 피드백만을 받는다: 시간, 재고, 시장 지역에 걸쳐 자신의 가격 분포가 벤치마크 정책과 얼마나 다른지에 대한 요약 정보다. 편집기는 벤치마크 행동, 벤치마크 소스 코드, 보상 수치, 또는 홀드아웃 결과를 관찰할 수 없으며, 목표 행동 테이블에 대한 제약된 편집만을 제안할 수 있다. 5,000개의 홀드아웃 에피소드에서 다중 재시작 LLM 편집기는 RevPAR 108.47 (95% CI 107.61 - 109.34)을 달성하며, 이는 벤치마크 정책의 108.75 (107.81 - 109.68)에 근접하고, 쌍별 격차(LLM 빼기 벤치마크)는 -0.276이며 95% CI는 [-0.692, 0.146]이다. 저렴한 진단 투영이 이미 수익의 상당 부분을 회복하므로(107.90), LLM 편집기의 뚜렷한 이득은 단순한 원시 수익 향상만이 아니다: 에피소드 구성 거리도 1.153에서 0.609로 줄어든다. 이것이 벤치마크 외 수리 결과 중 가장 우수하다. 이 결과는 재시작 탐색만으로는 설명되지 않는다: 최대 2,500회 평가를 수행한 비의미론적 제안자들은 RevPAR에서 8.77 - 14.57점 부족하다. 그렇다고 그럴듯한 프롬프트 형식으로도 설명되지 않는다: 진단을 뒤섞은 통제 조건은 지역-오류 대응을 깨뜨리고 RevPAR 94.30으로 하락한다. 일치는 진실되지만 부분적이다. 트리 편집기는 풀링된 정렬에서 더 강한 성능(0.214 대 0.266)과 참조 상태 D1에서도 더 강한 성능(0.328 대 1.197)을 달성하지만, 수익은 98.91로 하락한다. 이 결과들은 에이전트 정책 수리가 단일 행동 거리가 아니라 진단 피드백이 신뢰할 수 있는 폐루프 결과로 이어지는지 여부로 평가되어야 함을 보여준다.
대규모 언어 모델(LLM)은 학습에서 개인화된 지원을 제공할 수 있지만, 교육 분야에서의 활용에 대한 우려를 제기한 연구들이 다수 존재한다. 중요한 점은, 학습 효과가 학생이 LLM과 상호작용하는 방식에 달려 있다는 것이다. 본 연구는 두 가지 유형의 LLM 기반 튜터가 학생의 프롬프트 작성 방식, 학습, 그리고 이후의 LLM 활용에 어떠한 영향을 미치는지 분석하였다. 대상 튜터는 대화식 질문을 통해 상호작용을 구조화하는 소크라테스식 안내(Socratic-Guidance, SG) 튜터와, 효과적인 프롬프트 작성을 유도하는 프롬프트 개선(Prompt-Refinement, PR) 튜터이다. 연구는 대학원 수준의 모바일 로보틱스 강좌에서 2단계로 진행되었다. 1단계에서는 66명의 학생이 6주간의 중재 기간 동안 SG 또는 PR 튜터를 사용하였고, 2단계에서는 52명의 학생이 3주간의 강좌 프로젝트에서 제약 없는 LLM을 사용하였다. 결과에 따르면, SG 튜터와 PR 튜터는 안내된 사용 기간 동안 과제 수행 및 프롬프트 작성 패턴에서 유사한 결과를 보였으나, 학습 성과와 이후 LLM 활용 방식에서는 차이를 보였다. SG 집단 학생들은 PR 집단 학생들에 비해 후반 세션에서 더 높은 학습 향상도를 달성하였으며, 제약 없는 LLM을 사용할 때 이해 지향적 프롬프트 전략을 채택할 가능성이 높았고, 이는 높은 이해도를 예측하는 요인이었다. 학습자들은 SG 튜터를 덜 효율적이라고 인식하였음에도 불구하고, 본 연구의 결과는 소크라테스식 안내가 시간이 지남에 따라 학생이 LLM을 활용하여 학습하는 역량을 발달시키는 데 기여함을 시사하며, LLM 튜터 설계에서 이의 중요성을 강조한다.