활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.
여러 응답을 샘플링하고 검증기(verifier)를 통과하는 하나의 응답을 유지하는 방식은 대규모 언어 모델(LLM)이 단일 응답 능력 이상의 문제를 해결할 수 있게 하지만, 다수의 배포 환경이 단일 응답으로 답변하는 반면 이러한 탐색(search) 비용은 모든 쿼리마다 반복적으로 지불되어야 합니다. 검증된 응답을 활용한 사후 학습(post-training)은 이러한 탐색의 이점을 모델로 전이할 수 있습니다. 그러나 고정된 예산 하에서 정답 여부만을 기준으로 선택할 경우, 모델이 이미 올바르게 답변하는 문제에 슬롯을 소모하게 되어 오류를 교정하는 데 배정되는 슬롯이 줄어듭니다. 이러한 불균형을 해결하기 위해, 우리는 Pass@K와 Pass@1 사이의 격차, 즉 소스 모델이 단일 응답에서는 실패하지만 K개의 샘플 내에서는 해결하는 문제를 대상으로 학습하는 GapFT를 제안합니다. GapFT는 목적 함수와 학습 예산을 고정한 채 어떤 검증된 응답을 학습에 포함할지만을 변경합니다. 또한 정확한 분해 분석을 통해 결과적인 Pass@1의 변화를 교정된 실패와 소스 모델이 이미 해결했던 문제에서의 성능 퇴행(regression)으로 분리합니다. 세 가지 모델 계열을 대상으로 한 LogiQA 2.0 및 ReClor 실험에서, GapFT는 예산이 일치된 균일 기각 샘플링 미세조정(rejection-sampling fine-tuning, RFT) 대비 모든 환경에서 우수한 성능을 보이며 양의 통합 효과(pooled effect)를 나타냈고, Llama-3.1-8B 및 Mistral-7B에서는 전체 검증된 풀의 11~34% 문제만으로 전체 풀 미세조정 이득의 약 3분의 2에서 5분의 4를 회복합니다. 추가 분석을 통해 이러한 성능 향상은 초기 몇 개의 탐색 샘플로 회복되는 실패 사례에서 비롯되는 반면, 더 깊은 탐색을 통해서만 발견되는 실패 사례는 리플레이(replay)를 대체하여 순이득을 더하지 못한다는 점, 탐색이 도달할 수 없는 정답 레이블(gold-labeled) 실패 사례로 동일한 예산을 채우면 정확도가 떨어진다는 점, 그리고 성능 향상은 탐색이 노출하는 전이 가능한 실패 사례의 수에 의해 제한된다는 점을 밝힙니다.
다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.
베이즈 최적화(Bayesian Optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되지만, 일반적으로 각 고비용 실험을 입력값과 목적함수 값으로만 단순화하여 실험에서 생성되는 많은 정보를 버립니다. 이러한 보조 정보에는 하이퍼파라미터 최적화에서의 학습 곡선, 과학 실험에서의 전문가 노트 및 이미지, 또는 특정 최적화 문제에 대해 알려진 사실 등이 포함될 수 있습니다. 대규모 언어 모델(LLM)이 다양하고 비정형화된 정보를 처리할 수 있는 능력을 활용하여, 본 논문에서는 두 가지 방법을 소개합니다. 즉, 보조 정보를 사용하여 최적값의 위치에 대한 신념을 발전시키는 AuxBO-Evolve와, 보조 정보를 활용해 획득 함수(acquisition function)를 국소적으로 안내하는 AuxBO-Vicinity입니다. 합성 작업, 하이퍼파라미터 최적화 벤치마크, 과학자가 작성한 비정형 로그가 포함된 핵융합 작업 전반에서 제안 방법들은 최적화 성능을 일관되게 향상시키며 표준 BO 및 기존 LLM 기반 접근법들을 능가합니다. 나아가 본 연구는 LLM이 점별(pointwise) 목적함수 값을 모델링하기보다는 유력한 최대화 지점의 위치를 모델링할 때 더욱 효과적인 확률론적 가이드를 제공한다는 점을 밝혀냈습니다. 전반적으로 본 연구 결과는 표준 $(\mathbf{x}, y)$ 상호작용을 넘어선 풍부한 정보를 활용하는 것이 BO 성능을 대폭 향상시킬 수 있음을 입증합니다.
도움이 되면서도 무해한 응답을 제공하기 위해서는 대규모 언어 모델(LLM)에 강력한 안전 가드레일을 통합하는 것이 필수적입니다. 독점 상용 시스템은 신뢰할 수 있는 안전 제어 기능을 보여주지만, 그 기저의 방법론과 트레이드오프는 대부분 공개되지 않았습니다. 사후학습(post-training)을 거친 모델 변형들이 과도한 거부(over-refusal)와 일반적인 품질 저하를 자주 겪기 때문에, 공개 가중치(open-weight) 모델에서 유사한 수준의 보안을 달성하는 것은 지속적인 난제로 남아 있습니다. 이러한 단점을 극복하기 위해, 본 논문에서는 새로운 선호도 최적화 알고리즘인 Suan을 소개합니다. 기존 방법과 달리, 표준 변분 유도(variational derivation) 과정을 우회하여 최적화 목표를 그래디언트(gradient) 수준에서 직접 정식화합니다. 그 결과, 더 해석 가능하고 견고한 학습(training) 역학을 얻을 수 있습니다. 경쟁력 있는 다양한 베이스라인 및 벤치마크에 걸친 광범위한 평가를 통해, Suan이 응답의 유용성을 온전히 보존하면서도 우수한 안전성 정렬(safety alignment)을 달성함을 입증합니다.
원자 구조를 간결한 기하학적 기술자(geometric descriptor) 집합으로 매핑하는 것은 원자 스케일 모델링에 머신러닝을 적용하는 모든 분야에서 필수적인 단계입니다. 강력하고 널리 사용되는 접근법은 쌍 거리(pair distance), 삼각형 등의 히스토그램을 이산화하는 것으로 이해될 수 있으며, 이는 대칭 불변 원자 중심 기술자의 계층 구조로 이어집니다. 안타깝게도 이 계층의 하위 단계(2, 3, 4이웃 클러스터)는 불완전하여 대칭적으로 무관한 구조 쌍이 완전히 동일한 기술자를 갖는 것으로 밝혀졌습니다. 그러나 지금까지 보고된 모든 '축퇴(degeneracy)'는 기술자를 구축할 때 더 큰 이웃 클러스터를 고려함으로써 해결되었습니다. 본 연구에서는 대규모 언어 모델(LLM)의 도움을 받아, 최대 7개의 이웃 클러스터를 고려하더라도 구별할 수 없으며 기술자의 실용적인 이산화 수준을 고려할 때는 임의의 차수까지도 구별할 수 없는 3차원 구조의 예시들을 보고합니다. 이러한 구조 구축의 핵심 요소는 서로 다른 연구 커뮤니티에서 수십 년 동안 알려져 온 결과로 거슬러 올라갈 수 있습니다. 모델은 관련 문헌을 찾아내고 현재 다루는 문제에 대한 그 중요성을 인식할 수 있었습니다. 우리는 이 실험이 과학 분야에서 AI의 매우 유용한 활용 패턴을 보여준다고 믿습니다. 즉, 서로 다른 커뮤니티와 응용 도메인 간의 결과를 연결하여 한 분야에서의 뜻밖의 발견이 다른 분야의 혁신으로 이어지는 과정을 가속화하는 것입니다.
에브리웨어 러닝(Everywhere learning)은 인공지능(AI) 시스템이 데이터 분포 전반에서 확률 1로 손실(loss) 제약조건을 만족하도록 학습(training)되는 새로운 패러다임이다. 이는 평균 손실을 최소화하도록 AI 시스템을 학습시키는 표준 패러다임과 대조된다. 본 연구에서는 경험적(empirical) 에브리웨어 러닝 문제와 통계적(statistical) 에브리웨어 러닝 문제의 해 사이의 근접성을 확립하는 일반화(generalization) 분석을 뒷받침하기 위해 근사 쌍대 이론(approximate duality theory)을 개발한다. 연구 결과는 쌍대 변수(dual variable)가 손실 제약조건을 만족하기 더 어려운 지점을 향해 데이터 분포의 가중치를 재조정하며, 일반화는 데이터 분포의 질량 집중과 제약조건을 만족하기 더 어려운 지점에서의 질량 집중 사이의 불일치에 의해 제어됨을 보여준다. 나아가 제약 완화에 대한 희소 L1 페널티를 통해 일반화를 제어할 수 있음을 보인다. 마지막으로 언어 모델(language model) 태스크를 위한 에이전트 기반 분류(agentic classification) 실험을 통해 에브리웨어 러닝의 장점을 입증한다.
선호도 정렬(preference alignment)은 대규모 언어 모델(LLM)을 개선하는 데 핵심적이지만, 인간의 선호도가 비이행적(non-transitive)일 때 보상(reward) 기반 정식화는 제한적일 수 있습니다. 인간 피드백 기반 내시 학습(NLHF)은 정렬을 선호도 게임으로 모델링하고 내시 균형(Nash equilibrium)을 탐색함으로써 이러한 한계를 해결합니다. 그러나 확장 가능한 NLHF의 학습 이론적 기초는 여전히 제한적입니다. 기존의 후회(regret) 보장은 명시적인 선호도 모델 추정과 미니맥스 오라클(minimax oracle)에 의존하는 반면, 더 단순한 반복적 방법들은 이러한 보장이 부족합니다. 본 연구에서는 온라인 반복적 NLHF를 연구하고 탐험(exploration)을 주요 장애 요인으로 식별합니다. 먼저, 표준 반복적 NLHF가 역 KL 정규화(regularization) 매개변수(parameter)에 대해 지수적 의존성을 유발할 수 있음을 보여줌으로써 정책 업데이트를 통한 암묵적 탐험이 불충분할 수 있음을 입증합니다. 그런 다음 SFT 유형의 정규화와 적대적 정책 탐험을 결합한 탐험적 내시 선호도 최적화(ENPO)를 제안합니다. ENPO는 미니맥스 오라클이나 명시적인 선호도 모델 추정 없이도 이러한 지수적 의존성을 제거합니다. 나아가 추가적인 오라클을 활용하여 $O(\log T)$ 후회 한계를 달성하는 Bonus-Explorer ENPO(BENPO)를 소개합니다. 마지막으로, LLM 미세조정(fine-tuning)을 위한 ENPO의 실용적인 변형인 Direct ENPO(DENPO)를 개발합니다. Llama-3-8B-Instruct를 사용한 실험을 통해 여러 벤치마크 전반에서 평가된 RLHF 및 NLHF 베이스라인 대비 일관된 성능 향상을 입증합니다.
대규모 언어 모델(LLM)이 실제 예측 작업에 점점 더 많이 적용되고 있지만, 사전학습(pre-training) 데이터 오염과 자동화된 검색 과정에서의 미래 정보 누출(look-ahead leakage)로 인해 모델의 진정한 예측 능력을 평가하는 데 여전히 한계가 있습니다. 기존 벤치마크는 정적 컨텍스트에 의존하거나, 좁은 환경으로 평가를 제한하거나, 보조 텍스트 사건에서 발생하는 미래 정보 누출을 감사(audit)하지 못합니다. 엄격한 평가 패러다임을 확립하기 위해, 본 논문에서는 트렌드, 사건, 시계열 예측을 포함하는 사건 증강 예측 작업을 위한 최초의 생동형 벤치마크(living benchmark)인 LEAF를 제안합니다. LEAF는 재귀적 검색 에이전트(agent) 시스템과 이중 에이전트 교차 검증을 결합하여 포괄적이고 관련성이 높으며 시간적으로 정렬된 보조 컨텍스트를 수집합니다. 47명의 도메인 전문가가 500개 작업에 걸쳐 수행한 종합적인 감사 결과, 제안하는 파이프라인이 미래 정보 누출을 8.6%에서 1.6%로 억제함을 보여줍니다. 16개의 프론티어 독점 모델 및 공개 가중치(open-weight) 모델을 대상으로 본 벤치마크에서 광범위한 평가를 수행한 결과, LLM이 검증된 사건으로부터 신호를 효과적으로 추출하여 트렌드 및 사건 예측 성능을 향상시킴을 입증합니다.
대규모 언어 모델(LLM)을 그래프 구조 데이터에 적용할 때는 일반적으로 텍스트 노드(node) 속성을 단일 토큰으로 압축한 뒤 GNN으로 추가 처리하는 다단계 파이프라인이 사용되며, 이 과정에서 대부분의 의미론적 내용이 손실됩니다. 본 논문에서는 사전학습된 LLM이 그래프 위상을 기본적으로 처리할 수 있도록 하여 이러한 병목 현상을 완전히 제거하는 그래프 트랜스포머 언어 모델(GTLM)을 소개합니다. GTLM은 기본 모델 대비 구조 관련 파라미터를 0.015%만 추가하면서 그래프 인식 어텐션(attention) 편향을 LLM의 어텐션 모듈에 직접 주입합니다. 학습(training)은 기본 모델의 LoRA 어댑터와 함께 구조 파라미터만을 업데이트합니다. 본 연구는 양방향 어텐션 접두 문맥(prefix)이 노드에 대해 순열 등변(permutation-equivariant)성을 가지며, 그래프가 없을 때는 GTLM이 사전학습된 모델과 정확히 동일하게 축소됨을 증명합니다. 전역적인 노드 순서가 없는 GTLM은 위치에 따른 성능 저하를 보이지 않으며 중간에서 길을 잃는 현상(lost in the middle)도 겪지 않습니다. 동일하게 학습된 일반 텍스트 기준선(baseline)의 성능이 무너지는 반면, needle-in-a-graph 정확도는 1,000토큰에서 64,000토큰까지, 그리고 학습 길이의 4배를 초과해도 안정적으로 유지됩니다. 포괄적인 평가 결과에 따르면, GTLM은 텍스트 속성 그래프 벤치마크, WebQSP 기반 GraphRAG, 분자 벤치마크에서 도메인 특화 SOTA 모델과 동등하거나 그 이상의 성능을 보였으며, GraphQA에서는 강력한 기준선 대비 유의미한 개선을 달성했습니다. 또한 GTLM의 어텐션 헤드가 암묵적으로 메시지 패싱(message passing)을 시뮬레이션하도록 학습됨을 보여주며, 이는 알고리즘 태스크에서의 강점을 설명합니다. 이러한 결과는 최소한으로 적응된 사전학습 LLM이 그래프 학습을 위한 범용 백본으로 기능할 수 있음을 시사합니다.
본 논문에서는 재귀적 에이전트(recursive agent), 즉 자기 자신의 새로운 인스턴스를 생성하여 하위 작업을 재귀적으로 위임할 수 있는 에이전트를 학습시키기 위한 강화학습 접근법인 재귀적 에이전트 최적화(Recursive Agent Optimization, RAO)를 소개합니다. 재귀적 에이전트는 분할 정복(divide-and-conquer)을 통해 에이전트가 더 긴 컨텍스트로 자연스럽게 확장되고 더 어려운 문제로 일반화될 수 있도록 하는 추론 시점 스케일링(inference-time scaling) 알고리즘을 구현합니다. RAO는 모델이 이러한 재귀적 추론을 최대한 활용할 수 있도록 학습시키는 방법을 제공하며, 에이전트에게 위임 및 소통의 시점과 방법을 가르칩니다. 이러한 방식으로 학습된 재귀적 에이전트는 더 우수한 학습 효율성을 보이고, 모델의 컨텍스트 윈도우(context window)를 넘어서는 작업으로 확장될 수 있으며, 에이전트가 학습된 것보다 훨씬 더 어려운 작업으로 일반화될 수 있을 뿐만 아니라 단일 에이전트 시스템에 비해 총 소요 시간(wall-clock time)을 단축할 수 있음을 확인했습니다.
에이전트 파이프라인에 배포된 학습 기반 분류기는 근본적인 신뢰성 문제에 직면합니다. 예측은 검증된 결론이 아닌 확률적 추론이며, 관찰 가능한 증거에 기반한 그라운딩(grounding) 없이 이를 바탕으로 동작하면 다운스트림 단계 전반에서 복합적인 실패가 발생합니다. 소프트웨어 취약점 분석은 이러한 비용을 구체적이고 측정 가능하게 만듭니다. 본 연구에서는 엄격한 불변 조건(exploitability에 대한 실행 기반 확인 없이는 어떠한 수정 조치도 취하지 않음)에 의해 관리되는 세 가지 대규모 언어 모델(LLM) 기반 추론 단계—하이브리드 구조-의미론적 탐지, 실행 기반 에이전트 검증, 검증 인식 반복 수정—를 중심으로 구축된 통합 다국어 취약점 수명 주기 프레임워크를 통해 이 문제를 해결합니다. 다국어 일반화는 Java, Python, C++를 공유 구조 스키마로 정규화하는 범용 추상 구문 트리(uAST)와 학습된 양방향 게이팅을 통한 GraphSAGE 및 Qwen2.5-Coder-1.5B 임베딩의 하이브리드 융합을 통해 달성되며, 샘플별 가중치는 추가 비용 없이 본질적인 설명 가능성을 제공합니다. 이 프레임워크는 89.84-92.02%의 언어 내 탐지 정확도와 74.43-80.12%의 제로샷(zero-shot) 다국어 F1 점수를 달성하며, 12.27%의 총 실패율로 취약점의 69.74%를 엔드투엔드로 해결합니다. 소거 연구(Ablation)를 통해 필수성을 입증했습니다. uAST를 제거하면 다국어 F1이 23.42% 저하되며, 검증을 비활성화하면 불필요한 수정이 131.7% 증가합니다. 이러한 결과는 실행 기반 폐루프 추론이 신뢰할 수 있는 LLM 기반 에이전트 AI를 위한 원칙적이고 실질적으로 배포 가능한 메커니즘임을 보여줍니다.
언어 모델(LM) 에이전트는 도구 호출 실행에 실패한 후 스스로 복구할 수 있는 것처럼 보일 때가 많지만, 이러한 동작에는 공식적인 설명이 부족합니다. 본 연구에서는 복구 가능성이 측정 가능한 법칙을 따른다는 점을 보여줌으로써 이러한 격차를 해결하는 예측 이론을 제시합니다. 구체적으로, 확률적 실행 노이즈 하에서 최적 정책으로부터 복구 정책이 벗어나는 정도를 정량화하는 기대 복구 후회(ERR, Expected Recovery Regret)를 통해 복구 가능성을 공식화하고, ERR과 실증적으로 관찰 가능한 양인 효율성 점수(ES, Efficiency Score) 간의 1차 관계식을 도출합니다. 이를 통해 도구를 사용하는 에이전트의 복구 역학에 대한 반증 가능한 1차 정량적 법칙을 얻을 수 있습니다. 통제된 섭동, 진단적 추론, 실제 API를 아우르는 5개의 도구 사용 벤치마크 전반에서 이 법칙을 실증적으로 검증했습니다. 모델 규모, 섭동 체계, 복구 범위 전반에 걸쳐 ERR-ES 법칙에 따른 예측 후회는 몬테카를로 롤아웃으로 측정한 실패 후 관찰된 후회와 delta <= 0.05 이내로 긴밀하게 일치했습니다. 연구 결과는 복구 가능성이 모델 규모나 아키텍처의 단순한 부산물이 아니라 상호작용 역학의 지배를 받는 특성임을 밝혀내며, 언어 에이전트의 실행 수준 강건성을 위한 이론적 토대를 제공합니다.
최근 대규모 언어 모델(LLM)의 발전은 상당한 비중의 계산 자원을 학습 시간에서 추론(inference) 시간으로 재배치하는 데서 비롯되는 이점을 보여주었습니다. 그러나 추론 시간 스케일링(scaling)의 배후에 있는 원리는 아직 잘 이해되지 않았습니다. 본 논문에서는 LLM-as-a-judge 시나리오를 모델링하여, 선형 모델로부터 보상(reward)이 결정되는 보상 가중치 샘플러 기반의 베이즈 선형 회귀라는 추론 시간 스케일링의 해석적으로 다루기 쉬운 모델을 도입합니다. 우리는 결정론적 등가물(deterministic equivalents)이 사후 예측 평균과 분산에 대한 닫힌 형식 표현(closed-form expression)을 결정하는 고차원 영역에서 이 문제를 연구합니다. 교사 모델(teacher model)로부터 학습 데이터가 샘플링될 때의 일반화 오차를 분석합니다. 우리는 $k$개의 추론 시간 샘플을 추출하고 이차 보상에 적용된 온도(temperature)에서의 소프트맥스(softmax)를 통해 선택합니다. 보상이 교사 모델과 크게 다르지 않을 경우, 일반화 오차는 추론 시간 샘플 수 $k$가 증가함에 따라 단조 감소합니다. 그러나 추론 시간 선택을 최적화하는 특정 보상은 일반적으로 교사 모델과 다릅니다. 대조적으로, 보상 오지정(misspecification)이 상당할 경우 유한한 최적 $k$가 유도되며, 이를 넘어서는 추가 샘플링은 일반화 오차를 증가시킬 수 있습니다. 고정된 $k$에 대해 최적의 샘플링 온도가 존재합니다. 우리는 추가적인 대규모 언어 모델을 판정자(judge)로 사용하는 대규모 언어 모델 추론에서 이러한 사실들을 실험적으로 검증합니다. 교사 모델을 보상으로 사용하는 "best-of-$k$" 극한에서, 일반화 오차가 $Θ(1/k^2)$으로 감쇠함을 이론적으로 보이고 극값 이론(extreme value theory)을 통해 최고차 계수를 결정합니다. 이러한 공식들은 추론 시간 연산을 스케일링하는 것이 더 많은 데이터를 수집하는 것보다 증명 가능하게 유리한 영역을 명확히 보여줍니다. 마지막으로, 과제 난이도가 높아질수록 앞서 언급된 추론 시간 연산의 이점이 감소함을 입증합니다.
대규모 언어 모델(LLM)은 법률 실무, 교육, 연구를 지원하는 데 점점 더 많이 활용되고 있지만, 미국 이외의 국가 법률 체계에서 이들의 신뢰성은 대부분 문서화되지 않은 상태로 남아 있습니다. 본 연구에서는 콜롬비아 법률 체계에 대한 LLM 신뢰성을 평가하기 위한 전문가 검증 벤치마크를 소개합니다. 이 벤치마크는 다단계 전문가 검토를 거친 인간 참여형(human-in-the-loop) 파이프라인을 통해 구축되었으며, 10개 법률 분야와 3가지 질문 형식(폐쇄형 객관식, 반개방형, 개방형 IRAC)에 걸친 1,042개 문항으로 구성됩니다. 우리는 형식에 적합한 지표를 사용하여 15개의 최신 상용 및 공개 가중치(open-weight) 모델을 평가합니다. 폐쇄형 질문의 정확도는 0.905(Gemini 3.1 Pro)부터 0.577까지 큰 폭의 차이를 보였으나, 자유 서술형 법률 답변의 경우 모든 모델에서 사실적 정확성이 0.45(0-1 척도 기준)를 넘지 못했습니다. 우리는 답변 관련성과 정확성 사이의 괴리(Spearman rho = -0.46)를 발견했습니다. 즉, 모델들은 질문에 부합하게 그럴듯하게 응답하면서도 실제로는 틀리는 경우가 잦았으며, 이는 특히 비전문가 사용자에게 우려되는 패턴입니다. 폐쇄형 질문 정확도와 자유 서술형 정확도는 순위 상관관계가 매우 높아(rho = 0.94), 비용이 적게 드는 객관식 스크리닝으로 모델 순위를 예측할 수는 있지만 절대적인 신뢰성은 과대평가되는 것으로 나타났습니다. 루브릭 기반의 독립적인 LLM 판정관과 블라인드 인간 전문가 점수 산정 모두 자유 서술형 순위를 재현했습니다(rho >= 0.88). 판정관 분석 결과, 모델이 인용한 법규범 중 약 절반만이 정확했으며 나머지는 부정확하거나 존재하지 않는 것으로 추가 확인되었습니다. 신뢰성은 법률 분야에 따라 체계적으로 차이를 보였으며 질문 복잡도에 따라 역U자형(inverted-U) 추세를 따랐습니다. 본 연구 결과는 현재의 LLM이 콜롬비아 법률 업무에 활용되려면 전문가의 감독이 필요하며, 권위 있는 출처에 답변을 그라운딩(grounding)하는 것이 신뢰성을 높이기 위한 유망한 방안임을 보여줍니다. 재현 가능한 평가를 지원하기 위해 벤치마크 구축 파이프라인을 공개합니다.
과학 장치 설계는 채점 기준에 논란의 여지가 없다면 언어 모델 에이전트가 물리를 단순히 기억해내는 대신 직접 수행할 수 있는지를 시험합니다. 저희는 저희가 아는 한 중성자 장치 설계를 위한 최초의 실행 가능한 환경인 NeutronGym을 소개합니다. 에이전트는 검증 도구를 통해 장치를 구축하고, McStas가 구축된 대상을 광선 추적(ray-tracing)하며, 단계별 사다리형 체계가 LLM 판별자(judge) 없이 구문, 런타임, 구조 및 과학적 타당성을 채점합니다. 절차적 패밀리(procedural families)는 에이전트가 설정해야 하는 설계 매개변수를 가진 고정 레이아웃의 무제한 인스턴스를 미공개(held-out) 매개변수 영역과 함께 제공하며, 선별된 부분 집합인 McStasBench는 암기 탐침(memorization probe) 및 샌드박스 뒤에 출판된 장치로부터 도출된 16개 태스크를 추가합니다. 7개 모델은 16개 중 최대 7개만 재현했고, 참조 설계를 검색해낸 모델은 없었으며, 개선 목표를 달성한 모델도 없었습니다. 이 환경은 학습에도 활용될 수 있습니다. 해당 환경의 보상에 대한 강화학습(RL)을 통해 Qwen3-8B는 숨겨진 설계에서 목표가 도출된 패밀리의 미공개 인스턴스에서 성능이 11%에서 77%(두 번째 시드에서는 69%)로 향상되어 학습되지 않은 Qwen3-32B를 능가했으며, 이 방법론은 각각 1개의 시드에서 추가적인 3개의 게이트 패밀리에서도 유효하게 유지되었습니다. 분석을 통해 이러한 성능 향상의 실체를 밝힙니다. 사다리형 평가 체계의 부분 점수가 없으면 성능은 60포인트 급락합니다. 보상만으로 학습된 모델은 에이전트의 시뮬레이션 예산 내에서 닫힌 형태(closed-form)의 물리 공식이 주어졌을 때에만 고전적 옵티마이저가 도달하는 수준에 도달하며(81% 대비 77%로, 이 규모에서는 유의미하게 갈리지 않는 격차), 프론티어 모델은 여전히 98~99%를 해결합니다. 신뢰할 수 있는 결과를 얻기 위해 모델 없는 베이스라인으로도 해결할 수 있었던 4가지 태스크 설계를 제외해야 했으며, 이를 찾아낸 탐침을 함께 공개합니다.
점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.
사고의 연쇄(Chain-of-Thought, CoT) 추론은 인간이 대규모 언어 모델(LLM)이 답변을 도출하는 과정을 점검하고 모델의 동작을 감독할 수 있게 해줍니다. 그러나 이러한 추론은 추론(inference) 비용 증가를 수반하므로, 모델이 더 적은 토큰을 사용하여 문제를 해결하도록 훈련시키는 효율적인 방법들이 주목받고 있습니다. 하지만 이러한 학습(training)으로 인해 모델이 중요한 추론 단계를 건너뛰게 되어 CoT가 더 이상 모델의 결정을 충실하게 반영하지 못할 수 있다는 우려가 흔히 제기됩니다. 효율화 방법마다 모델의 CoT에 길이 압박을 가하는 방식이 다르고, 모델의 결정을 충실하게 설명하는 데 필요한 토큰 수가 태스크에 따라 다르기 때문에 실제로 이러한 현상이 발생하는지, 혹은 언제 발생하는지는 불분명합니다. 이러한 역학을 이해하기 위해, 우리는 길이 압박을 서로 다르게 적용하는 세 가지 방법(고정된 생성 예산, 예시별 길이 목표, 그룹 상대적 길이 보상(reward))을 사용하여 다양한 모델을 파인튜닝(fine-tuning)합니다. 그리고 효율적 추론이 CoT 충실도(즉, CoT가 관련 입력에 대한 모델의 결정을 얼마나 잘 반영하는지)와 모니터링 가능성(즉, 입력 개입이 출력을 변경할 때 CoT가 이를 드러내는지 여부)에 어떤 영향을 미치는지 평가합니다. 그 결과, 이것이 충실도와 모니터링 가능성에 서로 다르게 영향을 미친다는 점을 발견했습니다. 충실도는 대부분의 설정에서 하락하는데, 이는 주로 학습된 모델의 일관성이 떨어지기 때문입니다. 반면 모니터링 가능성은 더 견고하여, CoT가 훨씬 짧아지더라도 모델은 자신의 답변에 미친 영향을 계속해서 드러냅니다.
대규모 언어 모델(LLM) 에이전트는 작업자가 다양한 역할을 수행하는 산업 유지보수 및 장비 고장 문제 해결과 같은 고위험 환경에 점점 더 많이 배치되고 있습니다. 따라서 유능한 에이전트는 사용자의 역할에 맞춰 보정된 방식으로 행동해야 하며, 해당 역할의 지식 및 역량 경계를 존중하는 행동을 취하고 정보를 제공해야 합니다. 실수를 일반적으로 복구할 수 있는 코딩과 달리, 이러한 환경에서의 에이전트 반응은 물리적 장비에 적용되므로 되돌릴 수 없는 장비 손상, 생산 손실 또는 인명 피해를 초래할 수 있습니다. 그러나 기존 벤치마크는 에이전트가 역할의 의도를 추론하고 해당 역할이 정당하게 사용할 수 있는 도구를 통해서만 행동해야 하는 필요성을 크게 간과하고 있으며, 본 연구에서는 이러한 역량을 관점 인지(Perspective Awareness)라고 정의합니다. 이를 위해 동일한 질의에 대해 사용자의 역할에 따라 에이전트가 다르게 행동해야 하는 150개의 전문가 검증 항목으로 구성된 벤치마크인 ReFract를 소개합니다. ReFract의 항목은 도메인 지원 대화의 익명화된 질의를 기반으로 하며, 이를 바탕으로 에이전트의 운영 환경을 시뮬레이션하고 관점을 인지하는 행동 궤적을 구성하는 텍스트 세계 모델(Text World Models)을 구축합니다. 최신 LLM은 최대 69%의 작업만을 해결하며, 이들의 궤적 중 50% 이상에는 관점을 위반하는 행동을 시도하는 내용이 포함되어 있습니다. ReFract는 관점 인지가 에이전트 평가의 독특하고 대체로 해결되지 않은 축임을 드러내며, 어떻게 행동해야 할지뿐만 아니라 누구를 위해 행동해야 하는지를 조율하는 에이전트의 필요성을 환기합니다.
복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.