검색-증강 생성(RAG)은 대규모 언어 모델(LLM)을 외부 증거에 기반하게 하지만, 대부분의 파이프라인은 검색된 구절을 결정론적이고 상호 일관된 컨텍스트로 취급한다. 개방형 정보 환경에서 검색된 소스들은 시간적 드리프트, 소스 오류, 모호성, 또는 실제 불확실성으로 인해 서로 상충될 수 있다. 본 논문은 생성 전에 검색된 청크를 확률적 증거로 변환하는 불확실성 인식 RAG 프레임워크 ERAG를 제안한다. 경량 평가기는 후보 주장을 추출하고 청크 수준의 지지를 디리클레(Dirichlet) 증거에 매핑한다. 충돌 보존 뎀프스터-샤퍼(Dempster-Shafer) 융합 규칙은 미해결 불일치를 정규화하여 없애는 대신 인식론적 불확실성으로 전환한다. 생성기는 융합된 불확실성 점수에 따라 직접 응답, 충돌 인식 응답, 또는 기권으로 라우팅된다. CRAG, ConflictQA, MuSiQue에 대한 실험에서 ERAG는 충돌 상황에서의 동작을 개선하면서 표준 질의응답에서 가장 강력한 매칭 기준선과 경쟁력을 유지함을 보여준다. CRAG 모호한 서브셋에서 환각은 Corrective RAG의 45.3%에서 인간 보정 추정치 34.8%로 감소하고, 충돌 해결은 35.2%에서 51.2%로 증가하며, 기대 보정 오류(expected calibration error)는 0.122로 개선된다. 이러한 결과는 증거적 모델링이 파운데이션 모델 기반 검색 시스템에서 신뢰할 수 있는 정보 처리를 위한 실용적인 메커니즘임을 시사한다.
편미분 방정식(PDE)은 과학 및 공학 모델링의 근간이지만, 신뢰할 수 있는 수치 솔버를 구축하는 것은 여전히 노동 집약적이며 이산화 기법, 안정성 조건, 경계 처리에 대한 전문 지식을 요구한다. 최근 연구에서는 PDE 풀이를 대규모 언어 모델(LLM)의 코드 생성 과제로 구성하기 시작했지만, 기존 접근 방식은 주로 추론 시점에서 작동하며 모델 자체를 적응시키기보다는 프롬프팅, 디버깅, 자기 수정, 테스트 시간 스케일링에 의존한다. 동시에, 검증 가능한 보상을 활용한 강화학습이 코드 및 수학 추론을 위한 사후 학습 패러다임으로 부상했지만, 이러한 검증기는 일반적으로 이진적이다: 컴파일러가 실행되거나, 테스트가 통과되거나. 이러한 신호는 과학적 정확성의 등급 구조를 무시하는데, 두 솔버가 모두 실행되더라도 해의 정확도에서 수십 배 이상 차이가 날 수 있다. 본 연구에서는 다중 PDE 솔버 코드 생성을 위한 강화학습 사후 학습 프레임워크인 RLVP(Reinforcement Learning with Verifiable Physics)를 소개한다. RLVP는 하이브리드 검증기로 이 검증 가능성 격차를 해소한다: 엄격한 프로그램 유효성 검사가 실행 가능성을 보장하는 한편, 연속 물리학 보상이 함수 공간 정확도와 PDE 잔차 일관성을 평가한다. 단일 정책이 쌍곡형, 포물형, 타원형, 비압축성 유동 시스템을 아우르는 다양한 PDE 계열에 걸쳐 사후 학습된다. RLVP는 PDE 벤치마크에서 사전학습 및 지도학습 단독 기준 모델 모두를 능가하며, 보류된 PDE에 대한 제로샷 성능 향상 전이를 보여준다. RLVP로 사후 학습된 소규모 LLM이 분포 내 PDE 솔버 생성에서 최첨단 모델을 프롬프팅하는 것보다 우수한 성능을 발휘할 수 있음을 보인다. 학습된 정책은 수치적 모티프에서 조합성의 증거를 나타낸다: 학습에 사용된 PDE로부터 습득한 스텐실, 시간 진행 기법, 경계 처리 기본 요소를 재조합하여 미지의 PDE 문제를 위한 솔버를 생성한다.
컨텍스트 엔지니어링은 모델이 어떤 정보를 이어받을지를 결정하며, 현재의 설계들은 이를 토큰 단위로 계량한다: 과거를 제한된 순환 상태로 압축하거나, 모든 토큰에 대해 키-값 항목을 유지하거나, 윈도우나 축출 규칙을 통해 고정 예산을 부과하는 방식이다. 세 가지 방식 모두 스트림이 중복적이고 태스크가 스트림이 담고 있는 고유 정보에 의존하는 경우에도 토큰을 메모리의 단위로 삼는다. 입력 키가 새로운 경우에만 캐시 슬롯을 열어 메모리가 토큰 수가 아닌 고유 항목 수에 따라 확장되도록 하는 관련 메커니즘 논문을 기반으로, 우리는 해당 신규성 기반 할당(allocate-on-novelty) 캐시를 작업 메모리 구성요소로 발전시키고, 태스크가 과거에 의존하는 방식에 따라 컨텍스트를 구성한다: 회상(recall)으로 전달되는 정보는 내용 주소 지정 방식의 신규성 캐시에, 요약으로 전달되는 정보는 순환 상태에, 지역성으로 전달되는 정보는 최신성 윈도우에 배치된다. 이 주장은 실증적이며 제한적이다. 매칭된 문자 수준 제어 실험에서, 신규성 게이팅 어텐션은 약 절반의 토큰만을 처리하면서 전체 어텐션 수준의 성능에 도달하며, 캐시와 상태공간 요약을 결합하면 해당 절감된 비용으로 전체 어텐션 결합과 동등한 성능을 달성한다; 이 이점은 컨텍스트가 길어질수록 증가하는 반면, 슬라이딩 윈도우는 짧고 지역성이 지배적인 구간에서 더 유리하다. 합성 Medicare 청구 데이터에 대한 다음 코드 예측에서, 결합 구성요소는 천 개 이벤트 수평에서 전체 어텐션 및 모든 고정 예산 축출 정책을 능가하는 반면, 동일 스트림에 대한 비용 예측은 요약으로 전달되어 캐시는 중립적이다. 유지된 메모리는 불투명한 상태가 아니라 템플릿, 코드, 약물 또는 장소의 검사 가능한 테이블이다. 실험은 소규모이며 공개 데이터만을 사용하며, 컨텍스트가 토큰이 아닌 고유 정보에 따라 확장될 수 있고 내용 주소 지정 방식으로 감사 가능한 작업 메모리에서 이를 구현할 수 있다는 기본 원리를 확립한다.
모델 간 비교는 가치 성향의 발산을 언어 모델이 개별화된 가치를 보유한다는 증거로 해석한다. 단일 측정 방식 하에서 이는 두 가지 양을 혼동한다: 중심 경향의 차이(진정한 가치 차이)와 응답 결정론의 차이(모델이 강제 선택에 얼마나 확고하게 응답하는지). 우리는 분리 프로토콜—규칙 없는 가치 딜레마와 역균형화된 반복 강제 선택 측정 및 결정론 지수—과, 명백한 모델 간 거리를 방향 반전 성분(진정한 불일치)과 동측 극단화 성분(우리가 결정론이라 명명)으로 분리하는 결정론 보정 분해를 제안한다. 아홉 개 모델에 걸쳐 결정론은 상당히 다양하게 나타났으며(참여 모델 기준 0.66–0.95), 이것이 모델별 특성인지 아니면 공급자 및 규모를 추적하는지는 우리 방법으로 측정 가능해졌으나 표본의 한계로 미결 상태다. 결정론을 보정하면 명백한 개별화가 축소되는 반면, 일부 계열 간 불일치는 엄격한 검증을 통과한다. 이어서 두 번째 교란 요인인 각 모델을 서비스하는 접근 하네스를 분리한다. 동일 모델들을 원시 공급자 API를 통해 재수집한 결과, 배포 클라이언트가 모델의 가치 프로필을 실질적이고 클라이언트별로 다르게 변화시킴을 발견했다: 한 구독형 CLI는 프로필을 0.31만큼 이동시키고 18개 항목 중 4개를 반전시키며 플래그십 모델의 명백한 유연성을 부풀렸으나(CLI 경유 0.34 vs. 원시 API 경유 0.66), 반면 다른 공급자의 클라이언트는 깨끗하여 공급자 계열이 접근 클라이언트와 혼동된다. 하네스는 가치 형성 층이다: 열 번의 강제 선택 중 하나를 거부하는 기본 모델이 에이전트 시스템 프롬프트에 의해 순응적으로 바뀌며, 이는 화이트박스 제어에서 인과적으로 확립된다. 단일 측정 가치 거리로 모델을 순위 매기는 감사는 결정론이 부풀린 양에 순위를 매기며, 사용된 클라이언트에 의해 추가로 교란된다. 우리는 이 분해를 기여하고 배포 하네스를 별개의 가치 교란 요인으로 식별한다.
대규모 언어 모델(LLM)은 게임 씬을 위한 Unity C#을 작성한다. 그러나 거의 모든 데모는 코드가 컴파일될 때까지 재생성하는 반복 수정 루프에 의존하며, 이는 모델이 작성한 결과와 루프가 수정한 결과를 혼동하게 만든다. 우리는 루프를 제거하고 첫 번째 초안이 최종본인 단일 패스를 평가한다. 이는 모델의 파라메트릭 지식을 고립시키며, 비보조 생성에 대한 가장 엄격한 테스트다. 모델들은 목표 패턴의 플레이어블 대응 개념인 Goal Playable Concepts를 총 10,400회(오픈 웨이트 모델 4개, 7B--30B; 생성 모드 2가지; 중간 표현(IR) 컨디셔닝 레벨 4단계; 목표 패턴 26개; 시드 20개)에 걸쳐 인스턴스화한다. 어떤 것도 실행 가능한 씬으로 컴파일되지 않아 생존 바이어스가 전혀 없다. 생성된 C# 스크립트가 어떻게 실패하는지 이해하기 위해, 90,673건의 컴파일러 오류 발생 사례 뒤에 있는 99개의 오류 코드를 그라운딩(발명되었거나 잘못 사용된 Unity 타입 및 API) 또는 위생(Unity 지식 없이도 식별 가능한 구조적 결함)으로 분류한다. 이 분포는 목표 패턴에 따라 뚜렷이 다르다(예: Stealth는 주로 존재하지 않는 엔진 참조에서, Capture는 순수 C# 구조에서 실패). 더 큰 모델, 더 엄격한 IR, 다른 생성 모드는 오류의 양상을 변화시키지만 컴파일 가능한 씬을 산출하지 못한다. 병목은 누락된 엔진 특화 지식이다. 이 분류는 해당 요구 수준에 따라 목표 패턴의 순서를 제시하며, 설계자에게 단일 패스 생성이 어디서 한계를 드러내는지 보여준다.
후보 추론 체인 풀에서 올바른 답을 선택하는 것은 테스트 시간 스케일링(test-time scaling)의 핵심 엔진이지만, 표준 선택자들은 각각 고유한 비용을 수반한다: 자기 일관성(self-consistency)은 재샘플링하는 단일 모델의 오류를 그대로 이어받고, 학습된 보상 모델은 레이블된 데이터를 필요로 하며 분포 외 환경에서 전이 성능이 저조하다. 우리는 추론 시간에 무료로 얻을 수 있는 세 번째 신호를 연구한다: 교차 모델 합의(cross-model consensus), 즉 독립적으로 학습된 모델들이 각각 한 번씩 문제를 풀었을 때 최종 답에 동의하는 정도이다. 우리는 이 패널을 LLM 심사단(LLM-jury)으로 취급하며, 어떤 모델이 다른 모델을 채점하는 것이 아니라 동의의 구조 자체가 검증 신호가 된다. 7개의 벤치마크에 걸쳐 이 방법은 자기 일관성보다 더 정확한 답을 선택하며, 모델이 자신의 후보를 직접 채점하는 방식보다 훨씬 뛰어난 성능을 보인다: 경시대회 수학에서는 오라클 선택자와의 성능 차이를 완전히 좁히는 반면, 자기 채점은 거의 아무런 차이도 좁히지 못한다. 그 메커니즘은 오류 비상관화(error decorrelation)이다: 독립적으로 학습된 모델들은 서로 다른 방식으로 오류를 범하기 때문에 틀린 답들은 분산되는 반면, 정답은 합의를 축적한다. 우리는 이를 매개변수 없는 법칙으로 정밀하게 규명한다. 이 법칙은 폐쇄형으로 도출되며, 세 가지 측정된 패널 통계로부터 평균 절대 오차 $0.03$으로 합의 정확도를 예측하고, 이 방법의 한계를 드러낸다: 모델들이 공통된 오개념을 공유하는 공유 오류 하한(shared-error floor)이 존재하는데, 이는 수학에서는 거의 0에 가깝지만 과학에서는 무시할 수 없는 수준이다. 판별적(discriminative), 결과 기반(outcome), 생성적(generative) 보상 모델을 포괄하는 4개의 학습된 검증자와 비교했을 때, 무료 LLM 심사단은 수학 학습 도메인 내에서 가장 강력한 검증자에 필적하며, 도메인 외에서는 최고의 선택자이다. 따라서 교차 모델 합의는 사전에 특성화 가능한 검증자이다: 언제 신뢰할 수 있는지를 알려주는 법칙과, 어디서 한계에 이르는지를 표시하는 하한이 함께 제공된다.
회전 위치 인코딩(RoPE)은 현재 현대 언어 모델에서 가장 널리 사용되는 위치 인코딩 방식입니다. RoPE는 쿼리와 키 벡터의 2차원 청크를 상대적 위치 오프셋의 함수로 회전시킵니다. RoPE에서 위치별 회전 속도는 일반적으로 고정된 기본 주파수 하이퍼파라미터로 지정된 등비수열을 따릅니다. 선행 연구들은 이 하이퍼파라미터를 증가시켜 회전을 느리게 하거나 QK 차원의 일부에만 RoPE를 적용하는 방식으로 성능을 개선해 왔습니다. 본 연구에서는 주파수당 스칼라 값을 학습하여 주파수를 하이퍼파라미터가 아닌 학습 가능한 매개변수로 처리함으로써 RoPE를 수정합니다. 우리는 52M에서 2.5B 매개변수에 이르는 언어 모델을 처음부터 학습하는 사다리(ladder) 실험을 통해 Learned RoPE(LeRoPE)를 검증합니다. 고노름(high-norm) 위치적 LeRoPE 밴드의 출현을 관찰하고 분석합니다. LeRoPE는 모든 규모에서 RoPE 및 부분 RoPE보다 일관되게 우수한 성능을 보이며, 가장 큰 규모에서 RoPE가 LeRoPE에 필적하려면 3.4% 더 많은 연산량(FLOPs)이 필요합니다.
대규모 언어 모델(LLM)이 안내하는 진화적 프로그램 탐색은 자동화된 과학적 발견을 위한 강력한 패러다임으로 부상했습니다. 그러나 현재의 접근 방식은 근본적으로 세 가지 병목 현상에 의해 제약받습니다: 구조적으로 맹목적인 부모 선택, 희소한 전체 프로그램 평가 보상, 그리고 탐색 중 적응하지 못하는 정적 변이 연산자입니다. 우리는 긴밀하게 결합된 3-기둥 아키텍처를 통해 이러한 한계를 해결하는 프레임워크인 GAE(Graph-Augmented Evolution)를 제시합니다. 첫째, 관계형 그래프 신경망(GNN)이 프로그램을 타입화된 계산 그래프로 파싱하여 구조 인식 임베딩을 생성합니다. 둘째, 강화학습(RL)으로 최적화된 메타-컨트롤러가 이러한 임베딩을 활용하여 맹목적인 진화적 샘플링을 방향성 있는 정책으로 대체하고, 보상 이력에 기반하여 최적의 부모와 변이 방향을 동적으로 선택합니다. 셋째, 온라인 GRPO 미세조정 루프가 그룹 정규화된 평가 보상을 사용하여 테스트 시간에 LLM 변이 연산자를 지속적으로 업데이트하며, 모델의 생성 분포를 고적합도 구조적 편집에 직접 정렬합니다. 우리는 GAE를 복잡한 비선형 진동자 시스템에 대한 기호 회귀(symbolic regression)라는 도전적인 과학적 발견 과제에서 평가합니다. 확률적 탐색을 방향성 있는 자기 개선 궤적으로 변환함으로써, GAE는 폐쇄형 물리 방정식을 효율적으로 발견하고, 정적 LLM 기반 기준선과 일관되게 동등하거나 더 나은 성능을 보이며, 분포 외(out-of-distribution) 성능에서 최첨단 결과를 달성합니다.
제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.
대규모 언어 모델(LLM)은 사실 지식을 파라미터에 저장합니다. 최근 연구에서 이 지식이 MLP 레이어에 존재한다는 것이 밝혀졌지만, LLM의 사실 저장에 관한 기존 구성적·기계론적 해석 가능성(mechanistic interpretability) 모델들은 LLM이 정보 이론적으로 최적인 비율로 사실을 저장한다는 놀라운 실험적 현상을 설명하지 못합니다. 본 연구에서는 이 현상에 대한 이론적 설명을 제시합니다. 우리는 LLM에서 실험적으로 관찰된 다음 세 가지 속성을 만족하는, 최초의 트랜스포머 호환 사실 저장 MLP 폐쇄형 구성(closed-form construction)을 개발합니다: (i) 최적의 사실 저장 스케일링을 달성하고, (ii) 임의의 입력/출력 기하학을 처리하며, (iii) 트랜스포머 내부에서 작동합니다. 본 연구의 핵심은 기존 연구가 MLP 사실 저장만을 분석한 것과 달리 MLP의 디코딩 마진을 분석한 것입니다. 등방성 임베딩(isotropic embedding) 하에서 우리의 구성은 정보 이론적으로 최적인 저장 용량 스케일링을 달성하며, 동일한 사실 수 기준으로 기존 구성 대비 10~104배 적은 파라미터를 요구합니다. 임의의 키 및 값 임베딩에 대해서는, 임베딩 기하학에 의존하는 패널티 인수를 제외하고 동일한 저장 용량 스케일링을 달성함을 보입니다. 또한 구성된 MLP를 트랜스포머 블록 내에서 사실 재현(recall) 태스크에 활용할 수 있음을 보이며, 동일한 사실 수 기준으로 기존 구성 대비 15~63배 적은 파라미터로 최적 용량 스케일링을 달성합니다. 마지막으로, 개념 증명으로서 사실 저장 MLP가 트랜스포머의 MLP를 새로운 것으로 교체하는 방식으로 모듈식 사실 편집을 가능하게 함을 보입니다.
사이버보안 시스템은 새로운 위협에 신속하게 적응해야 한다. 그러나 새로운 위협 카테고리에 대한 레이블 데이터는 해당 위협이 처음 등장할 때 존재하지 않는다. 일반화된 제로샷 학습(generalized zero-shot learning)은 레이블 예제 없이 보조적인 의미론적 지식을 통해 미확인 클래스를 인식할 수 있게 함으로써 자연스러운 해결책을 제공한다. 대규모 언어 모델(LLM)은 비정형 CTI 보고서를 새로운 위협에 대한 의미론적 프로토타입으로 변환할 수 있어 이 환경에서 특히 유망하다. 그러나 언어 기반 제로샷 학습을 사이버보안에 적용하는 것은 위협 설명 간의 강한 의미론적 중첩, 행동 속성과 텍스트 간의 이질성, 심각한 클래스 불균형, 그리고 학습 중 미확인 위협이 알려지지 않은 오픈셋(open-set) 조건으로 인해 어렵다. 우리는 SMETA-ZSL을 제안한다. 이 모델은 대조적 파인튜닝(contrastive finetuning)을 통해 중첩된 언어 설명으로부터 의미론적 프로토타입을 학습하고, 에피소딕 메타러닝(episodic meta-learning)과 지식 증류를 통해 행동 특징을 정렬하며, 확인된 클래스와 미확인 클래스 전반에 걸친 일반화를 위해 적응적 라우팅(adaptive routing)을 수행한다. 7개의 벤치마크에 걸쳐 SMETA-ZSL은 가장 엄격한 귀납적 설정 하에서 전반적으로 가장 강력한 일반화된 제로샷 분류 성능을 달성하며, 평균 10.8포인트, 최대 18.1포인트의 향상으로 기존 방법들을 능가한다. Github: https://github.com/Security-And-Intelligence-Lab-UTEP/SMETA-ZSL
휴가 렌탈 마켓플레이스는 공급 측에서 구조적 불균형에 직면해 있다: 소수의 숙소가 대부분의 사용자 인터랙션을 차지하는 반면, 신규·틈새·계절성 숙소로 구성된 롱테일은 협업 필터링이 효과적으로 서비스하기에 충분한 행동 신호를 생성하지 못한다. Vrbo에서 아이템 기반 k-최근접 이웃(IBKNN)은 핵심 후보 생성 채널이지만, 수만 개의 숙소에 대해 후보를 생성하지 못하고 인터랙션이 희소한 숙소에 대해 약한 이웃을 만들어낸다. 본 논문에서는 정적 숙소 메타데이터만을 활용하여 IBKNN을 보완하는 학습 없는 LLM 기반 후보 생성 파이프라인을 제안한다. 기성품 LLM이 숙소별로 다양한 의미론적 쿼리를 합성하고, 사전학습된 텍스트 인코더가 이를 임베딩하며, 근사 최근접 이웃 인덱스가 1,170만 개 숙소 카탈로그에서 후보를 검색한다. Union 융합 전략은 행동 채널의 순서를 보존하면서 이를 IBKNN과 병합하고, 잘 서비스되는 숙소에서의 성능 저하 없음을 보장하며, 다운스트림 학습-투-랭크(learning-to-rank) 모델이 융합된 풀을 재점수화한다. 160만 개의 포컬 숙소에 대한 평가에서, 이 시스템은 IBKNN이 도달하지 못하는 수만 개 숙소로 후보 커버리지를 확장하고, 행동 방법이 가장 취약한 롱테일 세그먼트에서 가장 큰 성과를 내며, 공유 숙소에 대해 모든 K에서 IBKNN과 동등하거나 더 나은 성능을 보인다. 다운스트림 학습-투-랭크 단계는 융합된 풀을 더욱 향상시켜, 잘 서비스되는 숙소의 성능을 저하시키지 않으면서 롱테일을 서비스하는 완전한 후보 생성 및 재랭킹 스택을 완성한다. 더불어 Union 융합이 3B 오픈 웨이트 LLM과 프론티어 API 기반 모델 간의 재현율 격차를 27~46%에서 1% 미만으로 좁혀, 마켓플레이스 카탈로그 규모에서 자체 호스팅 소형 모델 배포를 지원함을 보인다.
대규모 자기회귀 언어 모델은 자기수정 맹점(self-correction blind spot)을 보인다: 동일한 오류라도 외부 출처로 귀인될 경우 안정적으로 수정하지만, 자신의 출력에 있는 동일한 오류는 수정하지 못한다. 선행 연구들은 제어된 오류 주입, 오류-깊이 분해, 강화학습(RL) 기반 검증자-수정자 학습, 내재적 자기 검증 등을 통해 이 현상을 경험적으로 기록했지만, 토큰 생성이 해당 오류 탐지 능력을 억제하는 이유에 대한 형식적 모델, 수정 마커에 대한 정량적 활성화 조건, 강화학습 기반 자기수정의 수렴 보장은 제시하지 못했다. 우리는 자기회귀 생성에서의 자기수정에 관한 스펙트럼-대수적 이론인 SPARC로 이러한 공백을 해소한다. 오류 전파 연산자를 잔차 스트림(residual stream) 위 단계별 어텐션 야코비안의 곱으로 정의하고, 맹점은 이 연산자의 스펙트럼 반지름(spectral radius)이 1 이상인 경우에만 발생함을 증명한다. 스펙트럼 반지름의 함수로 주어지는, 수정 마커가 초과해야 하는 엄밀한 활성화 임계값을 도출하여, 단순한 "Wait" 마커로 관측된 맹점 89.3% 감소를 재현한다. 나아가, 검증자-수정자 결합 행렬의 스펙트럼 노름(spectral norm)이 1 미만인 경우에만 RL 기반 검증자-수정자 학습이 샘플 수의 제곱근 대비 결합 강도의 제곱에 비례하는 속도로 수렴함을 증명하고, 이 기준이 잔차 스트림 자기회귀 모달리티 전반에 걸쳐 불변하여 텍스트 대규모 언어 모델(LLM)과 자기회귀 이미지 및 비디오 생성을 통합함을 증명한다. 네 가지 백본과 시각적 자기회귀 프로브에 걸친 실험이 모든 정리를 검증하며, 스펙트럼 예측값은 측정된 맹점 비율과 3.2% RMSE 이내에서 일치한다.
직접 선호 최적화(DPO)는 명시적인 보상 모델링과 강화학습 최적화의 필요성을 제거하기 때문에 대규모 언어 모델(LLM)을 인간의 선호도에 정렬하는 중요한 방법으로 자리잡았습니다. 그러나 성능은 선호도 데이터의 품질에 크게 의존하며, 실제 환경에서의 노이즈가 있는 선호도 데이터는 정렬 성능을 약화시킬 수 있습니다. 이 문제를 해결하기 위해 우리는 이중 수준 최적화(bilevel optimization) 프레임워크를 제안하고, 특정 가정 하에서 이 프레임워크가 깨끗한 데이터에서의 DPO 최적값을 복원할 수 있음을 증명합니다. 또한 비대칭 레이블 플리핑(label-flipping) 노이즈 하에서 학습 가능한 가중 함수에 대한 사전 형태(prior form)를 유도합니다. 고품질 메타데이터를 얻기 어려울 수 있다는 점을 고려하여, 메타데이터가 완전히 없는 경우에도 메타학습을 가능하게 하는 태스크 불가지론적(task-agnostic) 메타 지식 기반 방법을 제안합니다. LLM 메타학습에서 고차 그래디언트의 높은 비용을 줄이기 위해, 중심 차분 근사(central-difference approximation)와 LoRA 미세조정을 결합하여 확장 가능한 학습 체계를 개발합니다. TL;DR 요약과 Anthropic HH 단일 턴 대화에 대한 실험에서 제안된 방법이 다양한 노이즈 비율 하에서 여러 DPO 기준선(baseline) 대비 학습 성능을 향상시킴을 보여줍니다.
기존 에이전트 벤치마크는 주로 태스크 완료, 도구 사용, 또는 스킬 유용성을 테스트하지만, 런타임이 자신의 실행 이력에서 얻은 증거를 재사용 가능한 스킬로 변환하여 작성 오버헤드 이후 새로운 실행을 개선할 수 있는지는 독립적으로 평가하지 않는다. 우리는 반복적이고 픽스처(fixture) 기반 태스크에서의 이 폐쇄 루프(closed-loop) 스킬 학습 문제를 위한 벤치마크인 EvoClawBench를 소개한다. EvoClawBench는 스킬 없이 직접 실행하는 방식, 실행 전 PreSkill을 작성하는 방식, 그리고 첫 번째 실행 증거로부터 PostSkill을 요약한 뒤 새로운 두 번째 실행을 수행하는 방식을 비교한다. 이 스위트는 코딩, 데이터, 오피스, 보안, 운영, 도메인 문서 워크플로우에 걸친 100개의 태스크와 502개의 하위 문제를 포함하며, 여러 에이전트 런타임을 지원한다. 로컬 실행 환경에서 OpenClaw와 nanobot을 이용한 실험 결과, 직접 실행의 기준선 성능은 런타임에 크게 의존하는 것으로 나타났다: OpenClaw는 모든 모델에서 20% 미만을 유지하는 반면, nanobot은 56.45%에서 96.13% 범위를 보인다. 자체 작성 스킬은 혼재된 효과를 나타낸다. nanobot GPT-5.4는 모든 모드에서 96% 이상을 유지하고 MiniMax-M2.7은 PostSkill에서 90.97%에서 94.50%로 향상되지만, nanobot DeepSeek-V4-Pro는 PreSkill에서 77.77%에서 4.80%로, PostSkill에서는 0.99%로 급락한다. OpenClaw도 유사한 비단조적(non-monotonic) 동작을 보이며, 일부 스킬 실행은 기준선에 근접하는 반면 다른 것들은 성능이 붕괴된다. 이러한 결과는 에이전트 자신의 실행 이력으로부터 재사용 가능한 스킬을 학습하는 것이 에이전트 루프에 스킬 작성을 추가함으로써 자동적으로 얻어지는 이점이 아니라, 선택적이고 비용에 민감한 과정임을 나타낸다.
멀티모달 대규모 언어 모델(MLLM)의 기존 안전 메커니즘은 안전성과 유용성 사이의 근본적인 트레이드오프에 직면해 있다. 모델 미세조정은 강력한 안전성을 달성하지만 전반적인 유용성을 저하시킨다. 입력 측 안전 가드레일은 경량 대안을 제공하지만, 무해한 쿼리나 모델이 거부 또는 권고 응답을 통해 안전하게 답변할 수 있었던 질의까지 무차별적으로 차단하는 심각한 과도한 거부(over-refusal) 문제를 겪는다. 우리는 과도한 거부의 근본 원인이 입력 인식(input-aware) 패러다임에 있음을 규명한다: 안전 가드레일이 모델 자체가 안전한 응답을 생성할 능력이 있는지를 고려하지 않고 안전 결정을 내린다는 것이다. 일반적으로 MLLM은 해로운 입력을 무해한 출력으로 변환할 수 있는 내재적 안전 메커니즘을 이미 보유하고 있지만, 입력 측 안전 가드레일이 이 능력을 무력화하여 사용자 경험을 저하시킨다. 이러한 통찰에 기반하여, 우리는 출력 인식(output-aware) 안전 가드레일로의 패러다임 전환을 제안한다. 우리의 방법은 모델의 은닉 상태 공간 내에서 작동하여, 생성이 완전히 이루어지기 전에 다가오는 생성 결과가 안전하지 않을지를 예측한다. 은닉 상태 표현에 대한 다중 인스턴스 대조 학습을 통해 경량 분류기를 학습함으로써, 우리의 접근법은 입력 자체에 위험 요소가 포함되어 있더라도 안전하지 않은 출력으로 이어질 입력과 그렇지 않을 입력을 구별한다. 이를 통해 모델의 실제 응답이 유해할 경우에만 정확한 개입이 가능해진다. 광범위한 실험을 통해 우리의 출력 인식 안전 가드레일이 기존 방법의 안전성 성능과 동등하면서도 과도한 거부를 대폭 줄이고, 모델의 유용성과 내장 안전 능력을 보존함을 입증한다. 코드는 https://github.com/kunzhan/OutGuard 에서 확인할 수 있다.
Attention Residuals는 대규모 언어 모델(LLM)에서 고정된 잔차 합을 이전 서브레이어 출력에 대한 깊이방향 어텐션(depthwise attention)으로 대체하지만, 각 출력을 전체 차원의 키와 값으로 모두 사용합니다. 이는 라우팅과 표현을 결합시키며, 깊이 라우팅 점수가 은닉 너비 $d$에 따라 스케일링되도록 만듭니다. 우리는 저랭크 어텐션 잔차(LR-AttnRes, Low-Rank Attention Residuals)를 제안하는데, 이는 $r \ll d$인 $r$차원 키를 라우팅에 사용하면서 전체 차원의 잔차 값을 유지합니다. Projected LR-AttnRes는 기존 출력 프로젝션에서 학습된 저랭크 키를 생성하여 라우팅을 잔차 콘텐츠로부터 분리하고, 테스트된 변형 중 최상의 검증 손실을 달성합니다. Sliced LR-AttnRes는 각 값의 마지막 $r$ 차원을 라우팅 키로 사용하여 보조 키 프로젝션 경로를 제거하고 잔차 측 FLOPs를 줄이면서도 성능을 향상시킵니다. 포괄적인 스윕 실험을 통해 깊이방향 라우팅이 모델 너비보다 훨씬 적은 차원으로도 효과적일 수 있음을 확인하였습니다. 향후 연구를 촉진하기 위해 코드와 모델을 공개합니다.
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었지만, 고비용의 학습과 정제된 데이터, 보상 신호를 필요로 한다. 최근 연구에서 테스트 시점에 날카롭게 조정된 기반 모델 분포로부터 샘플링하면 RL 이득의 상당 부분을 회복할 수 있음을 보였으나, 기존 방법들은 출력 층의 가능도에만 의존하며 트랜스포머 내부의 순전파 동역학을 무시한다. 우리는 층별 엔트로피 붕괴(entropy collapse)를 내재적 품질 신호로 활용하는 학습 불필요 테스트 시간 방법인 깊이-엔트로피 유도 샘플링(Depth-Entropy Guided Sampling, DEGS)을 제안한다. RL 사후학습 변형을 포함한 더 강력한 추론 모델들이 독특한 "후기 붕괴(late collapse)" 패턴을 나타냄을 관찰한다: 로짓 렌즈(logit-lens)로 디코딩된 엔트로피가 더 깊은 층에 이르러서야 수렴하기 시작하며 그 전까지는 높은 수준을 유지한다. 우리는 시퀀스별 붕괴 깊이 $D(\mathbf{x})$와, 시퀀스 가능도를 이 깊이-엔트로피 구조와 결합하는 결합 목적 함수 $π(\mathbf{x}) \propto p(\mathbf{x})^α\exp(βD(\mathbf{x}))$를 정의하고, 이를 MCMC 파워 샘플링 프레임워크(DEGS-MCMC) 내에서 구현한다. 3개의 오픈-가중치 모델과 4개의 추론 벤치마크에 걸쳐, 후보당 거의 우연 수준에 불과한 이 신호가 샘플링 궤적 전반에 걸쳐 누적되어 학습 불필요 방법 중 최첨단 정확도를 달성하며, 도메인 외부 및 어려운 분할에서 가장 큰 향상을 보인다—이는 정확히 가능도만으로는 부족한 상황이다—단 한 자릿수 퍼센트의 벽시계 시간 오버헤드로 이를 실현한다. DEGS는 GRPO가 학습된 수학 분할에서 자체 GRPO 기준선에 근소하게 못 미치지만, 세 모델 모두에서 GPQA 도메인 외부 성능은 이를 능가하며, 어떠한 학습, 보상 모델, 레이블 데이터도 사용하지 않는다.
모델 증류(distillation) -- 더 강력한 서드파티 모델의 출력으로 학습하는 것 -- 는 성능 향상에 널리 활용되지만, 불공정한 이점 및 정책 위반에 대한 우려를 야기한다. 이는 근본적인 질문을 제기한다: 한 모델이 다른 모델로부터 증류되었는지 탐지할 수 있는가? 우리는 학생 모델(student model)로부터 교사 모델(teacher model)을 단독으로 식별하는 것은 매우 어렵지만, 참조 기반 설정에서는 다룰 수 있음을 보인다: 동일한 계보의 모델과 이전 세대 체크포인트(checkpoint)가 주어지면, 이후 체크포인트의 학습(training)에 사용된 교사 모델을 식별할 수 있다. 우리는 참조 기반 멤버십 추론(membership inference)에 기반한 증류 탐지 방법을 소개한다. 참조 체크포인트 대비 학생 모델이 서로 다른 후보 교사들의 출력과 얼마나 선호적으로 정렬되는지를 비교함으로써, 우리의 방법은 가장 유력한 교사 모델을 식별하고 증류의 증거를 탐지한다. 숨겨진 프롬프트(prompt)와 같은 알려지지 않은 증류 파이프라인을 처리하기 위해, 모델(model) 출력으로부터 직접 프록시 프롬프트 템플릿을 추론(inference)한다. 추가로, o1/o3 모델에 특유한 독특한 글리프(glyph) 수준의 신호를 식별한다. 현대 모델 계보가 이미 심하게 얽혀 있어 증류 탐지를 평가하는 것은 어렵다. 이를 해결하기 위해, 통제된 증류 실험과 실제 모델 모두를 아우르는 하이브리드 평가를 개발한다. 두 설정 모두에서, 우리의 접근법은 기반 증류 파이프라인이 대체로 알려지지 않은 경우에도 단일 교사 증류 시나리오에서 거의 완벽한 정확도로 실제 교사 모델을 복원한다. 나아가 교사 귀속(teacher attribution)과 증류 탐지 모두에 대한 통계적 검정을 도입하고, 후보 중 교사 모델이 반드시 존재하지 않는 오픈 월드(open-world) 설정으로 프레임워크를 확장한다. 우리의 방법을 현대 모델에 적용한 결과, QwQ, DeepSeek-R1, GPT-OSS와 관련된 잠재적 증류 관계에 대한 새로운 증거를 제시한다.
현대적인 코딩 에이전트는 컨텍스트 윈도우에 전체 저장소를 담을 수 있다. 그 대부분의 읽기는 낭비되며, 흥미로운 질문은 에이전트가 얼마나 많은 컨텍스트를 활용할 수 있는가가 아니라 실제로 무엇이 필요한가이다. 우리는 가장 중요한 순간, 즉 에이전트가 코드를 편집해야 할 때 그 질문을 연구한다. 작업 위치를 찾는 것과 실제로 행동하는 것을 분리하여, 오라클로 로컬라이제이션을 고정하고 코드 표현 방식만 변화시키며, SWE-bench Verified에서의 실제 이슈 해결을 기준으로 컨텍스트를 평가한다. 그 답은 극히 최소적이다. 신호는 편집 중인 코드 자체에 있다: 자연어 요약은 소스 코드가 답하는 행동적 질문의 거의 어느 것도 답하지 못하며(4/45 대 27/45, 보류된 저장소, 독립 판정), 이 격차는 요약기가 아닌 표현 방식에서 비롯된다 -- 최첨단 모델의 요약도 30억 파라미터 모델의 요약과 정확히 동일하게 낮은 점수를 기록한다. 주변 컨텍스트도 거의 중요하지 않다: Verified의 모든 멀티 파일 인스턴스에서, 어떠한 데이터도 보기 전에 고정된 프로토콜 하에, 파일의 나머지 부분을 UML 스켈레톤과 시그니처로 렌더링하는 것은 해당 나머지를 완전히 삭제하는 것보다 더 많은 이슈를 해결하지 못했다($N{=}70$, 정확한 McNemar $p{=}0.75$). 이것이 우리의 사전 등록된 가설이었으며, 기각되었다. 한편 압축된 컨텍스트는 토큰의 3분의 1로 전체 파일에 필적하는 성능을 보인다: 해결된 이슈당 컨텍스트 토큰 비용은 94K가 아닌 19K이다. 또한 이 도구는 해당 분야가 주목해야 할 발견을 산출했다: temperature-0 API 추론은 바이트 단위로 동일한 실행 간에 인스턴스별 결과의 약 9%를 반전시킨다. 이는 우리의 것을 포함하여 이 벤치마크에서 보고된 모든 소규모 효과 아래의 노이즈 플로어에 해당한다. 우리는 이 도구를 공개한다 -- 골드 검증 환경, 모든 참조 편집이 각 조건의 컨텍스트로부터 표현 가능함에 대한 인스턴스별 증명, 결정론적 패치 구성, 그리고 귀무 가설을 함께 공개하는 사전 등록된 가설들.