언어 모델(language model)의 활성화(activation)로부터 진실을 디코딩하는 선형 프로브(linear probe)는 기만 탐지 모니터로 제안되어 왔으며, 기만하도록 학습(training)된 모델에서 진실 프로브의 점수가 무작위 확률(chance) 이하로 나오는 것은 모델이 진실을 숨겼거나 표현하는 것을 멈췄다는 증거로 자연스럽게 해석됩니다. 우리는 적합 레이블(fitting-label)의 모호성이 동일한 판독 결과를 만들어낼 수 있음을 보여줍니다. 통제된 게임에서 모델은 아군에게는 비밀 비트를 보고하고, 라이벌에게는 그 보수(complement)를 보고해야 합니다. 순응적(아군) 문맥에서는 실제 비트와 과제가 규정한 답변이 동일한 레이블이 되므로, 그곳에 적합된 프로브는 둘 중 어느 것을 측정하는지 구별할 수 없습니다. 우리는 이러한 완전한 일치를 완전한 앨리어싱(perfect aliasing)이라고 부릅니다. 이 레이블들은 라이벌 문맥에서는 서로 보수 관계이므로, 각각에 대해 평가된 하나의 아군 적합 프로브는 합이 1이 되는 라이벌 AUROC를 갖습니다. 아군 및 라이벌 문맥을 함께 사용하는 혼합 적합(mixed fitting)은 두 레이블을 다르게 만듭니다. 또한 무작위화된 출력 코드북은 규정된 답변을 출력 글자로부터 분리합니다. 평가된 모든 라이벌 시행에서 거짓으로 답하는 보상(reward) 학습된 Gemma-2-9B 정책의 경우, 아군 적합 프로브는 마지막 층(layer)에서 $0.006 \pm 0.005$ AUROC(3개의 강화학습 시드에 대한 평균 $\pm$ 표본 표준편차)를 기록하는 반면, 혼합 적합 프로브는 동일한 홀드아웃(held-out) 활성화에서 1.000을 기록합니다. 혼합 적합은 또한 더 많은 예제와 레이블이 지정된 라이벌 데이터를 사용하므로, 이는 실제 비트가 선형적으로 복구 가능한 상태로 남아 있음을 보여줄 뿐, 레이블을 분리한 것만으로 성능 향상이 완전히 설명된다는 것을 의미하지는 않습니다. 지시(instructed) 모델인 Llama-3.1-8B에서는 한 프롬프트(prompt) 변형에서 재적합된 프로브와 참조 변형에서 고정된 프로브 모두 홀드아웃 아군 정확도가 1.000이지만, 동일한 시행에 대해 라이벌 진실 AUROC는 각각 0.080과 0.986을 보입니다. 우리의 주요 실험은 프롬프트에 비트를 명시하는 단일 토큰(token) 게임을 사용하므로, 복구된 방향은 유지된 비트의 복사본을 읽는 것일 수 있습니다. 모델이 비트를 추론해야 하는 경우, 테스트된 어떤 조건에서도 안정적으로 기만하지 못했습니다. 우리는 모델이 해당 정보를 사용하는지가 아니라, 프로브가 무엇을 측정하는지를 연구합니다.
대규모 언어 모델(LLM)은 드물지만 심각한 유해 생성이 중대한 결과를 초래할 수 있는 환경에 점점 더 많이 배포되고 있습니다. 기존의 위험 회피형 인간 피드백 강화학습(Risk-Averse RLHF)은 조건부 가치평가 위험(CVaR)을 최적화하여 이 문제를 다루지만, 고정된 위험 수준에 맞춰 정책을 학습하므로 추론(inference) 시점에 원하는 위험 회피 수준을 조정할 수 없습니다. 본 논문에서는 연속적인 위험 제어 인터페이스를 제공하는 단일 정책을 학습하여, 사용자가 여러 위험별 모델을 재학습하거나 배포할 필요 없이 서로 다른 위험 회피 정도를 선택할 수 있도록 하는 프레임워크인 위험 조건부 RLHF(risk-conditioned RLHF)를 제안합니다. 여러 벤치마크에 걸친 실험을 통해 단일 위험 조건부 정책이 추론 시점에 다양한 위험 수준에 적응할 수 있음을 입증하며, 이를 통해 더 유연하고 위험을 인식하는 LLM 배포가 가능함을 보여줍니다.
리더보드에서의 미세한 격차는 종종 한 언어 모델(language model)이 다른 모델보다 우수하다는 증거로 해석되지만, 그 우열의 부호(방향)는 어떤 벤치마크 문항이 포함되는지에 따라 달라질 수 있습니다. 본 연구에서는 5개 벤치마크의 문항 수준 응답과 패밀리 라벨이 필요 없는 다차원 문항 반응 이론(MIRT)의 스펙트럼 근사를 활용하여 이를 검증합니다. 소유자 기준 서로소 분할(owner-disjoint fold)에서, 소유자 절반은 모델 패밀리 전반에 걸쳐 잔차 차별 문항 기능(DIF)이 낮은 문항(low-DIF)을 식별합니다. 이렇게 선별된 문항은 메타데이터 정의 문항 그룹 및 난이도 계층에 걸쳐 벤치마크 구성을 보존하는 고정 가중치를 통해 나머지 절반의 모델을 평가하는 데 사용됩니다. 동일하게 짧은 매칭 무작위 하위 테스트는 문항 하위 표본 추출로 인한 변동에 대한 기준선(baseline)을 제공합니다. 전체 벤치마크 순위와 low-DIF 순위는 강한 상관관계($τ_b=.900$--$.948$)를 유지합니다. 그러나 5개 벤치마크 중 4개에서 초기에 1%포인트 이내 격차였던 교차 패밀리 쌍의 30.9--47.1%가 순위 역전을 보였으며, 이는 매칭 무작위 중앙값을 16.9--28.6%포인트 초과했습니다(모두 $p=.001$). 5번째 벤치마크는 유의미한 초과를 보이지 않았습니다($-0.9$포인트, $p=.689$). 이러한 패턴은 사전 지정된 모든 모집단 섭동에서도 유지되었으며, 잔차 문항-패밀리 시그니처는 소유자 절반 간에 복제되었습니다. 그러나 어떤 패밀리도 벤치마크 전반에 걸쳐 일관된 우위를 보이지는 않았습니다. 따라서 전역적으로 안정적인 순위일지라도 개별적인 근소한 순위는 여전히 벤치마크 구성에 민감할 수 있으며, 1%포인트 미만의 리더보드 격차는 내포된 순위가 구성에 견고하다는 증거와 함께 제시되어야 합니다.
쇼핑을 AI 에이전트(agent)에 위임할 때, 인간에게서 확인된 순위 우위가 지속되는지는 불분명합니다. 다섯 가지 대규모 언어 모델(LLM)과 다양한 추론 노력(reasoning effort) 수준을 적용한 7,000건의 세션에 걸쳐, 본 연구는 AI 에이전트를 인간 현장 데이터와 비교합니다. AI 에이전트는 인간 소비자보다 더 광범위하게 탐색합니다. 인간과 마찬가지로 낮은 순위의 항목일수록 검토될 가능성이 낮지만, 이러한 효과는 AI 에이전트에서 더 작게 나타납니다. 인간과 달리 AI 에이전트는 중간 순위 항목의 검토 확률이 가장 낮은 '중간 소실(lost-in-the-middle)' 효과와 일치하는 패턴을 보입니다. 선택 단계에서 위치 효과는 낮은 추론 노력에 집중되지만, 높은 노력은 이를 보이는 모든 LLM에서 중간 패널티를 감소시킵니다. 이러한 결과는 탐색이 위임될 때 게재 위치보다 표시된 속성이 더 중요할 수 있으며, 위치 바이어스(position bias)에 대한 노출 여부는 AI 에이전트의 구성 방식에 따라 달라짐을 시사합니다.
대규모 언어 모델(LLM) 에이전트는 외부 API, GPU 및 서버, 그리고 배포 및 승인과 같은 워크플로를 포함한 고가치 자원에 점점 더 많이 연결되고 있습니다. 기존 에이전트 보안 연구는 주로 정보 및 에이전트 동작에 대한 공격에 초점을 맞추고 있으며, 고가치 자원 자체는 공격 대상으로서 상대적으로 덜 주목받았습니다. 저자들이 아는 한, 본 연구는 공격자가 고가치 자원이나 그 자격 증명을 직접 획득하지 않고도 에이전트를 유도하여 자신의 목표를 위해 해당 자원을 사용하도록 만드는 에이전트 자원 하이재킹(resource hijacking)을 최초로 규명하고 체계적으로 연구합니다. 본 연구는 6가지 범주의 고가치 자원을 다루는 실행 가능한 벤치마크이자 자동화된 사례 생성 파이프라인인 ResourceHijackBench를 소개합니다. 이는 300개의 공격 시나리오와 900개의 공격 프롬프트를 포함하며, 각 케이스는 실제 자원 사용을 기록하는 격리된 로컬 환경에서 실행됩니다. 자원 하이재킹은 4개의 모델 백엔드 전반에서 평균 공격 성공률(ASR) 70.0%에서 89.6%를 기록하며 여전히 유효함을 보였고, OpenClaw에서 평균 ASR 84.1%, Codex에서 72.3%를 기록하며 2개의 에이전트 하네스 전반에서도 나타났습니다. 쌍체 비교에서 자원 하이재킹은 4개 모델 백엔드 전반에서 직접적인 자원 획득보다 62.4에서 84.0퍼센트포인트 더 높은 ASR을 달성했습니다. 실제 환경에서의 실험 또한 자원 하이재킹의 실질적인 유효성을 입증합니다. 저자들이 평가한 세 가지 기존 방어 기법 중 가장 낮은 평균 ASR조차 여전히 55.1%에 달했습니다. 나아가 저자들은 모델 기반 자원 사용 추출과 신뢰할 수 있는 요청자 신원 메타데이터 기반의 결정론적 정책 적용을 결합한 실행 전 자원 인가 방어 기법인 ResGate를 제안하며, 이를 통해 OpenClaw에서의 평균 ASR을 23.6%로 낮췄습니다. 이러한 결과는 직접적인 접근을 방지하는 것만으로는 공격자를 대신하여 에이전트가 여전히 사용할 수 있는 자원을 보호하기에 충분하지 않으며, 명시적인 자원 인가가 이 위험을 줄이는 데 도움이 될 수 있음을 보여줍니다.
장기 호라이즌(long-horizon) 에이전트는 점점 더 KV 캐시를 메모리로 재사용하고 있으며, 서빙 시스템은 캐시된 항목의 일부만 유지하고 나머지는 제거(eviction)합니다. 따라서 축출 및 에피소드 메모리 방식은 거의 직접 검증되지 않은 전제, 즉 이벤트를 생성한 관측(observation)이 사라진 뒤에도 보존된 이벤트가 여전히 유용한 정보를 담고 있다는 전제에 의존합니다. 우리는 다른 조건이 동일한 에이전트 이력에서 서빙되는 내용 중 이전 관측 하나를 생략함으로써 이를 직접 검증합니다. 해당 관측에 민감한 항목들 중에서, 서빙된 텍스트 구간(span)에 어떤 값이 올바른지 명시되어 있지 않음에도 답은 압도적으로 생략된 값을 따릅니다. 우리는 이를 의미론적 구체화(semantic materialization)라고 부릅니다. 즉, 하류(downstream) 이벤트의 캐시된 행들이 입력이 사라진 계산에 대해 독립적으로 서빙 가능한 뷰(view) 역할을 하는 것입니다. 이는 의도적으로 작성될 수도 있습니다. 의도적으로 표현된 무정답(answer-free) 이벤트는 값을 전혀 언급하지 않고도 Qwen3-8B에서 기증자 정렬 복구(donor-aligned recovery)를 6%에서 51%로 향상시키는 반면, 장기 대화에서 자연스러운 언급을 수동적으로 수집하는 방식은 감지 가능한 이점을 보이지 못합니다. 이러한 행이 전달하는 정보는 구체적이고 제한적입니다. 간결한 상태(compact state)는 유지되지만 더 큰 페이로드는 무작위 확률 수준으로 감쇠하며, 특정 구조가 정보를 기록하는지 여부는 의미뿐만 아니라 표현 방식(phrasing)에 달려 있어 모델이 동등하게 이해하는 두 표현 간에도 큰 차이가 발생할 수 있습니다. 그 결과는 무엇을 기록할지, 어디에 도달할지, 소스가 사라진 후 무엇이 살아남는지를 규정하는 희소 이벤트-KV(sparse event-KV) 서빙을 위한 메모리 계약(memory contract)입니다. 캐시 축출을 수행하는 이들에게 따르는 당연한 귀결은, 소스 이벤트를 제거하고 정확도 손실이 관찰되지 않았다고 해서 그 소스가 불필요했음을 증명하는 것은 아니라는 점입니다.
비동기 강화학습(RL)은 롤아웃 생성과 정책 최적화를 중첩하여 대규모 언어 모델(LLM)의 사후 학습을 가속하지만, 그로 인해 발생하는 오래된 오프-정책 데이터는 최적화를 불안정하게 만들고 정책 붕괴를 초래할 수 있습니다. 기존 방법들은 비율의 크기만을 기준으로 토큰을 제어하며 모든 위치에 단일 임계값을 적용합니다. 본 논문에서는 비율의 자연스러운 스케일이 토큰 엔트로피에 의해 결정되며, 따라서 궤적 중간의 가중치 업데이트로 인한 편차가 이 스케일 내에 유지되고 진정한 탐험을 담고 있음을 보입니다. 나아가 0에 가까운 확률이 학습-추론 불일치를 국소 엔트로피가 허용하는 범위를 훨씬 넘어 노이즈로 증폭시키는, 이러한 스케일링을 깨뜨리는 간과되었던 저엔트로피 영역을 식별합니다. 크기 임계값은 이러한 노이즈를 허용하고 탐험을 버리게 됩니다. 이에 따라 본 연구는 엔트로피 정규화 신뢰 영역(ENTR)을 제안합니다. 긴 호흡의 에이전트 태스크와 수학적 추론 벤치마크 전반에 걸쳐 ENTR은 기존 비동기 방식들보다 우수한 성능을 보입니다. 가장 강력한 기준선 대비 BrowseComp-Plus에서 avg@1을 $6.9\%$ 향상시키고, 최대 $30$개 정책 버전의 지연까지 안정적으로 학습하며, $2.6\times$의 속도 향상과 함께 동기식 GRPO와 대등한 성능을 달성합니다.
대규모 언어 모델(LLM)이 뛰어난 추론 능력을 보여줌에도 불구하고, 텍스트 전용 사전학습에 의존하는 점은 멀티모달 물리적 세계에 대한 인식을 제한합니다. 네이티브 멀티모달 사전학습은 멀티모달 입력을 바탕으로 모델을 스크래치부터 학습(from scratch)함으로써 이러한 한계를 극복하며, 이를 통해 깊은 크로스모달 통합을 달성하고 기존의 후기 융합(late-fusion) 아키텍처에 내재된 최적화 비대칭성을 완화합니다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링(scaling) 특성은 여전히 불완전하게 규명되어 있습니다. 이러한 공백을 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 비전-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사합니다. 연구 결과, 최소 목적 손실은 예측 가능한 연산 법칙을 따르는 반면, 연산 최적의 모델 크기와 토큰 수는 거듭제곱 법칙으로 스케일링됨을 보여줍니다. 특히, 언어 및 멀티모달 목적 함수는 뚜렷이 구분되는 할당 경향을 나타냅니다. 언어 할당 지수는 서로 다른 데이터 혼합 전반에 걸쳐 유사한 범위에 위치합니다. 멀티모달 모델 할당 지수는 멀티모달 토큰 비율에 따라 완만하게 감소하여, 상대적으로 토큰 할당 쪽으로 전환됨을 시사합니다. 또한, 본 스케일링 분석은 예산 보상 규칙을 도출합니다. 구체적으로, 고정된 연산 예산 하에서 네이티브 멀티모달 사전학습에 시각 정보를 통합함으로써 발생하는 텍스트 효율성 저하를 추가적인 멀티모달 토큰 예산으로 상쇄할 수 있습니다. 다운스트림 평가는 네이티브 멀티모달 사전학습이 향상된 공간 추론 및 멀티모달 퓨샷(few-shot) 학습과 연관되어 있음을 추가로 보여줍니다. 전반적으로, 본 실증적 연구는 멀티모달 파운데이션 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련합니다.
언어 모델이 동등하게 유효한 수많은 선택지 중에서 단 하나의 답변을 선택해야 할 때 어떤 답을 선택하며, 그 답은 다른 모든 모델이 선택하는 답과 얼마나 자주 일치할까요? "단어 하나를 고르라"는 요청을 받았을 때, 20개 이상의 연구소에서 개발된 105개 언어 모델은 46%의 비율로 'serendipity'를 선택했습니다. 저자들은 유효한 한 단어 정답이 다수 존재하는 범주를 제시하는 96개의 단일 턴 프롬프트("나무 이름을 하나 대시오" 등)를 활용하여 이러한 수렴(convergence)과 각 모델의 기여도를 측정했습니다. 각 프롬프트는 모델당 8회씩 주어졌으며, 임베딩이나 별도의 판정 모델 없이 정확 일치(exact match) 방식으로 점수를 매겼습니다. 모델의 답변 선택 놀람도(surprisal)는 다른 모든 모델의 풀링된 답변 분포 하에서 해당 모델 답변의 평균 -log2 확률로 정의됩니다. 96개 범주 중 28개에서는 단일 답변이 전체 답변의 80% 이상을 차지했습니다. 이러한 집중도는 소형 모델이나 페르소나 튜닝(persona-tuned) 모델에 기인한 것이 아니며, 87개의 주요 연구소 모델들은 전체 모델 군집 못지않게 집중된 양상을 보였습니다. 사후 학습(post-training)이 가볍게 적용되었거나 페르소나 튜닝된 모델이 가장 분산된 양상을 보인 반면, 주요 연구소의 고도 사후 학습을 거친 어시스턴트 모델들이 가장 높은 동조(conformist) 성향을 나타냈습니다. 최빈 답변을 피한 모델들 또한 대부분 동일한 차순위 답변으로 수렴했습니다. 주요 공급업체들의 계열 내에서는 모델 등급(tier)을 통제했을 때 출시 순서에 따른 전반적인 경향성은 나타나지 않았습니다. GPT, Gemini, Grok, Qwen은 출시를 거듭할수록 동조 성향이 강해졌으나 Claude의 5세대 릴리스에서는 이러한 경향이 역전되었습니다. 세 가지 사후 학습 파이프라인의 오픈 체크포인트를 분석한 결과, 지도 미세조정(supervised fine-tuning)이 전체 모델 군집의 답변 방향으로 수렴하는 데 가장 큰 기여를 하는 단계인 것으로 나타났습니다. 인간의 범주 생성 규준(category-production norms)과 비교했을 때, 모델 군집은 공유된 20개 범주 중 18개에서 인간보다 더 집중된 분포를 보였습니다. 모든 프롬프트, 트랜스크립트 및 코드는 공개되어 있습니다.
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었다. 그러나 PPO-Clip을 사용하는 강화학습 알고리즘은 본질적으로 탐험(exploration) 붕괴라는 한계를 지닌다. 이후 연구들은 주로 휴리스틱에 머물러 있으며 PPO-Clip 실패의 본질적인 원인을 규명하지 못하고 있다. 본 연구는 PPO-Clip의 근본적인 결함을 밝힌다: PPO-Clip은 유클리드 메트릭을 사용하여 정책 불일치를 암묵적으로 측정하는데, 이는 정책 리만 다양체의 내재적 기하구조와 이론적으로 불일치한다. 이러한 기하학적 불일치는 저확률 영역에서는 지나치게 보수적인 업데이트를, 고확률 영역에서는 공격적인 업데이트를 초래하여 결국 탐험을 붕괴시킨다. 이러한 기하학적 결함을 수정하기 위해, 우리는 리만 다양체 위에서 등거리 정책 업데이트를 보장하여 탐험과 활용(exploitation)의 균형을 효과적으로 맞추는 Riemannian Isometric Policy Optimization(RIPO)을 제안한다. 나아가 우리는 RIPO가 유리한 바이어스(bias)-분산 트레이드오프를 달성하여 최적화를 안정화함을 보인다. 광범위한 실험을 통해 RIPO가 7개의 경시대회 수준 벤치마크 전반에서 기존 LLM 강화학습 알고리즘을 크게 능가함을 입증한다(AIME24에서 GRPO 대비 최대 60% 향상).
본 프리프린트의 버전 1과 2에서는 정체성을 지정하는 시스템 프롬프트가 4개의 오픈 가중치(open-weight) 언어 모델의 마지막 층 은닉 상태 궤적에 기하학적 지문을 남기며, 지시 미세조정(instruction tuning)이 이 지문을 은닉 상태 벡터의 방향에서 크기로 이동시킨다고 보고했습니다. 코드와 데이터에 대한 감사 결과 다음과 같은 사실이 확인되었습니다. 유클리드 k-NN 그래프에서의 올리비에-리치 곡률(Ollivier-Ricci curvature)로 기술된 곡률 통계량은 시간 및 코사인 k-NN 엣지로 구축된 그래프에서의 비표준 포먼 형태(Forman-type) 엣지 통계량이었습니다. 공개된 검정은 궤적이 아닌 풀링된 엣지를 치환했으며, 발표된 p-값은 미공개 코드에서 나온 것이었습니다. 첫 번째로 생성된 상태의 노름(norm)으로 보고된 수치는 첫 번째 출력 토큰이 예측되는 마지막 프롬프트 위치에서의 상태였습니다. 일반 대조군 프롬프트는 토큰이 아닌 문자 단위로 정체성 프롬프트와 일치하도록 맞춰졌습니다. 이번 버전에서는 방법론을 수정하고, 체제별 주장(체제당 모델 1개) 및 방향에서 크기로의 이동 주장을 철회하며, 추가된 대조군과 함께 데이터를 재분석합니다. 유효하게 남은 결과는 더 좁혀졌습니다. 중심점 거리, 최대 평균 불일치(MMD), 선형 탐침(linear probe)은 모든 모델에서 모든 프롬프트 조건 쌍을 분리하는 반면, 곡률 통계량이 반분 노이즈 플로어(split-half noise floor)를 초과하는 경우는 12개 비교 중 4개에 불과합니다. Gemma-4-E4B-it에서 이 상태는 토큰 길이가 일치된 일반 프롬프트보다 정체성 프롬프트 하에서 더 낮은 노름을 가집니다(138.1 대 216.5; Cohen's d = -5.45; n = 20). 해당 상태의 방향 역시 조건들을 분리하며, 이 효과는 출력을 계획하는 상태의 역할과 부합합니다. 즉, 정체성 프롬프트는 모든 답변 전에 일시 정지를 지시하며, 모델은 100개 응답 중 98개를 일시 정지 마커로 시작합니다. 첫 번째 토큰이 고정되면 노름 순서가 역전됩니다. 베이스 모델은 답변하는 대신 프롬프트 템플릿을 이어 작성합니다. 재설계된 후속 연구가 준비 중입니다.
LLM 기반 사기(scam)가 확산됨에 따라, 대화형 LLM 에이전트(agent)에 대한 블랙박스 포렌식은 익명의 엔드포인트 뒤에 숨겨진 시스템에 대한 책임성을 확보할 수 있는 방법을 제공한다. 챗봇 엔드포인트 뒤에 있는 기반 모델(model)을 모델 매개변수(parameter) 접근이나 숨겨진 시스템 프롬프트(prompt)에 대한 지식 없이 식별하는 것(귀속, attribution)은 조사자들이 AI 기반 사기를 해당 모델을 제공하는 제공자까지 추적할 수 있게 해준다. 두 엔드포인트가 완전히 동일한 시스템 프롬프트를 실행하는지 탐지하는 것(지문 추출, fingerprinting)은, 그 프롬프트가 새롭고 이전에 본 적이 없는 것이라 하더라도, 개별 사기 사례들을 범죄 네트워크로 연결하고 조용한 API 변경을 드러낼 수 있다. 우리는 이 두 가지 능력에 대한 실증적 조사를 수행한다. 우리의 귀속 분류기는 적대적이지 않은(non-adversarial) 대화 몇 턴만으로 에이전트 뒤의 기반 모델을 98%의 정확도로 식별한다. 시스템 프롬프트의 귀속은 가능하긴 하지만, 각 프롬프트마다 대량의 데이터로 재학습이 필요하다. 실제 환경에서의 시스템 프롬프트는 무한하며 계속 변화하기 때문에, 이 접근법은 비용이 많이 든다. 이러한 더 개방적인 설정을 다루기 위해, 우리의 크로스 인코더(cross-encoder) 지문 추출 방법은 전혀 본 적 없는 시스템 프롬프트에 대해 AUC 0.768과 F1 0.703을 달성하며, 각 대상 에이전트로부터 50개의 상호작용 대화를 집계하면 AUC가 0.943까지 향상된다. 따라서 본 적 없는 시스템 프롬프트를 사용하는 대화형 에이전트도 일반적인 대화 몇 턴만으로 견고한 정확도로 지문을 추출할 수 있다.
RLVR에서 GRPO가 모든 토큰에 균일한 크레딧을 부여하는 한계를 줄이기 위해, 모델을 자신의 검증된 궤적으로 조건화할 때 발생하는 토큰별 KL 발산을 GRPO 그래디언트의 곱셈 가중치로 쓰는 SC-GRPO를 제안한다. 수학·코드·에이전트 작업 5개 벤치마크에서 GRPO 대비 8.1%, DAPO 대비 5.9% 성능 향상과 더 강한 OOD 일반화를 보이며, 외부 교사를 사용하는 OPD도 능가한다.
암시적 사고의 연쇄(implicit Chain-of-Thought, iCoT) 방식은 대규모 언어 모델(LLM) 내에서 추론을 내재화하는 것을 목표로 하지만, 명시적 CoT 프롬프팅에 비해 성능이 떨어지는 경우가 많습니다. 본 연구에서는 은닉 상태의 추론 궤적이 저순위(low-rank) 구조를 보인다는 점을 실증적으로 발견했습니다. 이러한 관찰에 착안하여, 1차 및 2차 통계량을 활용해 공유된 저순위 텐서 부분공간에서 교사(teacher)와 학생(student)의 궤적을 정렬함으로써 추론 능력을 전이하는 저순위 증류(distillation) 프레임워크를 제안합니다. 이를 통해 도출된 공식화는 추론의 전역적 구조를 포착하는 동시에 간결한 잠재 추론 과정을 지원합니다. 수학적 추론 벤치마크에서 LLaMA 및 Qwen을 포함한 다양한 모델 계열과 여러 크기에 걸쳐 제안 방법을 평가했습니다. 그 결과, 본 접근법은 특히 까다로운 다단계 작업에서 성능을 지속적으로 향상시켜 명시적 CoT 정확도에 근접하였으며, 기존의 iCoT 증류 방식들을 능가했습니다.
강화학습(RL)은 검증 가능한 도메인에서 대규모 언어 모델(LLM)을 발전시켰으나, 개방형 생성(open-ended generation)은 확정적인 보상이 부재하여 여전히 도전 과제로 남아 있습니다. 루브릭 기반 강화학습은 명시적인 평가 기준을 제공하지만, 최종 답변의 정답 여부를 검증할 수 없는 상황에서는 이러한 기준을 구성하는 방법을 학습하기가 여전히 어렵습니다. 본 논문에서는 기준 유효성 피드백, 응답 변별력, 동료 간 일치도를 결합하여 개방형 생성을 위한 루브릭을 학습하는 공진화 강화학습 프레임워크인 EvoRubric을 제안합니다. 공유 정책(shared policy)은 추론기(Reasoner)이자 루브릭 생성기(Rubric Generator) 역할을 동시에 수행하며, 현재 응답과 과거 루브릭을 활용하여 새로운 평가 차원을 발견합니다. 적응형 루브릭 발견과 안정적인 유효성 검증을 결합하기 위해 초기 정책의 고정된 복사본이 메타 검증기(Meta-Verifier) 역할을 수행하고, 고정된 채점기(Grader)는 유지된 기준에 따라 응답을 점수화합니다. 변별적 피드백, LOO(Leave-One-Out) 동료 합의, 영구 메모리 풀은 이러한 피드백을 상호 보완적인 보상으로 변환하여 두 정책 역할을 공동으로 최적화함으로써, 응답 개선과 루브릭 발견 사이의 루프를 완성합니다. EvoRubric은 의학, 작문, 과학 분야의 5개 벤치마크 전반에서 일치된 정적 및 외부 진화형 루브릭 베이스라인 대비 성능을 향상시켰습니다. 3개의 학습 시드에 걸쳐 8B에서 56.28점, 14B에서 61.13점의 5개 벤치마크 평균을 달성하여, 가장 강력한 매칭 베이스라인을 각각 3.09점과 2.06점 능가했습니다. 사람의 감사를 통해 기준 유효성과 응답 품질을 평가하였으며, 전문가가 초기화한 루브릭을 사용한 실험은 인간 사전 지식(human priors)과의 호환성을 입증합니다.
실제 사용자 행동은 고립된 행동으로 이루어지는 경우가 드물며, 대신 시공간적 의존성에 의해 지배되는 의도 흐름을 형성하는 경우가 많다. 통합 서비스 추천을 제공하기 위해, 본 연구는 복잡한 시공간적 맥락 내에서 논리적으로 일관되고 물리적으로 실행 가능한 의도 시퀀스를 생성하는 것을 목표로 하는 생성형 시공간 의도 시퀀스 추천(Generative Spatiotemporal Intent Sequence Recommendation, GSISR) 과제에 주목한다. LLM은 GSISR에 대해 강력한 추론 가능성을 제공하지만, 산업 현장에 직접 배포하기에는 높은 추론 지연과 맥락 불일치 또는 물리적으로 실행 불가능한 계획이라는 한계가 있다. 이러한 문제를 해결하기 위해, 본 연구는 두 가지 구성 요소를 통해 LLM의 추론을 경량 모델에 내재화하는 생성형 프레임워크 GPlan을 제안한다. 첫째, 엄격한 지연 제약 조건 하에서도 추론이 가능하도록, 명시적 추론 과정을 예비된 잠재 토큰으로 압축하는 점진적 암묵적 CoT 증류(Progressive Implicit CoT Distillation)를 도입하여, 소형 모델이 긴 추론 텍스트를 생성하지 않고도 복잡한 계획 수립 로직을 물려받을 수 있도록 한다. 둘째, 일반 지식과 실제 제약 조건 사이의 단절을 해결하기 위해, 시공간 반사실적 DPO(Spatiotemporal Counterfactual DPO)를 설계한다. 모델을 반사실적 맥락-계획 쌍에 맞춰 정렬함으로써, 시공간적 맥락에 대한 민감도를 높이고 맥락 불일치 계획을 줄인다. 오프라인 실험과 온라인 A/B 테스트는 본 접근법이 시퀀스 일관성과 맥락 반응성을 향상시킨다는 것을 보여준다. 구현 코드와 익명화된 GSISR 데이터셋은 https://github.com/alibaba/GPlan 에서 확인할 수 있다.
메모리는 대규모 언어 모델(LLM)이 장기적 추론(long-horizon reasoning)을 지원하도록 하는 데 필수적이지만, 기존 메모리 시스템은 여전히 신뢰성이 떨어지고 디버깅하기 어렵습니다. 시간에 따라 정보가 어떻게 종합, 전파 또는 손상되는지 이해하기 위해서는 메모리의 동적 진화를 추적하는 것이 매우 중요합니다. 본 연구에서는 LLM 메모리 시스템에서의 오류 추적 및 귀인(attribution)이라는 새로운 문제를 다룹니다. 우리는 메모리 파이프라인을 실행 가능한 메모리 진화 그래프로 변환하여 연산 정보 흐름의 세밀한 추적을 가능하게 하는 새로운 프레임워크를 제안합니다. 그런 다음 Long-Context, RAG, Mem0, EverMemOS와 같은 대표적인 메모리 시스템에서 수집된 벤치마크인 MemTraceBench를 구축하여 메모리 실패 모드를 체계적으로 연구합니다. 나아가 실패한 사례의 근본 원인을 정확히 찾아내기 위해 연산 하위 그래프를 반복적으로 추적하는 자동 귀인 방법을 소개합니다. 분석 결과, 메모리 실패는 정보 손실(information loss) 및 검색 불일치(retrieval misalignment)와 같은 연산 수준의 문제에서 비롯되는 체계적인 오류임이 밝혀졌습니다. 결정적으로, 우리는 이러한 세밀한 귀인 신호를 활용하여 다운스트림 프롬프트 최적화를 유도함으로써 결함을 자동으로 수정하고 최종 작업 성능을 최대 7.62%포인트 향상시키는 폐루프 시스템을 구축합니다. 코드는 https://github.com/zjunlp/MemTrace 에 공개되어 있습니다.
조정자(coordinator)가 이종 파운데이션 모델(foundation model)들의 답변을 비교할 때, 모델이 자체 보고한 신뢰도(confidence)는 응답자 및 변화하는 워크로드에 따라 서로 다른 의미를 가질 수 있습니다. 본 논문에서는 모델을 재학습하거나 별도의 홀드아웃 캘리브레이션 셋(held-out calibration set)을 요구하지 않고, 관측된 답변 결과로부터 모델별 신뢰도 보정을 학습하는 런타임 캘리브레이션 방법인 MARGIN(Multi-Agent Runtime Grading via Incremental Normalisation)을 제시합니다. MARGIN은 신뢰도 구간(confidence band) 내에서 최근 정확도와 제시된 신뢰도를 추적하고, 둘의 비율을 사용하여 보고된 신뢰도를 보정하며, 희소 구간(sparse-band) 보정을 모델 수준의 추정치로 결합합니다. 보정된 점수는 집합적 결정에서 후보 답변들의 가중치를 부여합니다. 평가는 18개 모델 풀과 분포 변화(distribution-shift) 실험을 위한 9개 모델 하위 집합을 사용하여 코드 생성, 질의응답, 수학 영역을 다룹니다. BigCodeBench에서 모델 평균 신뢰도는 정확도와 음의 상관관계를 보였으며, 정답/오답 응답 쌍 중에서 더 자신 있는 응답자를 선택하는 방식은 무작위 선택(chance)보다 낮은 성능을 보였습니다. 동일한 피드백을 받고 각 전이(transition) 전반에 걸쳐 학습된 상태를 유지하는 5개의 온라인 캘리브레이션 베이스라인과 비교했을 때, MARGIN은 2개의 코드 생성 전이에서 5개 모두보다 더 낮은 분포 변화 후 기대 캘리브레이션 오차(ECE)를 달성했고, 질의응답 전이에서는 4개보다 낮은 오차를 달성했으며 나머지 질의응답 비교는 결정적이지 않았습니다. 별도의 코드 생성 조정 실험에서 캘리브레이션은 정답 응답의 순위를 개선하고, 보정되지 않은 신뢰도 가중치 부여 대비 3개 벤치마크 중 2개에서 답변 선택 정확도를 각각 4.3%p 및 14.0%p 향상시켰습니다. 이러한 결과는 참여 응답자에 대한 정답 여부 피드백이 제공될 때, 변화하는 워크로드 하에서 조정을 위한 모델별 런타임 캘리브레이션의 효용성을 뒷받침합니다.
AI 생성 이미지(AIGI)의 부상은 디지털 진위성에 대한 과제를 점점 더 심화시키고 있으며, 이에 따라 효율적이고 일반화 가능한 이미지 위조 탐지 시스템의 필요성이 대두되고 있습니다. 비(Non)-대규모 언어 모델(LLM) 기반이든 LLM 기반이든, 기존 방법들은 뚜렷한 장단점을 보입니다. 비-LLM 기반 모델은 효율적인 저수준 아티팩트(artifact) 탐지를 제공하지만 종종 의미론적 이해가 부족합니다. 반대로, LLM 기반 방법은 강력한 의미론적 추론과 설명 가능성을 제공하지만 계산 집약적이며 미세한 시각적 아티팩트에 덜 민감합니다. 나아가 위조 탐지 성능에 대한 설명적 추론 텍스트의 실질적인 기여도는 여전히 불분명합니다. 본 연구에서는 LLM이 생성한 추론 텍스트의 본질적 가치와 잠재력을 일반화 및 의미론적 오류 민감성의 원천으로 간주하여 조사합니다. 이러한 발견을 바탕으로, 대조 학습(contrastive learning)을 통해 GRPO로 최적화된 LLM이 생성한 고품질 추론 텍스트를 경량 AIGI 탐지기로 지식 증류(distillation)하는 새로운 프레임워크인 ReAlign을 제안합니다. ReAlign은 배포를 위한 효율성과 경량성을 유지하면서도 추론 텍스트 표상의 일반화 능력과 의미론적 민감도 능력을 효과적으로 계승합니다. 또한, ReAlign은 이미지-텍스트 정렬을 위한 대조 손실(loss)과 정확한 위조 판별을 위한 분류(classification) 손실을 통합하는 맞춤형 공동 최적화 전략을 채택합니다. AIGCDetectBenchmark, AIGI-Holmes, 그리고 새롭게 구축된 UltraSynth-10k에 대한 실험 결과는 ReAlign이 최신 생성 모델로부터 생성된 복잡하고 충실도 높은 위조를 마주했을 때 특히 정확도와 일반화 측면 모두에서 기존 SOTA(state-of-the-art) 탐지기들을 일관되게 능가함을 입증합니다.
대규모 언어 모델(LLM)은 방대한 양의 학습(training) 데이터를 암기하므로 개인정보 보호, 저작권 침해 및 안전성(safety)에 대한 우려를 낳습니다. 머신 언러닝(machine unlearning)은 타깃 망각 세트의 영향을 제거하면서도 모델 성능을 보존하여, 이상적으로는 해당 데이터 없이 처음부터 다시 학습한 모델에 근접하는 것을 목표로 합니다. 하지만 LLM을 실제 사용하는 상황에서 특정 콘텐츠를 잊도록 하는 새로운 요청이 들어올 때마다 모델의 가중치를 업데이트해야 합니다. 매개변수(parameter) 업데이트를 통한 언러닝은 비용이 많이 들고 감사가 어려우며, 양자화(quantization)로 인해 되돌려질 수 있습니다. 본 연구에서는 학습, 그래디언트(gradient) 또는 가중치 변경 없이 완전히 추론(inference) 시점에 언러닝을 적용할 수 있음을 보여줍니다. 저자들은 추론 시점에 입력 의존적인 활성화 조향(activation steering)을 통해 언러닝을 수행하는 학습 및 그래디언트가 필요 없는 방식인 게이트 활성화 방향 전환 기반 추론 시점 언러닝(GUARD-IT)을 제안합니다. GUARD-IT은 잊어야 할 콘텐츠를 작은 활성화 방향 라이브러리로 저장하며, 추론 중에는 각 쿼리를 유사도 게이트로 라우팅하여 관련 방향에 대해서만 활성화하고 이를 잔차 스트림(residual stream)의 노름 보존 회전으로 적용하는 반면, 관련 없는 쿼리는 수정되지 않은 모델을 통과하도록 합니다. 이 동일한 설계는 세 가지 모델 제품군과 0.8B부터 8B 매개변수에 이르는 9개 체크포인트 전반에 걸쳐 적용되며, 새로운 망각 요청은 한 번의 오프라인 순전파 통과(forward pass)로 처리됩니다. TOFU에서 16개의 그래디언트 기반 및 추론 시점 베이스라인과 비교하고 MUSE 및 WMDP에서 평가한 결과, GUARD-IT은 모델 붕괴 없이 망각을 달성했습니다. 특히 TOFU에서는 모델 붕괴 없이 모든 Llama 구성에서 암기를 억제하는 유일한 방법이었습니다. 즉, 모든 구성에서 유용성과 유창한 생성을 유지하고, forget01 분할에서 망각된 데이터를 본 적이 없는 모델에 모델의 출력 분포를 가장 가깝게 이동시키며, 4비트 및 8비트 양자화와 10회의 연속적인 망각 요청 속에서도 성능을 유지하고, 탈옥(jailbreak) 공격에도 견뎌냅니다.