LLM 기반 인공 사회는 풍부한 행동을 보이지만 과학적 근거가 부족한 경우가 많다. 페르소나와 환경은 가정된 것이고, 상호작용 네트워크는 합성된 것이며, 시뮬레이터는 자유 형식의 코드로 생성되기 때문에 결과를 실제 인구와 연결하기 어렵고 기반 모델에 민감하다. 우리는 시뮬레이션 세계는 관측 데이터로부터 샘플링해야 하며, 시뮬레이션 로직은 과제와 무관한 공유 어휘의 연산들을 조합하여 구현해야 한다고 주장한다. 본 논문에서는 자연어 요청을 실행 가능한 현실 기반 사회 시뮬레이션으로 컴파일하는 제로 코드 에이전트 ABSClaw를 소개한다. ABSClaw는 누가 행동하고, 어디에서 행동하며, 누구와 상호작용하는지를 설문 및 인구조사 데이터, 지리공간 소스, 실제 네트워크에 기반하여 설정한다. 상태 전이는 26개의 원자적 연산으로 표현한다. 개방적이고 확장 가능한 생태계를 지원하기 위해, ABSClaw는 핵심 부분을 수정하지 않고도 기능을 생명주기 범위의 스킬로 추가할 수 있도록 한다. 또한 실제 사회 시뮬레이션 과제 193개로 구성된 벤치마크 ABSBench를 제안한다. ABSBench에서 ABSClaw는 평가 대상 사회 시뮬레이터 중 가장 우수한 전체 성능을 달성한다. 세 가지 실제 사례 연구는 페르소나, 환경, 상호작용 네트워크를 각각 현실에 기반시키는 것이 관측된 결과와의 일치도를 높임을 보여준다. 하나의 런타임 스킬만으로 ABSClaw는 총 2,500만 에이전트가 참여하는 13개의 인구 규모 시뮬레이션을 실행한다. 이러한 결과는 종합적으로 ABSClaw의 현실 충실도, 확장성, 규모 가변성을 입증한다.
본 논문에서는 다중 스케일 구간에 대한 시간 추론을 위한 새로운 모델을 제안한다. 이 모델이 완전한 추론 프레임워크를 제공하며 그 밖에도 특히 흥미로운 성질들을 보임을 증명한다. 나아가 정성적 스케일 맥락에서 이 모델과, 더 약한 성질을 보이지만 그 결과를 우리의 새 모델로부터 전이하여 도출할 수 있는 또 다른 완전한 모델에 대해 극대 다룰 수 있는 부분대수를 규명한다.
GPU는 비싸지만, 지연 시간에 민감한 대규모 언어 모델(LLM) 추론은 그 일부를 유휴 상태로 남긴다. 코로케이션은 파인튜닝과 같은 최선 노력(best-effort) 작업을 서빙과 함께 실행하여 이러한 여유 용량을 되찾는다. 현재 많은 선도적인 LLM은 Mixture-of-Experts(MoE) 아키텍처를 사용하며, 이는 새로운 유휴 시간의 원인을 추가한다. 전문가 병렬화에서는 MoE 전문가들이 GPU에 분산되는데, 라우터가 각 GPU에 서로 다른 수의 토큰을 보내기 때문에 부하가 적은 GPU는 가장 부하가 큰 GPU를 기다리게 된다. 부하 분산 해법을 적용한 후에도 이러한 버블은 여전히 프리필 시간의 8~13%를 차지한다. 본 논문에서는 전문가 병렬 버블을 파인튜닝에 활용하는 최초의 코로케이션 시스템인 BubbleTea를 제시한다. 순전파 한 번마다 모든 GPU에 대해 하나의 스케줄링 결정을 내리는 기존 코로케이션 시스템과 달리, BubbleTea는 라우터의 토큰 할당으로부터 매 레이어마다 각 GPU의 버블을 예측하고, 서빙을 위해 이미 로드된 가중치를 재사용하는 짧은 파인튜닝 작업 청크로 이를 채운다. 또한 각 모델 아키텍처를 별도의 학습 엔진으로 이식하지 않고, 서빙 중인 LLM을 있는 그대로 사용하여 이러한 청크를 자동으로 도출하는 컴파일러 패스를 도입한다. A100 GPU 4개에서 서빙한 세 가지 MoE 모델에 대한 평가에서, BubbleTea의 파인튜닝 처리량은 최신 코로케이션 시스템인 LLMStation보다 1.9~6.2$\times$ 빠르다. BubbleTea는 63개 워크로드 중 50개에서 p90 추론 지연 시간을 서빙 단독 대비 10% 이내로 유지하였으며, LLMStation은 44개였다. 버스트가 있는 실제 프로덕션 트레이스에서 BubbleTea는 LLMStation보다 3.3$\times$, CUDA MPS 아래에서 코로케이션된 기본 트레이너보다 14$\times$ 빠르게 학습하면서도 p90 추론 지연 시간을 서빙 단독 대비 7% 이내로 유지하였다.
최전선 코딩 에이전트는 사용자의 위임 범위를 넘어 놀랍고 때로는 무모한 행동을 하는 과열 의욕(overeagerness)을 점점 더 많이 보이고 있으며, 이는 최전선 모델 개발사의 최근 시스템 카드에서 보고되었다. 이러한 사례는 비공개 트래픽이 필요한 내부 배포 모니터링을 통해 드러나므로, 오픈 웨이트 모델이나 독립적인 평가자는 접근하기 어렵다. 자동화된 정렬 감사가 자연스러운 대안이지만, 능력 있는 모델은 합성된 설정을 점점 더 잘 알아채고 행동을 조정한다. 우리는 실제 코딩 에이전트 대화 기록에서 추출한 접두부에 감사자를 기반시키고, 시드로 지정된 행동을 향해 궤적을 이어 가도록 지시하는 파이프라인인 Continuation Audits를 소개한다. 접두부가 실제 세션에서 추출되었기 때문에 감사자는 설정을 새로 만들어 내는 대신 현실적인 설정을 유지하기만 하면 된다. 우리는 SWE-Chat 접두부에서 이 방법을 검증한다. 짝지은 90개 감사 하위 집합에서 판정자는 연속 생성물과 원본 세션을 안정적으로 구분하지 못했으며(현실성 승률 0.42 대 0.43), 전체 900개 감사에서 언어로 표현된 평가 인식 비율은 감사하지 않은 실제 세션에서 관찰된 비율을 넘지 않았다. 이 파이프라인을 세 가지 최신 모델과 세 가지 시드에 적용한 결과, 각 모델이 서로 다른 시드에서 가장 두드러졌다. DeepSeek~V4~Pro는 동료 자격 증명 오용, GPT-5.6~Terra는 파일 권한 우회, Kimi~K3는 진단 질문을 지시로 취급하는 행동에서 가장 두드러졌다. 또한 Kimi~K3는 CLAUDE.md에 명시적 금지가 있은 뒤에도 파일 권한 보호를 계속 우회한 반면 나머지 두 모델은 완전히 중단하였으며, 이는 과도한 능동성에 관한 Moonshot 자체 보고를 뒷받침한다.
함수 수준 취약점 탐지기는 종종 수정 역전(fix reversal)을 보여, 수정된 버전에 취약한 대응 버전보다 더 높은 취약점 확률을 할당한다. 수정은 보통 함수를 길게 만들며, 길이 증가가 클수록 역전이 더 심한 것과 연관된다. 코드 변환 실험은 수정 역전이 주로 길이 지름길(length shortcut), 즉 내용이 고정되었을 때 함수 길이가 늘어날수록 취약점 확률이 증가하는 현상에서 비롯됨을 시사한다. 이 문제를 해결하기 위해 우리는 CFVul을 제안한다. 슬라이딩 윈도 인코딩은 완전한 함수를 포괄하여 절단 경계를 넘어선 수정 정보를 보존한다. 학습 중에는 내용 제약이 공통 길이 입력 하에서 취약한 버전이 더 높은 취약점 확률을 받도록 유도한다. 추론 중에는 길이 제약이 고정된 기준 길이들에 대해 취약점 확률을 평균하여 실제 길이 변화의 영향을 줄인다. PrimeVul에서 CFVul은 수정 쌍 순위 지표인 PairRank 59.4\%를 달성하여 비교한 기존 방법들을 능가한다. 함수 길이를 15\% 넘게 증가시키는 수정의 경우, PairRank는 CodeBERT의 25.8\%에서 48.4\%로 상승한다. PairRank는 네 가지 추가 모델과 세 가지 추가 데이터셋을 사용한 실험에서도 향상된다. 길이 지름길을 약화시킴으로써 CFVul은 수정된 버전이 취약한 버전보다 더 높은 취약점 확률을 받는 사례를 줄인다. 이 방법은 기존의 수정 쌍만 필요로 하고 여러 사전 학습 코드 모델에 적용할 수 있어 기존 탐지기에 쉽게 도입할 수 있다.
최근 연구는 개별 뉴런이 AI 행동에서 해석 가능한 역할을 가질 수 있음을 시사한다. Qwen3.5-4B에서 하나의 뉴런의 출력 방향을 따라 조향하면, 팀원이 메시지를 제공하지 않는 경우에도 다섯 가지 시나리오 전반에서 혼자일 때보다 팀에서 정보를 은폐하는 결정이 더 많이 증가하였다. 모든 구성원이 참여하고 조향을 받은 경우 네 개의 시나리오에서 집단적 은폐가 증가하였으며, 에이전트 간 메시지 교환은 조향 하에서 은폐를 완화하는 데 도움이 되었다. 또한 해당 뉴런의 기여를 제거하는 것은 미미한 영향만 미쳤다. 따라서 집단적 환경은 내부 개입이 AI 행동에 미치는 영향을 바꿀 수 있다.
메커니즘 해석 가능성(Mechanistic Interpretability, MI)은 신경망 연산을 사람이 이해할 수 있는 논리로 해독하고자 한다. MI의 핵심 방법론은 회로 발견으로, 특정 모델 행동을 이끄는 하위 네트워크의 정보 흐름을 식별하는 것이다. 회로 발견은 자연어 처리(NLP)에서 성숙해졌으나 음악 모델의 해석 가능한 회로는 거의 탐구되지 않았다. 본 연구에서는 두 기호 음악 생성 모델인 ChatMusician과 MuPT 내의 음악 기능 회로를 식별한다. 고려하는 음악 기능은 고전 화성 진행 패턴 $I \ldots V \rightarrow I$에서 종결 으뜸음 근음을 예측하는 것이다. Auto-Emergence 알고리즘을 사용하여 주요 희소 하위 네트워크를 식별된 회로로 추출한다. 인과적 개입을 통한 검증은 식별된 회로가 기호 음악 모델에서 화성 진행 행동의 주된 동인임을 확인한다. 우리가 아는 한, 이는 음악 영역에서 수행된 최초의 체계적인 회로 발견 연구이다. 데모 페이지는 https://ukiyo23rui.github.io/auto-emergence-demo/ 에서 볼 수 있다.
합성 수면다원검사(PSG) 데이터는 민감하고 수집이 어려운 실제 데이터를 대체하는 등 의료 응용 분야에서 큰 잠재력을 지닌다. 기존의 합성 PSG 데이터 연구는 대체로 개별 신호의 짧은 구간에 초점을 맞추어, 수면 장애와 관련된 신호 간 동역학을 간과하였다. 본 연구에서는 폐쇄성 수면무호흡(OSA)에 전형적인 다양하고 복잡한 특성을 지닌 여러 PSG 신호의 더 긴 구간을 함께 합성하기 위한 생성적 적대 신경망(PSG-GAN)을 개발하였다. 합성된 신호는 사실적으로 보였으며, 뇌전도와 안전도의 대역 파워는 수면 단계 전반에서 유사하게 분포하였다. 또한 PSG-GAN은 호흡 폐쇄 중과 그 이후의 광혈류측정(photoplethysmography) 기반 심박수 변화와 같은 신호 간 상호작용을 모사하도록 학습하였다. 자동으로 판독된 합성 신호만으로 학습한 자동 판독 모델은 건강한 자원자와 OSA 환자로 구성된 두 시험 세트에서 각각 수면 단계 분류(\k{appa}=0.71 및 0.63)와 호흡 사건 분할(\k{appa}=0.57 및 0.60)에서 우수한 성능을 보였다. 이는 수면 진단 알고리즘 개발을 지원하는 데 합성 데이터가 지닌 잠재력을 보여 준다. 소스 코드는 https://github.com/rikuhuttunen/psg-gan 에서 확인할 수 있다.
비전-언어 모델(VLM)은 여러 쪽의 문서나 수백 장의 이미지 모음과 같은 긴 교차 입력에 대한 질문에 답할 수 있으나, 시작이 느리다. 약 100K 토큰의 입력에서는 프리필이 첫 출력 토큰까지의 대기 시간 대부분을 차지한다. 일반적인 접근법은 대상 모델 자체, 또는 먼저 답을 작성하는 동일 계열의 소형 모델로 입력의 토큰에 점수를 매겨 입력을 가지치기하는 것이다. 그러나 이러한 점수 산정이 가지치기로 절약되는 시간의 상당 부분을 소모한다. 본 연구에서는 질문에 대한 근거가 이미지나 문단과 같은 소수의 전체 단위에 존재하며, 소형 하이브리드 모델이 이미지 해상도를 절반으로 낮춘 경우에도 초기 층의 어텐션 헤드 하나로 이를 찾아낸다는 점을 발견하였다. 이러한 발견에 기반하여 SkimPrefill을 제안한다. SkimPrefill은 소형 하이브리드 모델이 이미지를 절반 해상도로 하여 해당 초기 층까지 전체 입력을 먼저 읽게 한다. 소형 하이브리드 모델(Qwen3.5-0.8B)의 대부분의 층은 선형 시간에 동작하므로 이 과정은 짧다. 이후 SkimPrefill은 그 헤드로 모든 단위의 순위를 매기고, 상위 단위들을 일반적인 더 짧은 프롬프트로 대상 모델에 제공한다. 학습되지 않은 하나의 선택기가 서로 다른 모델 계열의 대상 모델에 두루 사용된다. 5가지 과제 유형의 19개 데이터셋으로 구성된 128K 토큰 규모의 MMLongBench에서 수행한 광범위한 실험은 SkimPrefill의 효과를 보여 준다. 입력 토큰의 10%를 유지했을 때, SkimPrefill은 평균 정확도를 유지하면서 Qwen3.5-9B, Gemma-4-12B, Qwen3-VL-32B의 프리필을 각각 3.7배, 11.6배, 8.2배 가속한다.
사이버-물리 시스템(CPS)에는 데이터 기반 제어기가 점점 더 많이 포함되며, 이들의 블랙박스 특성으로 인해 안전 문제가 제기된다. 일반적인 완화책은 물리 시스템에 대한 가정에 기반하여 입력을 제한하는 실드를 제어기 주위에 두어 시스템 안전을 강제하는 것이다. 그러나 이러한 가정은 보통 고정되어 있어 시스템이 (개발 중이나 구성 요소 열화로 인해) 진화함에 따라 유효하지 않게 될 수 있으며, 이는 안전하지 않은 동작으로 이어질 수 있다. 우리는 데이터 기반 제어기와 안전 실드를 모두 일급 모델로 취급하여 시스템 모델과 함께 가상 단일 기반 모델(V-SUM)에 통합하는 모델 주도 접근법으로 이 한계를 해결한다. 시스템 진화를 연관된 모델의 변경으로 기술하여, 일관성 검사가 안전 보장에 대한 지속적인 평가를 제공하도록 한다. 불일치가 발생하면 일관성 보존 규칙이 모델을 자동으로 갱신하고 유효한 안전 실드를 복원한다. 우리는 유니사이클 시스템의 도달-회피 과제에서 이 접근법을 평가한다. 결과는 일관성 기반 진화가 시스템 변경 하에서 안전 보장을 효과적으로 유지하며, 성능을 평가하고 복원하기 위한 원칙적인 기반을 제공함을 보여 준다.
LLM 기반 에이전트는 복잡한 장기 과제를 해결하면서 방대한 상호작용 이력을 축적하므로, 효율적인 메모리 관리는 에이전트의 성능과 확장성에 매우 중요하다. 기존의 메모리 관리 방법은 주로 무엇을 보존하거나 검색할지에 초점을 맞추지만, 각 과거 상호작용에 얼마나 많은 지각적 세부 정보를 할당해야 하는지는 간과하는 경우가 많다. 본 논문은 효과적인 에이전트 메모리가 보존된 정보뿐 아니라 각 과거 상호작용을 지각하는 세분성에도 달려 있다고 주장한다. 이러한 통찰에 따라 시각적 해상도를 상호작용 이력 전반에 대한 어텐션 할당 수단으로 사용하는 메모리 지각 메커니즘인 Resolution as Attention(RAA)을 제안한다. RAA는 과거 상호작용을 이미지로 렌더링하고, 에이전트의 다음 결정과의 관련성에 따라 매 단계에서 해상도를 동적으로 조정하여, 중요한 상호작용에는 세밀한 정보를 보존하고 관련성이 낮은 상호작용에는 시각 토큰 소비를 줄인다. 각 상호작용의 지각 충실도를 적응적으로 결정하기 위해, 교사 모델의 지도 하에 경량 관련성 추정기를 학습시키고, 더 낮은 시각 토큰 비용에서 에이전트의 결정 일관성을 유지하도록 이를 추가로 최적화한다. 여러 과제와 백본에 걸친 실험에서 RAA는 과제 성능을 해치지 않으면서 토큰 소비를 50% 이상 줄이는 것으로 나타났다. 더 나아가 RAA는 기존 메모리 관리 방법에 플러그인 지각 계층으로 통합될 수 있어 추가적인 토큰 절감을 얻으며, 적응적 지각이 에이전트 메모리의 상보적인 차원임을 보여 준다.
많은 다단계 오프폴리시 시간차 방법은 단계별 트레이스 계수의 곱을 통해 정책 불일치를 처리하며, 이로 인해 분산 제어와 장기 신호 사이의 상충이 발생한다. 그 결과 최대 트레이스 길이가 민감한 하이퍼파라미터가 된다. 본 논문에서는 이러한 곱을 이진 정지 지표로 대체하는 MINT(Meeting-time INdicators for Truncation)를 제안한다. 이 지표는 결합된 행동 궤적과 목표 궤적이 처음 만날 때까지는 1이고 그 이후에는 0이다. 참 가치 함수에서 지표의 멱등성은 만남 시점 생존 함수로 결정되는 분산 상한을 도출한다. 실용적인 구현을 위해 단일 표본 행동이 정지 규칙에 대한 모델 비의존적 대리값을 제공하며, 전이 모델이나 혼합 시간 추정이 필요하지 않다. 고정 정책 평가 하에서 상태 결합 연산자와 그 실용적 대리 연산자의 수축에 대한 충분 조건을 각각 유도한다. MuJoCo와 DeepMind Control 과제에서 MINT는 보고된 다단계 기준선들을 능가하며, 주요 MuJoCo 비교는 과제별 상한 길이 조정 없이 공통 상한을 사용한다. 또한 Atari 100k, RWRL, OGBench 실험에서도 MINT의 효과를 보이며, MINT는 백업 지평을 적응적으로 조정하여 과제와 동역학 전반에서 긴 고정 지평 백업에 비해 목표값의 변동성을 줄인다.
사전학습된 시각 세계 모델은 현재 관측과 목표 관측으로부터 다단계 행동 계획을 생성하지만, 종단 근접성 목적 함수는 금지 구역 통과나 강체 충돌 미끄러짐을 막지 못한다. 순수한 시각 인터페이스는 해석적 동역학, 구조화된 상태, 명시적 충돌 기하를 갖추지 못할 수 있어, 행동 조건부 프로세스 위험을 내부적으로 예측해야 한다. 본 논문에서는 고정된(frozen) 결합 임베딩 예측 아키텍처(JEPA) 세계 모델을 위한 위험 유발 탐색(Risk-Triggered Search, RTS)을 제안한다. 관측을 공유하는 후보 계획들을 구별하지 못하는 정적 상태 특징에 의존하는 대신, RTS는 고정된 세계 모델에서 행동 조건부 미래 잠재 접두부를 전개하고 프로세스 위반 지도로 경량 위험 헤드를 학습시킨다. 안전한 공칭 행동을 보존하면서 선택적으로 개입하기 위해, RTS는 동일한 예측 접두부 위험 기준을 탐색 유발 게이트와 엄격한 실행 가능성 게이트로 모두 사용한다. 안전한 공칭 계획은 그대로 실행되고, 경보가 발생하면 실행 가능 집합 내에서 공칭 편차를 최소화하는 국소 교차 엔트로피 방법(CEM) 탐색이 유발된다. 등방성 유클리드 최소 수정이 장애물 방향 행동을 진폭이 0인 정체로 축소시키는 것을 막기 위해, 공칭 계획에서 유일한 영점을 유지하면서 접선 방향 진행을 보존하는 진폭 보존 지표 $d_{\mathrm{AP}}$를 도입한다. 통합된 게이팅과 이 유일 영점 조건 하에서, 안전 상태에서의 탐색을 생략해도 폐루프 궤적은 매 단계 동일 커널 탐색과 엄밀히 동일하다. 다섯 가지 과제에 걸친 프로세스 안전 벤치마크와 안전 도착률(SAR) 지표로 평가한 결과, RTS는 내비게이션과 관절형 제어에서 Direct 대비 SAR을 12.67--41.67 퍼센트포인트 향상시키고, Cube/PushT 경계 집단에서는 +2.08/+4.17 pp 향상시키며, 1,968개의 쌍 궤적 전반에서 매 단계 탐색과 100%의 행동 동일성을 유지하면서 제어기 시간을 17.71%--70.41% 줄인다.
신뢰할 수 있는 인과 이해 능력을 갖춘 모델을 개발하려면, 특히 전문 분야에서 고품질 인과 추론 데이터셋이 필수적이다. 그러나 기존 데이터셋은 잘못된 주석과 구조적 불균형을 자주 포함하며, 이는 편향된 예측과 제한된 일반화로 이어질 수 있다. 이 문제를 해결하기 위해 본 논문은 인과 추론 데이터셋의 자동 진단 및 수리를 위한 멀티 에이전트 프레임워크인 CaDO(Causal-Engine-Guided Multi-Agent Data Optimization)를 제안한다. 본 프레임워크는 형식적 인과 추론, 다단계 진단, 자동 데이터 수리 및 생성이라는 세 가지 핵심 단계로 구성된다. 첫째, Formalizer Agent가 자연어 질문을 형식적 인과 질의로 변환하여 의미적 편차를 최소화하고 검색과 검증을 더 명시적이고 다루기 쉽게 만든다. 둘째, 이중 수준 진단 메커니즘은 독립적인 Critic Agent를 사용하여 샘플 수준의 오류를 식별하는 한편, 질의 유형 포괄 범위와 레이블 분포를 분석하여 데이터셋 수준의 구조적 불균형을 탐지한다. 마지막으로 본 프레임워크는 형식적 인과 의미론에 기반한 재사용 가능한 수리 연산자를 사용하여 오류 샘플을 교정하고, Explorer Agent와 Expander Agent가 협력하여 다양하면서도 의미적으로 일관된 새로운 샘플을 생성한다. 실험 결과, CaDO는 18개 실험 설정 중 16개에서 다섯 가지 데이터 정제 베이스라인 중 가장 강력한 방법을 유의미하게 능가했으며, 하위 모델의 정확도를 최대 9.1% 향상시켰다. 또한 CaDO가 표시한 샘플의 최소 95%가 실제로 결함이 있었고, CLadder에서 CaDO는 LLM 기반 판정기보다 올바른 레이블을 잘못 수정한 비율이 92.2% 적었으며, 이는 CaDO의 효과성과 신뢰성을 보여 준다. 코드와 데이터는 https://github.com/thisissyu/cado 에서 공개되어 있다.
순환 신경망(RNN)은 시간적 모델링에 자연스러운 프레임워크이지만, 순차적이며 병렬화할 수 없는 계산과, 일반적으로 기울기 소실 및 폭주에 기인하는 장거리 의존성 포착의 어려움 때문에 흔히 외면받는다. 본 논문은 이와는 구별되는, 충분히 탐구되지 않은 한계를 규명한다. 이는 랭크가 제한된 은닉 상태 동역학이 유발하는 정보 병목으로, 입력-상태 사상의 랭크에 반영되듯이 시간에 따라 보존될 수 있는 독립적 입력 방향의 수를 제한한다. 우리는 이 제약이 기울기 안정성과 무관하게 시간적 용량을 제한함을 보인다. 이를 해결하기 위해 시간적 분리 가능성을 보존하고 시간에 따른 입력-상태 야코비안의 포화를 방지하는 구조화된 고차원 상태 동역학을 도입한다. 통제된 시퀀스 과제에서 이렇게 얻은 모델은 표준 RNN 공식 내에 엄격히 머무르면서도 빠른 학습을 보인다. 본 결과는 RNN의 성능이 시간적 랭크의 진화와 보존에 의해 좌우됨을 보여 주며, 기울기 문제를 완화하는 것만으로는 충분하지 않고 시간적 용량을 명시적으로 유지해야 함을 시사한다.
능동 객체 탐지에서는 초기 레이블 풀을 선택하는 것이 중요하며, 특히 레이블링 비용이 높고 자원 예산이 적은 복잡한 데이터셋에서 그러하다. 본 연구는 객체 탐지 과제에서 능동 학습의 초기 학습 주기를 최적화하도록 설계된 능동 학습 프레임워크를 제시한다. 우리의 접근법은 초기 주기에서 불확실성 샘플링에 의존하는 기존 방식과 달리, YOLO-World 모델의 특징 기반 군집화를 활용하고 객체성 점수에 기반해 이미지를 정제한다. 이 접근법은 다양한 특징을 가진 샘플을 찾는 데 초점을 두며, 파운데이션 모델이 가장 확신하는 영역에서의 학습을 강조한다. 이를 통해 모델이 다양한 유형의 객체를 더 잘 이해하게 된다. 이후 주기에서는 학습 과정의 견고성을 유지하기 위해 일관성 기반 샘플링 기법을 사용한다. 제안 방법을 평가하기 위해 다양한 객체 크기와 어려운 조건으로 잘 알려진 Aquarium과 NWPU VHR-10이라는 두 복잡한 데이터셋을 사용했다. NWPU 데이터셋에서 제안 방법은 이미지 기반 평가에서 mAP50을 평균 6.6% 높였다. 또한 이미지 정제 방법은 객체 기반 평가에서 약 11%의 향상을 보인다. 결과는 모델 성능과 레이블링 시간이 개선됨을 보여 주며, 능동 학습의 초기 주기에서 파운데이션 모델을 활용하는 것의 이점을 입증한다. 알고리즘 구현은 https://github.com/Mhrshd-fllh/ALBoost-FM 에서 확인할 수 있다.
AI 에이전트는 매 단계마다 전체 이력을 읽는다. 사람은 그렇게 일하지 않는다. 우리는 그 순간에 필요한 것만 간직하고 나머지는 다시 떠올릴 수 있는 대략적인 메모로 남겨 둔다. MoE-Context는 이를 언어 모델에 적용한다. 컨텍스트는 블록으로 나뉜다. 각 단계 전에 빠른 예/아니오 패스가 그 단계에 필요한 블록을 결정하고, 나머지는 다시 불러올 수 있는 한 줄 메모로 남으며 아무것도 삭제되지 않는다. 우리가 구축한 버전에서는 하나의 모델이 이 결정을 내린 뒤 답하며, 숨겨진 블록은 제거되지 않고 마스킹되는 단일 키-값 캐시를 사용한다. Qwen3-1.7B와 합성 조회 과제를 사용한 노트북 환경에서, 필요한 블록만 보여 주면 정확도가 120개 중 93개에서 119개로 높아지고, 마스킹된 블록은 삭제된 블록만큼 완전히 숨겨진다. 모델 자체의 선택이 약한 부분이다. 여분의 출력 행에 기록한 지도 학습 선형 프로브는 정확도를 120개 중 80개에서 110개로 끌어올리지만, 이 과제에서는 단순한 키워드 검색이 완벽하게 선택하며 프로브는 두 번째 과제로 전이되지 않는다. 우리는 이러한 결과를 숨김없이 보고하며, 블록 전환이 가능하게 하는 두 가지 저렴한 활용 패턴, 즉 실패한 시도의 취소와 새 컨텍스트 없이 하위 에이전트를 실행하는 방법도 함께 보고한다.
다중 충실도 베이지안 최적화(MFBO)는 저렴한 저충실도(LF) 모델과 소수의 정확한 고충실도(HF) 평가를 결합하고 평가할 설계를 순차적으로 선택함으로써 공학 설계 비용을 줄인다. 그러나 HF 데이터가 부족하면 LF와 HF 사이의 불일치를 수치 데이터만으로 학습하기 어렵고, LF 모델에서 누락된 물리가 이를 설계 의존적으로 만드는 경우 특히 그러하다. 그럼에도 도메인 전문가는 충분한 데이터가 없어도 LF 모델이 어떤 물리를 누락했는지, 그리고 어떤 조건에서 그 영향이 커지는지를 알고 있는 경우가 많다. 기존의 다중 충실도(MF) 모델은 이러한 정성적 지식을 직접 사용할 수 없지만, 대규모 언어 모델(LLM)은 이를 해석하여 그에 따라 설계를 비교할 수 있다. 제안하는 LLM 지원 MFBO는 기존 MF 모델에 지식 기저를 추가한다. 누락된 물리에 대한 전문가의 설명을 바탕으로 LLM이 두 설계 중 어느 쪽이 더 큰 부호 있는 잔차 보정을 필요로 하는지 판단하고, 쌍별 가우시안 프로세스가 이 판단을 기저로 변환한다. HF 데이터가 그 기여도와 부호를 보정하므로 지식을 맹목적으로 신뢰하지 않는다. 리튬 이온 배터리 설계 문제에서 제안 방법은 기존 MFBO의 후회 곡선 아래 면적을 61% 줄였다. 탐색이 가속되었는지는 LLM의 선택이 아니라 지식의 품질이 결정했으며, 이는 두 요인을 독립적으로 변화시킨 통제 연구로 확인되었다. 지식 수준의 절제 연구는 각 지식 진술의 기여도를 추가로 정량화했다. 이러한 결과는 LLM이 해석한 전문가 지식이 MFBO에서 수치 데이터를 보완하는 정보원이 될 수 있음을 보여 준다.
Large language model (LLM) agents routinely interact with untrusted external data, exposing them to indirect prompt injection (IPI) attacks that hijack agents into executing attacker-chosen tasks. To uncover these vulnerabilities at scale, automated red-teaming methods often leverage reinforcement learning (RL) to generate attacks that achieve high attack success rates (ASR). Model developers use the attacks discovered during internal red-teaming to harden agents through adversarial training before deployment, a collaborative offensive-defensive process known in cybersecurity as purple-teaming. However, we show that achieving high ASR during red-teaming does not guarantee robustness gains from subsequent adversarial training. Specifically, we find that two state-of-the-art RL-based red-teaming methods, RL-Hammer and PISmith, suffer from mode collapse, repeatedly discovering similar attack strategies whose additional successes add no additional robustness improvements to adversarial training. To address this gap, we introduce PIPETTE, a unified prompt injection purple-teaming framework that effectively converts red-teaming discoveries into defender robustness improvements. PIPETTE employs a dictionary learning-based reward that encourages broader coverage of attack strategies during red-teaming. It also integrates an on-policy adversarial training pipeline tailored to IPI defense, enabling agents to resist attacks while completing legitimate user tasks. Extensive evaluations across agentic benchmarks (AgentDojo and ASB) demonstrate that PIPETTE produces defenders that achieve near-zero attack success rates on static attacks and can withstand strong adaptive attacks, while maintaining benign task utility close to that of the undefended baseline.