문맥 내 학습(ICL) 문헌의 핵심 질문은 트랜스포머가 서로 다른 귀납적 바이어스(inductive-bias) 계열을 중심으로 에피소드 수준의 적응을 조직할 수 있는지 여부이다. 본 연구는 잠재 알고리즘 라우팅(latent algorithm routing)을 통해 이 질문을 통제된 설정에서 다룬다. 잠재 알고리즘 라우팅이란 프롬프트 형식은 고정된 채로 잠재 데이터 생성 체제에 따라 solver-family 선호가 변하고, 방해 요인(nuisance) perturbation 하에서 안정적으로 유지되며, 답변 품질의 큰 손실 없이 표적화된 activation 개입에 선택적으로 영향을 받는 route-like 행동을 말한다. 우리는 ROUTEBENCH라는 진단 벤치마크를 도입한다. 이 벤치마크의 각 체제는 전역 수축(global shrinkage), 희소성, 견고성(robustness), 국소성(locality)을 차등적으로 선호하며, ridge-like, lasso-like, Huber-like, kNN-like 계열 대표로 이를 구현한다. 44M–612M 파라미터 규모로 처음부터 학습된 dense decoder-only 트랜스포머 전반에서, 306M 모델은 oracle-routing gap의 80.9%를 메우고 route F1 84.1을 달성한다. 이 효과는 자연어 렌더링, 셔플된 support, 어휘적 paraphrase, 통합 4-way 라우팅 설정에서도 상당한 수준을 유지한다. 입력 조건부 soft mixture와 비지도 Gumbel router를 포함한 더 강한 적응적 대안들은 gap을 줄이지만 route F1과 OOD(out-of-distribution) 성능에서는 306M 및 612M 모델보다 낮다. Probe 대조군과 matched activation-patching 대조군은 route 관련 내부 방향이 디코딩 가능하고 solver-family 일관적 출력 행동에 기능적으로 관여함을 추가로 보여준다. 이러한 결과는 ROUTEBENCH에서 학습된 dense 트랜스포머가 route-like 내부 변수를 발달시킬 수 있다는 통제된 증거를 제공하지만, 사전학습(pre-training) 언어 모델이나 제한 없는 자연어 추론에서의 보편적 라우팅을 입증하지는 않는다.
장기 메모리 시스템은 사용자가 말한 내용을 외부 저장소에 저장하고, 관련 쿼리가 도착하면 이를 검색한다. 이 인터페이스는 너무 당연해서 거의 명시되지 않는 가정 위에 놓여 있다: 필요한 메모리는 그것을 필요로 하는 쿼리와 유사할 것이다. 세계 지식(world knowledge)은 이 가정을 깨뜨린다. 견과류 알레르기는 아몬드 가루 성분을 통해 마카롱 요청에 대한 답을 바꿔야 하지만, 두 텍스트는 검색기(retriever)가 볼 수 있는 단서를 공유하지 않는다. 우리는 이러한 실패 양식을 암묵적 연관 블라인드 스팟(implicit-association blind spot)이라고 부르며, 10개 생활 영域에 걸친 125개 과제로 구성되고 113개 과제가 인용 가능한 공개 출처에 기반한 전문가 검증 벤치마크 InMind를 소개한다. 이 벤치마크의 짝을 이루는 대조군은 기존 평가가 혼동하는 세 가지 설명을 분리한다: 사실이 저장되지 않았거나, 모델에 연결 지식이 없거나, 사실은 저장되었으나 끝내 표면화되지 않았다는 경우이다. 결론은 명확하다. 결정적 메모리가 컨텍스트에 배치되면 백본은 간접 쿼리의 84.0%에 답한다. 동일한 메모리를 검색해야 할 때, 여섯 가지 벡터·그래프·에이전트 메모리 시스템은 최대 14.4%에 불과하며, 요청 시 동일한 사실을 최대 100%까지 회상함에도 불구하고 그렇다. 차원이 8배인 임베딩은 모든 시스템의 답변-블라인드 타깃 재현율을 높이지만 격차는 본질적으로 그대로 남는다. 쿼리 도착 전에 메모리를 가시적으로 유지하는 최소 진단 프로브는 격차의 대부분을 회복하며, 실패를 쿼리 조건부 인터페이스 자체에 위치시키고 어떤 사실이 가시적으로 유지되어야 하는지 결정하는 라우팅을 InMind가 평가하도록 설계된 미해결 과제로 지목한다.
대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.
대규모 언어 모델(LLM)을 위한 컨텍스트 귀속 방법은 어떤 입력 컨텍스트가 모델 응답에 기여하는지 식별한다. 최근 연구들은 컨텍스트의 기여 점수를 귀속하는 데 초기 성공을 보여준다. 그러나 우리는 컨텍스트가 학습 데이터와 겹칠 때, 이러한 방법들이 문맥 내(in-context) 기여와 가중치 내(in-weight, IW) 기여를 분리할 수 없어 신뢰할 수 없는 점수를 산출한다는 것을 관찰한다. 이 관찰에 기반하여, 본 연구에서는 1) 네 가지 새로운 지표(기본 모델 컨텍스트 귀속 점수(BCS), 교차 모델 컨텍스트 귀속 일관성(CAC), 귀속 보존 점수(APS), 출처 분리 정밀도(SSP))에 의존하는 평가 프로토콜과 2) IW 겹침 하에서 귀속을 체계적으로 평가하기 위해 ground-truth 출처 레이블을 갖춘 벤치마크 데이터셋(WMDP-Cyber++)를 도입한다. 네 가지 잘 알려진 컨텍스트 귀속 방법에 대한 실험에서, 컨텍스트의 지식이 가중치에도 존재할 때 이들이 충실하지 않은 귀속을 제공함을 보여준다. 마지막으로, 우리는 이러한 방법들을 출처 분리(IW 대 문맥 내 학습(ICL))에 맞게 조정하고, 기여 점수에 기반하여 분리를 수행할 수 없음을 보여준다.
과프롬프팅(over-prompting)은 프롬프트에 과도한 예시를 포함할 때 대규모 언어 모델(LLM)의 성능이 저하되는 현상으로, 문맥 내 학습(ICL) 기반 퓨샷 학습에 대한 기존 통념에 도전한다. 이 퓨샷 딜레마를 조사하기 위해, 무작위 샘플링, 의미적 임베딩, TF-IDF 벡터의 세 가지 표준 퓨샷 선택 방법을 활용하는 프롬프팅 프레임워크를 제시하고, GPT-4o, GPT-3.5-turbo, DeepSeek-V3, Gemma-3, LLaMA-3.1, LLaMA-3.2, Mistral을 포함한 여러 LLM에서 이 방법들을 평가한다. 실험 결과, 프롬프트에 과도한 도메인 특화 예시를 포함하면 특정 LLM에서 역설적으로 성능이 저하될 수 있음을 보여주며, 이는 더 관련성 높은 퓨샷 예시가 LLM에 보편적으로 도움이 된다는 기존의 경험적 결론과 모순된다. LLM 보조 소프트웨어 공학 및 요구사항 분석의 추세를 고려하여, 두 개의 실제 소프트웨어 요구사항 분류 데이터셋으로 실험한다. TF-IDF로 선택된 및 계층화된 퓨샷 예시의 수를 점진적으로 늘리며, 각 LLM에 대한 최적 수량을 식별한다. 이 결합 접근법은 과프롬프팅 문제를 피하면서 더 적은 예시로 우수한 성능을 달성하여, 기능적 및 비기능적 요구사항 분류에서 최신 기술(state-of-the-art)을 1% 초과한다.
다중모달 대규모 언어 모델(MLLM)은 그라운딩(grounding) 과제에서 큰 진전을 이루었지만, 기존 방법들은 여전히 정밀한 위치 지정(localization)과 복잡한 추론을 통합하는 데 어려움을 겪고 있다. 한편, 텍스트 기반 방법은 좌표 또는 인덱스 예측에 의존하여 밀집된 시각 객체에 대한 모델의 인식(perception) 능력을 크게 제한한다. 한편, 잠재 토큰 기반 방법은 고유한 공간적 참조가 없는 특수 토큰을 사용하고 사고 단계가 부족한 디코딩 메커니즘을 사용하여 고수준 추론 능력을 약화시킨다. 결과적으로, 인식과 추론 모두에서 뛰어난 통합 프레임워크를 개발하는 것은 여전히 어려운 과제로 남아 있다.
이를 해결하기 위해, 우리는 인식-추론 격차를 메우는 새로운 자유 형식 다중모달 그라운딩 방법인 Mixture-of-Thought-Tokens(Motto)를 제안한다. 이를 통해 MLLM이 다양하고 임의의 그라운딩 쿼리를 처리할 수 있게 한다. 구체적으로, 명확한 공간적 대응과 시각적 해석 가능성을 위해 특수 토큰을 공간 위치와 명시적으로 정렬하는 Spatially-Grounded Thought Tokenization을 도입한다. 또한 교차 배치된 추론 사슬 내에서 그라운딩 모드를 동적으로 전환하는 Context-Adaptive Chain-of-Tokens를 설계하여, 다양한 복잡도의 과제에서 강건한 그라운딩을 달성한다. 또한 인식-추론 격차를 평가하기 위한 새로운 지시 표현 이해(referring expression comprehension) 벤치마크인 PR-Bench를 구축한다. 광범위한 실험을 통해 Motto가 다양한 자유 형식 그라운딩 과제에서 최신(state-of-the-art) 성능을 달성함을 보여준다.
최신 비디오 생성 모델은 시각적으로 매력적이고 시간적으로 일관된 클립을 합성할 수 있지만, 표준 텍스트 및 이미지 조건으로는 물리적 거동을 제어하기 어렵다. 핵심 과제는 조건화(conditioning) 병목이다. 재질 반응, 접촉 상호작용, 변형, 운동 궤적은 연속적이고 관계적인 물리적 단서이며, 언어로 포괄적으로 지정하기 어렵지만 비디오로 자연스럽게 시연할 수 있다. 우리는 참조 기반 이미지-투-비디오 생성을 위한 Visual In-Context Physics Reasoning 프레임워크인 VIPER를 제안한다. 대상 이미지, 간단한 대상 프롬프트, 참조 비디오가 주어지면 VIPER는 참조를 외형 템플릿이 아니라 원하는 물리적 과정에 대한 밀집된 시각적 시연으로 취급한다. VIPER는 다중모달 대규모 언어 모델(MLLM)을 사용하여 참조에서 유도된 물리적 단서를 추출하고, 계층적 학습 전략을 통해 사전학습된 이미지-투-비디오 생성기를 안내하여 기본 생성기의 시각적 사전(prior)을 보존하면서 물리적 거동 전이를 가능하게 한다. 이 설정을 지원하기 위해 재질, 궤적, 물리적 충격 어노테이션이 포함된 큐레이션 데이터셋 VIPER-19K와 필터링된 참조-대상 쌍을 구축한다. 보지 못한 검증 세트에서의 실험은 VIPER가 대표적인 비디오 생성 및 video-as-prompt 기준선보다 더 강한 참조 비디오 물리 유사도와 더 높은 인간 선호도를 달성하면서 경쟁력 있는 일반 비디오 품질을 유지함을 보여준다. 정성적 결과는 VIPER가 정교하게 설계된 프롬프트 없이도 참조에서 유도된 물리적 거동을 새로운 대상 장면으로 전이할 수 있음을 추가로 보여준다.
시각적으로 풍부한 문서에서의 시각적 정보 추출(VIE)은 레이아웃 변동성이 크고 실제 환경의 손상 때문에 여전히 어려운 과제이다. 기존 방법들은 일반적으로 순차적 OCR 파이프라인이나 광범위한 라벨 데이터와 레이아웃별 학습이 필요한 end-to-end 모델에 의존하여 확장성을 제한한다. 우리는 최소한의 감독으로 높은 정확도를 달성하는 다중 유형 VIE를 위한 분류 기반 대규모 비전-언어 모델(LVLM) 프레임워크를 제안한다. 이 접근법은 문서 유형 분류와 내용 추출을 분리하고, 문맥 내 학습(ICL) 기반 동적 프롬프트 엔지니어링을 통해 과제별 지식을 주입하여 다양한 레이아웃에서 견고한 제로샷 추론을 가능하게 한다. 이론적 관점에서, 제안된 방법은 과제 불확실성을 줄이고 프롬프트 기반 추론 중 정보 효율을 향상시키는 조건부 연산의 한 형태로 볼 수 있다. 16가지 증명서 유형을 포함한 실제 입찰 데이터셋에서 평가한 결과, 우리의 제로샷 방법(Qwen2.5-VL-7B 기반)은 F1-score에서 18.35%p(86.43% vs. 68.08%)만큼, 정규화 편집 거리(normalized edit distance)에서는 0.23(0.90 vs. 0.67)만큼 강력한 감독 기준선을 능가한다. 선택적 도메인 특화 미세조정은 성능을 F1 93.65% 및 NED 0.93까지 추가로 향상시키며, 도장, 워터마크, 낮은 대비에 대한 우수한 견고성을 보여준다. 이 프레임워크는 사무 자동화에서 복잡한 문서 이해를 위한 효율적이고 확장 가능한 해결책을 제공한다. 코드는 https://github.com/FairmeHIT/Multi-VIE에서, 미세조정 모델은 https://huggingface.co/fairme/Qwen2.5-VL-7B-SFT에서 이용할 수 있다.
에이전트 과제는 본질적으로 장기 호라이즌이며 다중 턴(multi-turn) 구조로, 환경과의 상호작용을 통해 지속적으로 컨텍스트를 축적한다. 기존 컨텍스트 압축 방법은 불가피하게 정보 손실을 초래하며, 경직된 휴리스틱 규칙에 의해 트리거되어 에이전트의 변화하는 추론 초점과 정렬되지 않는다. 우리는 무손실 컨텍스트 관리를 위해 에이전트에 목적에 맞게 설계된 컨텍스트 편집 도구를 제공하는 프레임워크인 에이전트형 컨텍스트 관리(Agentic Context Management, ACM)를 제안한다. 단기 및 장기 인간 기억 간의 상호작용에서 영감을 받아, 에이전트는 컨텍스트를 압축할 시점을 자율적으로 결정하고, 폐기된 내용을 외부 메모리 시스템으로 오프로드하며, 이후 검색을 위해 필요 시 이를 조회한다. 이 프레임워크를 기반으로, 우리는 컨텍스트 관리의 고품질 시연(demonstration)을 구축하고 에이전트형 검색 및 코딩 과제 모두에서 모델 성능을 향상시키는 사후 학습 파이프라인을 추가로 개발한다. 추가 분석 결과, 효과적인 컨텍스트 관리는 피크 토큰 부담을 줄이고, 확장된 탐색을 가능하게 하며, 독립적인 시행 간 더 일관된 해법을 산출함을 보여준다. 코드, 데이터, 모델 체크포인트는 https://github.com/lixiaochuan2020/agentic-context-management 에서 이용할 수 있다.
사고의 연쇄(CoT) 프롬프팅은 제약이 밀집한 논리적 추론 작업에서 심각하게 실패할 수 있으며, 이때 검증되지 않은 오류가 단계마다 조용히 누적된다. 본 논문은 SymStep을 제안한다. LLM이 한 번에 하나의 원자적 주장을 생성하고(DEDUCE: Alice, pet, Cat), 이어서 경량 제약 전파기(constraint propagator)가 해당 주장이 이전에 수용된 추론과 일관되는지 검사하고, 모순을 거부하며, 함의된 사실을 자동으로 연쇄 전파한다. SymStep+G는 추가로 각 수용된 단계 이후 MRV(minimum remaining values) 안내를 제공하여 LLM을 가장 제약이 많은 미해결 변수 쪽으로 이끈다. 1,000개의 아인슈타인식 논리 퍼즐 벤치마크인 ZebraLogicBench의 35개 퍼즐 보존 부분집합에서 Direct와 CoT는 모두 0%를 달성한 반면 SymStep+G는 97%에 도달한다. AR-LSAT 분석적 추론 문제에서 SymStep은 100%를 달성하며 CoT의 87%를 상회한다. LGP-14에서 SymStep+G는 100%를 달성하고, 비교 대상인 가장 강력한 기존 기호+LLM 기준선인 Logic-LM과 CoT의 0%를 상회한다. Ablation 연구는 MRV 안내가 방향 없는 순환을 줄이는 핵심 메커니즘이며, 일관성 검사가 명시적 모순에 대한 안전망을 제공함을 보여준다. 5개 작업 도메인에 걸친 6개 벤치마크 전반에서 SymStep 변형들은 제약이 밀집한 작업과 산술 작업에서 모든 기준선과 동등하거나 그 이상의 성능을 보인다. AQUA-RAT 대수 실험은 이러한 이점이 제약 밀도에 특화되어 있음을 확인한다.
사고의 연쇄(CoT) 프롬프팅은 대규모 언어 모델(LLM)이 다단계 추론 과제를 수행할 수 있게 하지만, 생성된 중간 단계가 논리적으로 타당하다는 보장은 없다. 우리는 추론 trace로부터 관계 합성 규칙을 학습하고 이를 단계 수준 보정을 위한 온라인 검증기로 배포하는 귀납 논리 프로그래밍(ILP) 기반의 신경-기호(neurosymbolic) 프레임워크인 Reason Popper-ly를 제안한다. LLM이 생성한 trace가 주어지면, 이 방법은 학습된 규칙 테이블에 대해 각 추론 단계를 검사하고, 위반 유형을 진단하며, 기호적으로 도출된 수정으로 잘못된 단계를 다시 쓰고, 검증된 trace를 조건으로 모델이 최종 답을 생성할 수 있도록 나머지 접미사(suffix)를 재생성한다. 우리는 다중 홉(multi-hop) 친족 관계 추론 벤치마크인 CLUTRR에서 2~10홉(hop) 추론 chain에 대해 5개 언어 모델을 사용하여 평가한다. 모든 모델에서 Reason Popper-ly는 표준 CoT 대비 최종 정확도(terminal accuracy)를 일관되게 향상시키며, 가장 긴 chain에서는 소형 모델에서 최대 48%p, 최첨단(frontier) 모델에서 15%p의 개선을 보인다. 완전히 외생적인(exogenous) 기호 파이프라인과 비교할 때, 우리 방법은 모델의 성공적인 그라운딩(grounding)을 유지하면서 검증 가능한 추론 실패만 수정함으로써 더 어려운 인스턴스에서 더 나은 성능을 보인다. 또한, 단계 수준 ILP 검증은 최종 답 정확도를 넘어선 진단적 통찰을 제공하는 세밀한 오류 분류체계(fine-grained error taxonomy)를 산출한다.
대규모 언어 모델(LLM)은 문맥 내 학습(ICL)을 통해 Hidden Markov Model(HMM)로부터 다음 관측값을 예측하는 놀라운 능력을 보여주지만, 이러한 능력의 기반이 되는 알고리즘은 아직 확정되지 않았다. 선행 연구에서는 여러 후보를 제안했으나 합의에 이르지 못했고, 어느 것도 모델의 내부 활성화에 근거하지 않았다. 우리는 3단계 파이프라인으로 이 공백을 메운다. 먼저, LLM의 행동을 후보 알고리즘 모음과 실증적으로 비교하여 후보 공간을 세 클래스로 좁혔다. 다만 단일 클래스가 모든 HMM 설정과 시퀀스 길이에 걸친 LLM 행동을 설명하지는 못한다. 둘째, 세 클래스 간의 이론적 연관성을 도출하고 각각이 트랜스포머에 의해 문맥 내에서 어떻게 구현될 수 있는지 보여주며, 소규모 학습된 트랜스포머에서 해당 구성을 검증한다. 셋째, 사전학습 LLM으로 돌아가 Principal Activations Probe(PAP)를 제안한다. PAP는 모델 활성화에서 알고리즘적 신호를 분리하는 층별 프로빙 및 개입 방법이다. PAP는 모델 예측을 인과적으로 유도하는 저차원 선형 표현을 밝히며, 실증적 ICL 성능을 추적한다. PAP는 또한 이러한 표현이 기저 HMM 체제의 속성에 따라 어떻게 변화하는지를 밝히며, 서로 다른 계산 단계가 서로 다른 층에 국한됨을 보여준다. 종합하면, 우리 결과는 사전학습 LLM의 문맥 내 행동을 기저 내부 메커니즘과 연결하고, LLM이 HMM에서 ICL을 수행하는 방식에 대한 이해를 발전시킨다.
우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.
문맥 내 강화학습(ICRL)은 새롭게 부상하는 강화학습(RL) 패러다임으로, 사전학습(pre-training) 이후 에이전트가 매개변수 업데이트 없이 상호작용 이력의 확장되는 컨텍스트에 의존하여 분포 밖(out-of-distribution) 테스트 과제에 적응할 수 있다. ICRL이 인상적인 일반화를 보여주었지만, 이 적응 과정에서의 안전성(safety)은 아직 탐구되지 않아, 테스트 시점 행동이 안전할 것으로 기대되는 실세계 배포에서의 적용 가능성을 제한한다. 본 연구에서는 SCARED(Safe Contextual Adaptive Reinforcement via Exact-penalty Dual)를 제안한다. 이는 제약 마르코프 결정 과정(constrained Markov decision process) 프레임워크 하에서 ICRL의 안전한 적응을 촉진하는 최초의 방법이다. 매개변수 업데이트 없는 적응 과정 동안, 우리의 에이전트는 보상을 최대화할 뿐만 아니라 누적 비용을 사용자가 지정한 안전 예산(safety budget) 이내로 유지한다. 또한 에이전트가 안전 예산에 능동적으로 반응함을 보인다. 안전 예산이 높을수록 에이전트는 더 공격적으로 행동하고, 안전 예산이 낮을수록 더 보수적으로 행동한다. 도전적인 벤치마크(benchmark) 전반에서 SCARED는 기존 ICRL 및 안전 meta-RL 기준선(baseline)을 능가하며, 안전하고 견고한 문맥 내 적응을 일관되게 가능하게 한다.
대규모 언어 모델(LLM) 에이전트는 추론, 도구 사용, 코드 실행을 결합하는 추론 시점 워크플로우를 구성함으로써 점점 더 복잡한 과제를 해결하고 있다. 이러한 워크플로우는 유연한 문제 해결을 가능하게 하지만, 실행 중 발견되는 유용한 절차는 종종 일시적이다. 즉, 현재 과제를 해결하는 데는 도움이 되지만 미래 과제에 체계적으로 이익이 될 수 있는 형태로 보존되지 않는다. 본 논문은 성공적인 트레이스를 재사용 가능한 스킬 레코드로 컴파일하는 학습 없는(training-free) 프레임워크인 FlowEvo를 제시한다. 각 레코드는 호출 가능한 아티팩트와 보조 구조화된 가이던스를 쌍으로 묶으며, 승인(admission) 시 가능한 경우 인터페이스, 재현(replay), 안전성 검사를 적용한다. 이러한 스킬 레코드는 추론 시점에 스킬 뱅크에 지속적으로 저장된다. FlowEvo는 세 가지 결합된 메커니즘을 중심으로 구성된다: (1) 워크플로우-투-스킬 컴파일레이션으로, 성공적인 트레이스에서 재사용 가능한 실행 가능 아티팩트를 추출한다; (2) 스킬-투-워크플로우 피드백으로, 축적된 스킬을 검색하여 직접 실행 또는 구조화된 컨텍스트 주입을 통해 미래 문제 해결을 지원한다; (3) 스킬 큐레이션으로, 하류(downstream) 유틸리티를 모니터링하고 부정적 전이(negative transfer)를 유발하는 스킬을 억제한다. 이러한 워크플로우-스킬-워크플로우 피드백 루프를 통해 FlowEvo는 모델 파라미터를 업데이트하지 않고도 에이전트가 시간에 따라 과제 해결 능력을 축적하고 정제할 수 있게 한다. 대화형 환경(ALFWorld)과 코드/수학 생성(HumanEval, GSM8K)에 걸친 벤치마크에서의 실험은 FlowEvo가 우리의 구현 설정 하에서 평가된 기준선 중 최상의 정확도-비용 트레이드오프를 달성함을 보여준다. ALFWorld에서 FlowEvo는 82.8%의 성공률을 달성하여 가장 강력한 기준선보다 23.6퍼센트포인트 높으며, 에피소드당 평균 토큰 사용량은 가장 효율적인 기준선의 절반 미만이다. 통제된 ablation은 각 메커니즘이 전체 결과에 기여함을 확인한다. 코드는 https://github.com/DEFENSE-SEU/FlowEvo 에서 공개되어 있다.
Möbius RoPE는 반주기 주파수 사다리 $θ_i=π(2i+1)/N$ 위에 구축된 회전 위치 인코딩(RoPE)이다. 각 회전 평면은 학습 컨텍스트 전체에서 $π$의 홀수 배만큼 진행하므로, 위치 홀로노미(holonomy)는 $-1$이 되고 시퀀스의 양 끝은 폐형식 Dirichlet "dipole"을 통해 결정적으로 결합된다. 우리가 아는 한 이는 위치 인코딩에서 최초의 반주기 경계 조건이다. 우리는 이론을 수치적으로 $\sim 10^{-6}$까지 검증하고, 6개의 160M급 및 3개의 410M급 실험 분기에 걸쳐 48개 모델을 사전학습했다(각각 2B FineWeb-Edu 토큰; 하이브리드 분기는 헤드의 25%에 Möbius 주파수를 배치한다). 하이브리드 perplexity는 변하지 않았으나(29.66 대 29.72), 건초 더미 속 바늘(needle-in-a-haystack) 검색이 신뢰 가능해진다. 컨텍스트 512에서 $90.3\pm5.7\%$ 대 $63.3\pm31.4\%$($n=6$ 시드), 관측된 최악 시드 86% 대 14%, 강건 분산 검정 $p=0.013$-$0.029$(보정 없음), 410M에서도 재현된다(Levene $p=0.040$). 대응 통제 실험이 메커니즘을 분리한다. 동일 주파수 대역의 비주기(aperiodic) 사다리는 효과를 전혀 재현하지 않으며, 주기(holonomy $+1$) 사다리는 일부만 재현한다. 학습된 모델의 주파수 테이블을 표준 RoPE로 되돌리면(가중치 고정) 검색이 붕괴하며, 손상은 먼 바늘에 집중된다. 학습된 모델은 이 장거리 기하학에 의존한다. NoPE 분기는 짧은 컨텍스트에서 더욱 신뢰 가능하지만 13% perplexity 비용을 지불하며 외삽(extrapolation)이 최악이다. 반주기 하이브리드만이 기준선 perplexity와 높은 신뢰성 하한(floor)을 함께 달성한다. 이 효과는 학습 윈도우 내 단일 바늘 검색으로 범위가 한정된다. 따라서 한 줄 주파수 교체만으로 검색 시드 복권(seed lottery)에 대한 무(無)비용 보험을 제공한다.
실제 환경에서의 에이전트 학습은 시간이 많이 걸리는 실험을 실행하거나 인간 피드백을 얻는 것과 같은 비용이 큰 환경 상호작용에 의해 종종 제약을 받는다. 문맥 내 학습(ICL)은 에이전트가 자신의 상호작용 기록으로부터 학습할 수 있는 매우 샘플 효율적인 방법을 제공하지만, 해당 경험이 컨텍스트에서 제거되면 그 이득은 사라진다. 한편, 컨텍스트 증류(context distillation)는 문맥 정보를 모델 가중치에 내재화하는 메커니즘을 제공한다. 그러나 환경 샘플 효율성을 희생하지 않고 에이전트의 상호작용 기록에 이를 적용하는 것은 아직 충분히 탐구되지 않았다. 우리는 이 문제를 경험 증류(Experience Distillation)라고 명명하고, 수집된 경험을 넘어서는 추가적인 환경 상호작용이 필요 없는 구현을 개발한다. 749개의 큐레이션된 소프트웨어 엔지니어링 작업과 6개의 텍스트 어드벤처 게임에 대한 실험 결과, 이 방법은 두 도메인 모두에서 문맥 내 학습의 이득 중 최소 64.8%를 유지하는 반면, 수집된 경험에 대한 직접적인 지도 미세조정은 3.8%만 회복한다. 고전적인 강화학습(RL) 베이스라인과 비교하면, 시행착오 경험에 기반한 문맥 내 학습 후 경험 증류를 적용한 방법은 최소 9.6배 적은 환경 샘플로 그들의 성능과 동등한 결과를 달성한다.
최근 멀티모달 LLM 기반 에이전트는 웹 내비게이션에서 인상적인 능력을 보여주었으며, 다양한 도메인에서 복잡한 브라우징 작업을 완수할 수 있게 했다. 그러나 현재 에이전트는 반복적인 오류에 취약하며 세션에 걸친 과거 경험으로부터 학습하는 능력이 부족해, 장기적 견고성과 샘플 효율성이 제한된다. 우리는 WebCoach를 제안한다. WebCoach는 모델에 구애받지 않는 자기 진화형 프레임워크로, 웹 브라우징 에이전트에 지속적인 세션 간 메모리를 제공하여 재학습 없이 장기 계획, 성찰(reflection), 지속 학습(continual learning)을 향상시킨다. WebCoach는 세 가지 핵심 구성 요소로 이루어진다: (1) 원시 내비게이션 로그를 간결한 요약으로 표준화하는 WebCondenser, (2) 완전한 궤적(trajectory)을 에피소드 경험으로 구조화하는 External Memory Store, (3) 유사성과 최근성에 기반해 관련 경험을 검색하고 런타임 훅(runtime hooks)을 통해 에이전트에 작업별 조언을 주입할지 결정하는 Coach. 이 설계는 웹 에이전트가 고유 컨텍스트 윈도우를 넘어 장기 메모리에 접근할 수 있게 하여, 복잡한 브라우징 작업에서의 견고성을 개선한다. 또한 WebCoach는 새로운 내비게이션 궤적에서 에피소드 메모리를 지속적으로 큐레이션함으로써 자기 진화를 달성하며, 재학습 없이 시간에 따라 에이전트가 개선되도록 한다. WebVoyager 벤치마크에서의 평가는 WebCoach가 세 가지 서로 다른 LLM 백본에 걸쳐 브라우저 사용 에이전트의 성능을 일관되게 향상시킴을 보여준다. 38B 모델을 사용할 때, 평균 단계 수를 줄이거나 유지하면서 작업 성공률을 47%에서 61%로 높인다. 특히 WebCoach를 적용한 더 작은 기본 모델은 GPT-4o를 사용하는 동일한 웹 에이전트와 비슷한 성능을 달성한다.
온라인 추천 플랫폼은 광고 소재에서 구조화된 특징을 추출하기 위해 대규모 언어 모델(LLM)을 점점 더 많이 사용하고 있다. 단일 호출 LLM 어노테이션 에이전트를 배포하면 실제 프로덕션 환경에서 클릭률(CTR)이 크게 개선되지만, 소재별 프롬프팅은 스케일링하기에는 비용이 지나치게 높다. 매 요청마다 전송되는 중복된 시스템 지시문이 청구된 입력 토큰의 94%를 차지한다. 이 비용 병목을 해소하기 위해, 확장 가능하고 높은 처리량을 갖춘 LLM 어노테이션 에이전트인 PromptPack을 제안한다. PromptPack은 컨텍스트 내 배치(in-context batching)를 통해 이 규모를 달성하며, 공유 시스템 프롬프트, 엄격한 XML 구조적 엔벨로프, 출력 교정 층을 결합하여 여러 소재에 대해 동시에 결정론적이고 파이프라인에 바로 투입 가능한 특징 추출을 보장한다. 하류 로지스틱 회귀 순위 모델을 사용한 오프라인 검색 벤치마크를 통해 PromptPack을 평가한다. 에이전트의 동작을 깊이 프로파일링하기 위해 AUC를 측정하고, 생성된 특징의 신호 품질을 포착하는 새로운 지표인 Volume-Weighted Absolute Lift(VWAL)를 도입한다. 배치되지 않은 실제 프로덕션 기준선과 비교했을 때, 배치 크기 20의 PromptPack은 LLM 비용을 89% 절감하고 처리량을 2.5배 가속하면서 AUC를 완전히 유지한다.
텍스트 분류를 위한 프롬프트 최적화는 시연(demonstration) 선택부터 탐험 기반 검색, 오류 기반 진단에 이르기까지 다양한 접근법을 포괄하며, 각각은 알려져 있지만 완전히 규명되지 않은 강점과 한계를 가진다. 우리는 2~150개 클래스를 포함하는 다양한 분류 벤치마크에 걸쳐 포괄적인 실증 연구를 수행하여, 정량적 평가와 최적화 추적(optimization traces)에 대한 정성적 분석을 통해 이러한 패러다임들을 비교했으며, 각 패러다임이 구조적으로 다른 과제 유형에서 뛰어나고 단일 방법이 우세하지 않음을 밝혔다. 이러한 통찰에 기반하여, 우리는 전체 학습 세트를 겹치지 않는 배치로 반복 처리하고 분류 실패를 진단하며, diagnose-prescribe-rewrite 피드백 루프를 통해 타깃화된 의사결정 규칙(decision rules)을 생성하는 오류 기반 방법인 Error-Guided Optimization(ERGO)을 제안한다. ERGO는 오류가 특정 혼동 레이블 쌍에 집중되는 과제(우리는 이를 경계 학습 가능(boundary-learnable) 과제라고 부른다)에서 최고 정확도를 달성한다: TREC: 90.0%, CLINC150: 94.4%, 3~5회 반복에서 수렴하며, 해석 가능한 의사결정 규칙을 생성한다. ERGO가 전체 평균에서 최고 성능을 달성하지는 못하지만, 보완적 역할을 수행한다: 시연 기반 ICL(문맥 내 학습)은 커버리지 의존적 과제에서 우수하고, 탐험 기반 검색은 다중 클래스 intent 과제에서 우수하며, ERGO는 오류 패턴으로부터 의사결정 경계(decision boundaries)를 학습할 수 있는 경우에 우수하다. 우리는 과제 특성을 최적 패러다임 선택과 연결하는 상보성(complementarity) 프레임워크를 제공하여 실무자에게 실용적인 지침을 제시한다.