AI 에이전트(agent)는 일상적인 대화와 자율적인 작업 수행을 결합하여, 이전의 맥락이 이후의 작업 수행 방식에 영향을 미치도록 합니다. 그러나 에이전트의 행동은 노이즈가 많고 재현 비용이 높으며, 관찰된 행동 변화를 일반적인 맥락 민감성과 구분하기 어렵기 때문에 이러한 가능성을 연구하는 것은 쉽지 않습니다. 본 연구에서는 먼저 작업과 무관한 설득이 에이전트의 행동 방식을 변화시키는지, 즉 우리가 '설득 전파(persuasion propagation)'라고 부르는 현상과 설득 감수성이 이러한 영향의 차이를 설명하는지 질문합니다. 연구 결과, 설득적 상호작용은 다운스트림 에이전트 실행에 측정 가능하고 작업에 의존적인 행동적 흔적을 남김을 보여줍니다. 웹 리서치 작업에서는 기준선(baseline) 대비 실행 시간이 56\% 증가하고 방문한 도메인 수가 16.3\% 증가한 반면, 코딩 작업에서는 더 큰 규모의 수정을 수반하면서도 실행 속도가 더 빨라졌습니다. 그러나 설득적 대화 맥락에 더 취약한 에이전트라 하더라도 다운스트림 행동 변화의 크기를 안정적으로 예측하지는 못했습니다. 이는 AI 에이전트에서 설득에 대한 행동 수준의 평가가 필요함을 시사합니다.
문맥 내 학습(ICL)을 통해 시퀀스 모델은 입력에 포함된 예시들로부터 새로운 작업에 적응할 수 있습니다. 기존의 주요 연구들은 순전파(forward pass) 과정에서 문맥 내 예시에 적합하도록 선형 예측기에 경사하강법을 구현하는 셀프 어텐션 구성 방식을 보여주었습니다. 상태 공간 모델(SSM) 및 기타 선형 순환 신경망(LRNN)은 선형 시간 복잡도로 시퀀스를 모델링하지만, 이러한 순환 업데이트가 어떻게 동일한 문맥 내 경사하강법을 수행할 수 있는지는 불분명합니다. 본 논문에서는 지도 학습 그래디언트 단계를 짧은 윈도우 외적(cross-product) 쓰기와 다음 쿼리의 곱셈 기반 읽기로 인수분해하는 대각 LRNN 구조인 Gradient-based Recurrent In-context Learner(GRIL)를 소개합니다. 선형 회귀의 경우, 이 구성은 행렬 상태에 문맥 그래디언트를 누적하고 이를 $O(f^2)$개의 학습된 자유도로 단일 순전파 내에서 적용합니다. 동일한 설계는 다단계 업데이트와 교차 엔트로피 분류로 확장되며, MLP 기반의 제한적인 확장을 통해 비선형 회귀에도 적용할 수 있습니다. 우리는 합성 ICL 작업에서 학습된 GRIL이 이론적 분석을 통해 예측된 동작과 파라미터를 그대로 재현함을 실험적으로 보입니다. 나아가 동일한 아키텍처를 확장하여 Long Range Arena, 언어 모델링, 연상 회상(associative recall)을 포함한 범용 벤치마크에서 학습할 수 있습니다. 종합적으로 이러한 결과들은 윈도우 기반 외적 셀프 어텐션이 범용 작업에서 학습 가능한 상태를 유지하면서도, LRNN이 경사하강법과 유사한 업데이트를 통해 문맥 내 학습을 수행할 수 있도록 하는 구체적인 귀납적 편향(inductive bias)임을 규명합니다.
대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.
테스트 시점 스케일링(test-time scaling)과 사후 학습(post-training)은 코딩 및 수학적 추론 분야에서 대규모 언어 모델(LLM)의 성능을 향상시켰으나, 개인 입장 예측(individual stance prediction)에 대한 효과는 여전히 불분명하다. 본 연구에서는 개인의 과거 이력으로부터 새로운 토론에서 해당 인물의 입장을 예측함으로써 이 문제를 탐구한다. 널리 사용되는 테스트 시점 스케일링 전략과 지도 미세조정(supervised fine-tuning), 강화학습(reinforcement learning) 등의 사후 학습 기법을 평가하고, 생성, 선택, 학습 전반에 걸친 네 가지 실패 양상을 식별한다: (1) 반복된 샘플들이 잘못된 입장에 동의하는 부정확한 합의(incorrect consensus), (2) 생성 단계에서는 관찰된 입장을 포함하지만 선택 단계에서 이를 놓치는 선택 실패(selection failure), (3) 지도 미세조정이 모방 능력은 향상시키지만 예측에는 악영향을 미치는 응답 과적합(response overfitting), (4) 강화학습이 초기에 완만한 성능 향상을 보인 후 추가적인 개선이 제한되는 조기 정체(early plateau). 저자들은 500명의 Hacker News 사용자로부터 추출한 2,499개의 예측 태스크를 포함하는 STANCE-BENCH를 사용하여 이러한 실패 양상을 밝혀낸다. 이러한 분석을 바탕으로, 모든 후보 입장에 대한 직접 점수와 개인의 이력에서 얻은 지지 여부에 대한 명시적 평가를 결합하는 간단한 접근 방식을 탐색한다. 781개 태스크로 구성된 테스트 세트에서 이 접근 방식은 Qwen3-8B를 통해 21.83의 토론 특정 Macro F1을 달성하여 직접 채점의 19.27과 대비되는 성능을 보였다. 본 연구 결과는 후보 생성, 최종 선택, 개인별 근거 활용을 분리하여 평가할 필요성을 제시한다. 데이터셋은 https://github.com/stance-bench/Stance-Bench 에서 이용할 수 있다.
지역난방 에너지 허브는 효율적인 운영 스케줄링을 위해 신뢰할 수 있는 열부하 예측을 필요로 합니다. 과거 데이터로 학습(training)된 예측 모델(model)은 네트워크가 발전함에 따라 재학습이 필요할 수 있습니다. 따라서 제로샷(zero-shot) 시계열 파운데이션 모델과 문맥 내 예측(in-context forecasting)은 유망한 대안을 제시합니다. 즉, 반복적인 재학습 대신 최근 관측값으로부터 추론(inference) 시점에 적응할 수 있습니다. 본 연구는 독일의 두 지역난방 네트워크에서 확률적 열부하 예측을 위해 TabPFN-TS와 Chronos-2를 체계적으로 평가하고, 이를 학습된 베이스라인들과 비교합니다. 기본 모델이 시계열 데이터가 아닌 합성 표 형식(tabular) 데이터만으로 사전학습(pre-training)된 TabPFN-TS가 복잡한 지역난방 동역학을 포착할 수 있는지 평가합니다. 선정된 운영 주간을 대상으로 공변량 선택, 컨텍스트 길이, 시간 해상도, 예측 구간(forecast horizon)을 분석하고, 선정된 구성을 1년 전체에 걸쳐 평가하며, 네트워크 간 전이(cross-network transfer)를 평가합니다. 주요 벤치마크(benchmark)는 완벽한 기상 예보를 가정하며, 별도의 민감도 분석에서는 사후적 기상 예측을 사용합니다. 12주 롤링 컨텍스트와 외기 온도를 활용한 1시간 단위 24시간 예측이 간결한 구성을 제공하며, 더 긴 컨텍스트 윈도우(context window)가 정확도를 향상시키지는 않습니다. 연간 전체 벤치마크에서 두 시계열 파운데이션 모델(TSFM) 모두 결정론적 정확도에서 학습된 모든 베이스라인을 능가합니다. Chronos-2가 가장 우수한 결정론적 점수를 달성하고 TabPFN-TS가 그 뒤를 바짝 따릅니다. 주요 데이터셋(dataset)에서 두 모델의 CVRMSE 값은 각각 12.48%와 13.07%입니다. Chronos-2는 두 네트워크 모두에서 더 낮은 연속 순위 확률 점수(CRPS)를 달성하며, TabPFN-TS 역시 근접한 성능을 유지합니다. TSFM 기반 다중 해상도 잔차 수정 예측기(Multi-Resolution Residual-Correction Forecaster)는 1시간 단위 기본 예측과 단기 고해상도 수정을 결합합니다. 직접적인 고해상도 예측과 비교했을 때, 이는 12시간 기간 동안의 총 열 수요 및 기록된 예측 시간 전반에서 오차를 전반적으로 줄입니다.
대규모 언어 모델(LLM) 에이전트는 상태가 유지되는 환경에서 동작하므로, 한 번의 잘못된 단계만으로도 제한된 상호작용 예산을 낭비하거나 작업 실패가 명확해지기 전에 되돌릴 수 없는 결과를 초래할 수 있습니다. 따라서 안정적인 배포를 위해서는 실행 전에 제안된 행동이 작업을 진전시킬 확률을 추정하는 단계별 신뢰도 추정이 필수적입니다. 기존의 LLM 신뢰도 추정기는 일반적으로 고정된 작업 문맥 및 평가 기준 하의 정적 질의응답을 위해 설계되었습니다. 그러나 에이전트의 경우, 행동 생산성은 실행 후에만 관찰되는 환경 전이에 의존합니다. 이러한 문제를 해결하기 위해, 완료된 궤적(trajectory)의 피드백을 향후 신뢰도 판단을 위한 재사용 가능한 증거로 변환하는 학습이 필요 없는(training-free) 프레임워크인 Critic Experience Bank(CEB)를 소개합니다. 각 궤적이 끝난 후, LLM은 개별 행동에 사후 생산성 의사 레이블(pseudo-label)을 할당하고 이를 크리틱(critic)의 원래 실행 전 신뢰도, 작업 문맥, 행동 및 관찰된 피드백과 함께 저장합니다. 새로운 행동에 대해 CEB는 관련된 생산적 및 비생산적 경험을 검색하여, 고정된 LLM 크리틱을 조건화하기 위해 완료된 궤적의 피드백에 실행 전 신뢰도를 그라운딩합니다. 이를 통해 CEB는 배포 시 매개변수 업데이트나 정답 단계 레이블 없이도 작업 스트림에 적응합니다. 오프라인 및 실시간 웹 내비게이션, 모바일 GUI 및 셸 작업을 아우르는 4개의 에이전트 벤치마크와 3개의 크리틱 백본에 걸쳐, CEB는 규칙 기반 단계 레이블 조건의 12개 벤치마크-백본 설정 전체에서 최저 또는 공동 최저 ECE, Brier 점수 및 최고 AUC를 달성하여 가장 강력한 학습 무관 기준선(baseline) 대비 ECE를 최대 53.8% 줄였습니다. 또한 신뢰도 점수는 선택적 실행 및 시뮬레이션된 작업 성공에서 다운스트림 효용성을 개선합니다.
대규모 언어 모델(LLM)은 단일 턴에서는 복잡한 지시사항을 따를 수 있지만, 긴 다중 턴(multi-turn) 상호작용에서는 지시사항, 페르소나, 규칙의 실마리를 놓치는 경우가 많습니다. 이러한 성능 저하는 행동적으로는 측정되었으나 메커니즘적으로는 설명되지 않았습니다. 본 연구에서는 채널 전환(channel-transition) 설명을 제안합니다. 즉, 어텐션을 통한 목표 정의 토큰으로의 접근성은 낮아지는 반면, 목표 관련 정보는 잔여 표현(residual representations)에 지속될 수 있다는 것입니다. 본 논문에서는 생성된 토큰에서 과업 정의 목표 토큰으로 향하는 어텐션을 측정하는 목표 접근성 비율(GAR)을 도입하고, 이를 슬라이딩 윈도우 절제(ablation) 및 잔여 스트림 프로브와 결합합니다. 지시사항에 대한 어텐션이 닫힐 때 잔존하는 정보는 아키텍처의 특성을 드러냅니다. 여러 아키텍처에 걸쳐 이러한 전환은 질적으로 상이한 실패 모드를 초래합니다. 일부 모델은 어텐션이 사라지는 상황에서도 목표 조건화된 행동을 유지하는 반면, 다른 모델들은 잔여 목표 정보가 디코딩 가능함에도 실패하며, 이러한 인코딩이 나타나는 층(layer)은 2층에서 27층까지 다양합니다. Mistral에서 어텐션 채널을 강제로 닫는 모델 내 인과적 절제 실험을 수행한 결과, 20개 사실 기억 과업에서 재현율(recall)이 거의 완벽한 수준에서 11%로 급감했으며, 사용자 압박이 없는 상태에서도 페르소나 제약 위반이 적대적 압박 기준선(baseline)을 초과하여 증가했고, 두 효과 모두 예측 가능한 교차 턴에서 나타났습니다. 선형 프로브는 4개의 주요 아키텍처 전체에서 입력 임베딩이 무작위 수준에 머무는 동안 잔여 표현으로부터 에피소드별 재현율 결과를 최대 0.99의 AUC로 복원합니다. 아키텍처와 모델 규모 전반에 걸쳐, 어텐션 손실과 잔여 디코딩 가능성 사이의 격차는 채널 폐쇄 시 목표 조건화된 행동이 생존할지를 예측합니다. 본 연구는 진단 도구로서의 GAR, 통제된 메커니즘적 설명으로서의 채널 전환 프레임워크, 그리고 윈도우 기반 어텐션 폐쇄 환경에서 실패 시점에 대한 파라메트릭 예측을 기여점으로 제시합니다.
실시간 비디오 해설 생성은 비디오 내에서 진행 중인 사건에 대한 텍스트 설명을 제공합니다. 이는 스포츠, e스포츠, 라이브 스트리밍과 같은 영역에서 접근성과 몰입도를 높여줍니다. 해설 생성에는 '무엇을 말할 것인가'와 '언제 말할 것인가'라는 두 가지 핵심적인 결정이 수반됩니다. 멀티모달 대규모 언어 모델(MLLM)을 사용하는 최근의 프롬프트 기반 접근법은 콘텐츠 생성 측면에서 우수한 성능을 보였으나, 타이밍 측면은 대체로 간과하고 있습니다. 본 연구에서는 문맥 내 프롬프팅만으로 의미적으로 적절하면서도 타이밍이 알맞은 실시간 해설 생성이 가능한지 조사합니다. 연구진은 두 가지 프롬프트 기반 디코딩 전략을 제안합니다. 1) 고정 간격 접근법과 2) 이전 발화의 예상 길이를 기반으로 다음 예측 타이밍을 조정하는 새로운 동적 간격 기반 디코딩 접근법입니다. 두 방법 모두 별도의 미세조정(fine-tuning) 없이도 휴지기(pause)를 인식하는 생성을 가능하게 합니다. 레이싱 및 격투 게임의 일본어 및 영어 데이터셋을 대상으로 한 실험 결과, 동적 간격 기반 디코딩은 프롬프팅만으로도 사람의 발화 타이밍 및 콘텐츠와 더 밀접하게 일치하는 해설을 생성할 수 있음을 보여줍니다. 연구진은 실시간 비디오 해설 생성에 관한 향후 연구를 지원하기 위해 다국어 벤치마크 데이터셋, 학습된 모델, 구현 코드를 공개합니다.
이질적인 사용자 집단을 대상으로 하는 AI 모델은 각 사용자와 맥락에 적합한 원칙에 따라 행동해야 한다. 사후 학습(post-training)이 대규모 언어 모델(LLM)이 표현하는 관점의 폭을 좁힌다는 것은 이미 밝혀졌지만, 기존 연구는 문맥 정보에 적응하는 능력보다는 기본 행동(default behavior)에 초점을 맞춰왔다. 우리는 사후 학습이 모델을 학습 과정에서 선호하도록 학습되지 않은 관점으로 문맥 내에서(in-context) 조정하는 능력 또한 저하시킨다는 것을 보인다. 통제된 실험에서, 우리는 모델을 문화적 가치 불일치의 한쪽 입장으로 파인튜닝(fine-tuning)하고 학습 전 과정에 걸쳐 체크포인트를 평가한다. 일반적인 사용 환경에서는 학습된 입장이 점점 더 우세해지는 반면, 반대 관점을 인식하고 충실하게 구현하는 능력은 저하된다. 이러한 결과는 단일한 가치 집합을 우선시하는 것과 다양한 이해관계자에게 서비스를 제공하는 데 필요한 기술적 역량을 보존하는 것 사이의 긴장 관계를 시사한다. 마지막으로, 우리는 표현된 관점에 대해 미리 정해진 분포를 따르는 제약 하에서 보상(reward)을 최대화하는 대안적 목적 함수를 제안 및 분석하고, 이를 실용적으로 구현한 방법으로서 입장 분포 매칭(stance-distribution matching)을 제시한다.
본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.
수율과 입체선택성을 동시에 극대화하는 촉매, 리간드, 용매, 시약, 온도, 시간 및 분위기를 선택하는 화학 반응 조건 최적화(chemical reaction-condition optimization)는 대규모 언어 모델(LLM)의 지원이 점차 기대되고 있는 유기 합성 방법론 연구의 핵심적이면서도 고도의 판단을 요하는 하위 작업입니다. 그러나 기존의 화학 벤치마크는 반응 분류 라벨링, 역합성, 또는 SMILES 조작 등을 평가할 뿐, 모델이 실제 조건 스크리닝 표를 읽고 최적의 조합을 선택하도록 요구하지는 않습니다. 본 연구에서는 2025년에 출판된 유기 방법론 논문의 최적화 표에서 추출한 실제 습식 실험(wet-lab) 항목으로 모든 선택지와 선례를 구성한 벤치마크인 RxnOptBench를 소개합니다. 이 벤치마크는 보고된 수율과 거울상이성질체 과잉률(ee), 부분입체이성질체 비율(dr), 위치이성질체 비율(rr)을 결합하여 명시된 대표 효용(headline utility)으로부터 도출된 연속 상대 점수로 채점되며, 문헌 증거의 문맥 내 활용과 파라메트릭 암기를 분리하는 선례 유무(precedents-vs-no-precedents) 쌍 설계를 갖추고 있습니다. 9개의 프론티어 LLM과 3개의 화학 특화 LLM을 평가한 결과, 가장 우수한 모델조차도 상당한 개선의 여지를 남겼습니다. 화학 특화 모델은 다축 선택에서 무작위 기준선(random baseline) 수준으로 떨어졌으나, 오픈 가중치(open-weight) 모델은 독점 프론티어 모델과의 격차를 대부분 좁혔습니다. 본 연구에서는 최종적으로 사람이 검수한 벤치마크 테스트 세트와 평가 코드를 공개합니다.
학습자 시뮬레이션(learner simulation)은 특정 학습자가 새로운 과제에서 어떻게 행동하는지 재현하는 것을 목표로 합니다. 대규모 언어 모델(LLM)이 점차 세분화된 학습 행동을 생성할 수 있게 되었지만, 기존 접근 방식은 학습자를 재구성하기 위해 계속 늘어나는 상호작용 이력을 반복적으로 처리해야 하는 경우가 많습니다. 이는 추가적인 컨텍스트 및 추론(inference) 비용을 유발하며, 획득한 학습자 맞춤형 시뮬레이션 기능을 서로 다른 LLM 간에 재사용하기 어렵게 만듭니다. 이에 따라 본 논문에서는 과거 상호작용에서 획득한 시뮬레이션 역량을 지속 가능하고 재사용 가능한 시뮬레이션 스킬(Simulation Skill)로 외재화하는 Learner2Skill을 제안합니다. 이 스킬은 학습자의 현재 학습 상태와 반복적인 응답 패턴을 포착하고, 새로운 실제 상호작용이 유입됨에 따라 발전하며, 학습자를 처음부터 다시 구성하지 않고도 경량 실행기 보정(executor calibration)을 통해 새로운 LLM에 적응할 수 있습니다. 실험 결과에 따르면 Learner2Skill은 전반적인 토큰(token) 비용을 줄이면서도 세분화된 학습자 행동을 더 충실하게 재현하며, 구축된 동일한 스킬을 서로 다른 LLM 실행기 전반에서 효과적으로 재사용할 수 있음을 보여줍니다.
지식 그래프(KG) 파운데이션 모델은 전이 가능한 관계 구조를 학습함으로써 이전에 보지 못한 개체와 관계를 가진 그래프로 일반화하는 것을 목표로 합니다. 그러나 기존 방법 대부분은 관계 수준의 보편성에만 초점을 맞추고 있어, 파운데이션 모델의 또 다른 기둥인 문맥 내 학습(ICL)은 KG 추론에서 거의 탐색되지 않았습니다. KG의 문맥은 구조화되어 있고 이종적(heterogeneous)입니다. 정확한 예측을 위해서는 질의 개체의 국소적 이웃뿐만 아니라 질의 관계가 여러 인스턴스에 걸쳐 어떻게 동작하는지를 요약하는 전역적 문맥 모두를 조건으로 삼아야 합니다. 본 논문에서는 전이 가능한 관계 표현과 구조화된 문맥에 대한 추론 시점의 문맥 내 학습을 결합한 사전 데이터 적합 네트워크(PFN) 기반의 KG 파운데이션 모델인 KGPFN을 제안합니다. KGPFN은 관계 그래프에서의 메시지 전달을 통해 관계 표현을 학습하고, 다층 NBFNet의 중간 헤드 표현에서 다중 스케일 국소 문맥을 추출합니다. 그런 다음 질의 관계의 양성 및 음성 예시와 이들의 국소적 구조 표현으로부터 관계 특화 전역 문맥을 구축하고, 특징 수준 및 샘플 수준 어텐션으로 이 문맥을 집약합니다. 다중 그래프 사전학습을 통해 KGPFN은 추론 시점의 매개변수 업데이트 없이도 구조적 표현과 레이블이 지정된 문맥적 근거를 결합하는 방법을 학습합니다. 57개 지식 그래프에서 KGPFN은 미세조정을 적용하지 않은 경우와 적용한 경우 모두에서 최고의 평균 MRR을 달성했으며, 문맥 민감도 분석은 음성 문맥 예시의 가치를 강조합니다. 코드는 https://github.com/HKUST-KnowComp/KGPFN 에서 확인할 수 있습니다.
자기 개선형 GUI 에이전트(agent)는 자신이 생성한 궤적을 보관한 후 미세조정(fine-tuning)을 거치거나 프롬프트(prompt)로 검색하여 에이전트에게 다시 전달하지만, 두 목적지를 비교하는 기존 연구들은 서로 일치하지 않는 결과를 보인다. 본 연구에서는 이러한 원인이 경험의 단위에 기인한다고 본다. 즉, 하나의 궤적은 서로 다른 특성을 가진 항목들을 한데 묶기 때문에, 해당 묶음에 대한 결론은 그 구성에 따라 달라진다. 이를 해결하기 위해, (i) 우리는 경험을 로케이터(locator), 절차(procedure), 상태 사실(state fact), 교훈(lesson)으로 분할하고 각 컴포넌트를 컨텍스트 또는 가중치로 보내는 컴포넌트 라우팅을 도입하며, 세 가지 백본 계열, 두 가지 환경, 세 가지 시드에 걸쳐 동일한 항목을 비교했다. 하나의 풀에는 두 목적지가 존재하는데, 로케이터와 교훈은 가중치에서 우세했고, 절차와 상태 사실은 컨텍스트에서 우세했다. (ii) 우리는 어떠한 학습(training)도 진행하기 전에 측정한 두 가지 속성인 재발생성(recurrence)과 상태 조건성(state-conditionality)을 바탕으로 규칙을 적합했다. 이 규칙은 24개 셀 중 24개에서 보류된(held-out) 백본 계열의 목적지를 정확히 찾아냈으며, 두 가지 개입을 통해 컴포넌트를 경계 방향으로 이동시켰고, 규칙 기반 라우팅은 모든 전체 궤적 기준선(baseline)을 능가했을 뿐만 아니라 각 백본의 더 우수한 단일 목적지보다 평균 +3.5점 높은 성능을 달성했다. (iii) 우리는 학습과 생성자-소비자 간 차이가 두 목적지의 가치를 어떻게 변화시키는지 규명했다. 동일한 컴포넌트가 가중치에 기록된 후에는 노트 판독이 감소하며 가장 자주 재발생하는 항목에서 이러한 감소가 가장 컸고, 컨텍스트 이득은 정보 격차에 따라 증가한 반면 가중치 이득은 정책 격차에 따라 감소했다. 코드와 데이터는 공개될 예정이다.
병렬 사고의 연쇄(parallel Chain-of-Thought)에서 발생하는 다양성 붕괴(diversity collapse)는 자연스러운 설계를 기반으로 한 추론 시점 개입 방식을 촉발했습니다. 즉, 과정 보상 모델(PRM)이 체인을 가지치기(pruning)할 때 높은 PRM 점수를 받은 접두 문맥을 추출하여 여전히 디코딩 중인 형제 체인에 문맥 내 데모(in-context demonstration)로 그대로 접목하는 방식입니다. 본 연구에서는 궤적 간 단계 수준 전이(cross-trajectory step-level transfer)의 가장 비용 효율적인 구현체로서 PRM 가지치기 파편 접목(PPFG, PRM-Pruned Fragment Grafting) 메커니즘을 분리하고, 선행 파편 접목 연구들이 추가적인 보완 요소 하에서만 성능 향상을 보고했던 작동 지점에서 이를 테스트합니다. 전체 MATH500(n=500, 3개 시드)에서 Math-Shepherd와 결합한 Qwen2.5-7B-Instruct를 대상으로 평가한 결과, 정체 타깃팅 및 무작위 타깃팅 변형 PPFG 모두 측정된 모든 축에서 독립적인 병렬 CoT 기준선과 통계적으로 구별되지 않았습니다. 본 논문은 그 이유를 규명합니다. 322건의 정체 규칙 주입 이벤트를 4개 버킷으로 분류한 결과, 진정으로 어려움을 겪고 있는 체인을 타깃으로 삼은 경우는 14%에 불과했습니다. 나머지는 이미 성공했거나, 완료 직전이거나, 평평한 PRM 고원(plateau)에 머물러 있어 구원 접목으로 상태를 바꿀 수 없는 체인에 적용되었습니다. 어떠한 복합 게이트 정밀화도 잘 타깃팅된 발화와 적절한 밀도를 동시에 달성하지 못했으며, 무작위 대조군 역시 2.4배의 발화율에서도 동일한 동등성을 보여 이러한 비활성(inertness)이 특정 휴리스틱에 국한된 것이 아님을 확인했습니다. 이러한 발견은 3개의 기반 LM, 6개의 벤치마크, 두 번째 PRM, 호환성 게이트 탐색 전반에 걸쳐 재현되었으며, 양측 단측 검정(TOST) 분석을 통해 12개 Qwen/LLaMA 셀 모두에서 동등성이 통계적 동등성으로 확증되었습니다. 이벤트별 점검 결과 주입된 체인은 매칭 단계 대비 2.75배의 비율로 가지치기되지만, 생존 형제 반사실적 분석(surviving-sibling counterfactual)에서는 집단 수준의 보상이 발견되지 않았습니다. 사후 오라클(hindsight oracle)은 독립 방식 대비 PPFG 선택으로 인한 문제당 이득의 상한을 +0.13%p로 제한합니다. 본 연구는 모든 주장을 테스트된 작동 지점으로 범위를 한정하며, 추론 시점 메커니즘 영가설(nulls)을 확립하기 위한 동등성 검정 템플릿을 제공합니다.
대규모 언어 모델(LLM)과의 대화는 문제를 이해하는 방식이 급격히 변화하는 현상인 인간의 통찰로 이어질 수 있다. 본 관점(perspective) 논문은 대화가 전개됨에 따라 모델의 활동이 통찰과 어떻게 연관되는지 질문한다. 저자는 대화에서 발현되는 지능의 일부가 상호작용하는 두 가지 순환에서 비롯된다고 제안한다. 즉, 생성된 각 토큰이 다음 토큰의 문맥이 되는 순환과, 각 응답이 인간을 거쳐 돌아오며 인간의 해석 및 새로운 관찰이 모델이 입력받는 내용을 재구성하는 순환이다. 이러한 루프 내에서 모델의 기여는 익숙한 표현을 메아리처럼 되풀이하는 방식에서부터 인간이 발전시킬 수 있는 새로운 방향을 열어주는 프레이밍을 제공하는 방식에 이르기까지 여러 모드 사이를 오간다. 이러한 모드들은 모델 활동의 구별 가능한 패턴에 대응할 수 있다. 어떤 문맥을 앞으로 전달할지 선택하는 메모리 '스파인(spine)'은 아이디어 자체가 바뀌더라도 생산적인 패턴을 다시 유도해 낼 수 있다. 공개된 인간-모델 대화 기록, 오픈 가중치 모델에서 기록된 활동, 그리고 계산신경과학 도구들은 이러한 제안들을 검증 가능하게 만든다.
다양한 시각적 질의응답(VQA) 태스크에서 비전-언어 모델(VLM)이 뛰어난 성능을 보임에도 불구하고, 이러한 모델들은 지속적으로 부정(negation)을 이해하는 데 어려움을 겪으며 부정절이 포함된 질문에 대해 잘못된 답변을 생성합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 매개변수 업데이트 없이 VLM의 부정 이해 능력을 향상시키는 학습 불필요(training-free) 문맥 내 학습(ICL) 방식인 스켈레톤 및 전략 프롬프팅(Skeleton-and-Strategy Prompting, SSP)을 제안합니다. 부정 질문이 주어지면, 제안하는 방법은 먼저 질문의 기저 구조를 스켈레톤으로 추상화하고, 경량화된 질문 풀에서 동일한 스켈레톤을 가진 소수의 질문 집합을 검색한 다음, VLM이 이들의 공유된 부정 패턴을 분석하여 단일 문장으로 된 답변 전략을 합성하도록 프롬프트합니다. 이렇게 생성된 스켈레톤과 전략은 테스트 샘플 앞에 추가되어 모델이 부정 문제를 올바르게 해결하도록 안내합니다. 여러 부정 VQA 벤치마크에 대한 실험을 통해 SSP가 연산 효율성을 유지하면서도 부정 중심 VQA 태스크에서 최첨단(SOTA) 성능을 달성함을 보입니다.
비디오 모델을 새로운 태스크에 적용하려면 일반적으로 전용 데이터 큐레이션과 미세조정(fine-tuning)이 필요합니다. 시각적 유추(visual analogy)는 문맥 내(in-context)에서 태스크를 지정함으로써 별도의 학습(training)이 필요 없는 대안을 제공하지만, 여전히 이미지 도메인에 국한되어 있습니다. 본 논문에서는 유추 기반 방식이 다양한 비디오 태스크를 통합하고 분포 외(out-of-distribution) 시나리오로 일반화될 수 있는지를 탐구하기 위해, 시공간 캔버스 완성(spatiotemporal canvas completion)을 통해 시각적 문맥 내 학습을 비디오 도메인으로 확장하는 프레임워크인 ViGeo를 소개합니다. 엄격한 학습-테스트 분할을 적용한 다양한 태스크 분류 체계에서 평가한 결과, ViGeo는 학습 시 보지 못한 비디오 조작 및 제로샷(zero-shot) 모달리티(예: 이벤트 카메라)로 일반화됩니다. 마지막으로, 사전학습된 태스크와 연관된 쿼리 형식이 시연(demonstration)을 무시하는 현상인 태스크 내재화(task internalization)를 식별하고, 태스크와 무관한 소량의 데이터를 통해 이러한 지름길(shortcut)을 제거할 수 있음을 보여줌으로써 프롬프트(prompt) 형식과 태스크 정체성 간의 상관관계를 분리할 필요성을 강조합니다.
테스트 시점에 대규모 언어 모델(LLM)은 과거 정보를 활성화 메모리(activation memory, 즉 KV 캐시)와 파라미터 메모리(parametric memory, 즉 갱신된 파라미터)에 인코딩할 수 있다. 일반적으로 활성화 메모리는 사실 상기(factual recall)에, 파라미터 메모리는 새로운 태스크 학습에 효과적이라고 여겨지지만, 두 메모리 간의 상호작용은 아직 명확하지 않다. 본 연구에서는 통제된 실험을 통해 퓨샷 학습에서 메모리의 역할을 체계적으로 조사한다. 그 결과, 사실을 상기하는 데에는 활성화 메모리가 더 우수한 반면, 태스크 학습에서는 파라미터 메모리가 활성화 메모리보다 일관되게 더 나은 성능을 보이지는 않음을 확인했다. 또한 실험 결과, 복합 태스크인 조건부 산술(Conditional Arithmetic)을 해결하려면 두 메모리 유형의 시너지가 필요하다. 뉴런 수준 분석을 통해, 모델이 동일한 과거 정보에 활성화 메모리로 접근할 때와 파라미터 메모리로 접근할 때 서로 다른 뉴런 집합을 활성화함을 발견했다. 두 메모리 유형을 결합하면 모델은 두 집합의 뉴런을 모두 동원하며, 이는 조건부 산술을 해결하는 데 결정적이다. 이러한 발견은 이 복합 태스크에서 어느 한 메모리 메커니즘만으로는 충분하지 않음을 시사하며, 두 메모리의 협력이 중요함을 강조한다.
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.