PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2605.19351cs.MA

PAVE: A Cognitive Architecture for Legitimate Violation in Generative Agent Societies

최근의 규칙 준수형 에이전트 연구에서 중요한 과제는 단순히 행동을 생성하는 것이 아니라, 어떤 상황에서 규칙을 따르고 언제 예외적으로 위반을 허용할지를 일관된 기준으로 판단하게 만드는 데 있습니다. 제시된 방법론은 이러한 문제를 지각, 평가, 판정, 행동 에뮬레이션, 결과 전파로 이어지는 폐루프 구조로 정식화하며, 각 단계의 입력과 출력 형식을 엄격하게 분리해 에이전트의 의사결정을 구조화합니다. 특히 초기 단계에서 AGENT DESCRIPTION을 바탕으로 임계값(threshold)을 도출하여, 에이전트의 신중함이나 위험 감수 성향에 따라 규칙 위반 허용 기준이 달라지도록 설계한 점이 인상적입니다. 이후에는 관찰된 장면을 권위자의 존재, 동료의 행동, 위협 신호와 같은 구조화된 맥락으로 변환하고, 이 정보를 바탕으로 적발 위험(risk), 경험적 기대(empirical expectation), 규범적 기대(normative expectation), 주관적 이득(benefit), 정당성(legitimacy)을 각각 별도의 축에서 평가합니다. 이러한 분해는 행동 선택을 하나의 단일 점수에 의존하지 않고, 외재적 제재 가능성, 사회적 관찰 패턴, 규범적 압력, 즉각적 효용, 도덕적 정당화 조건을 서로 다른 의미 층위로 구분해 다룬다는 점에서 방법론적 정교함을 보여줍니다. 가장 두드러지는 기여는 정당성 평가를 최종 판정의 하드 게이트로 배치한 설계입니다. 즉, 규칙 위반이 필요성, 비례성, 대안 부재라는 세 조건을 충족하지 못하면 위험이 낮거나 이득이 높더라도 자동으로 준수(comply)로 수렴하도록 하여, 단순한 기대값 최적화가 아니라 규범적 허용 가능성을 우선시합니다. 이는 시간 압박이나 편의 같은 요인이 위반의 이유가 될 수는 있어도 정당성 자체를 구성하지는 못한다는 점을 명시적으로 반영하며, 기존의 확률적 또는 효용 기반 의사결정과 뚜렷이 구별됩니다. 또한 최종 판정 이후에는 그 결정을 5초 단위의 구체적 행동 시퀀스로 에뮬레이션하고, 위반이 허용된 경우에도 관련 규칙만 최소한으로 어기도록 제한함으로써 행동 수준의 폭주를 방지합니다. 더 나아가 그 결과를 3인칭 관찰 서술로 전파하여 다음 라운드의 경험적 기대를 갱신하게 함으로써, 개별 에이전트의 선택이 집단 수준의 규범 학습으로 이어지는 동적 피드백 구조를 형성합니다. 이러한 점에서 본 방법은 단순한 프롬프트 설계를 넘어, 규칙 준수와 예외적 위반을 판정하는 사회적 추론 체계를 절차적으로 모델링한 프레임워크로 볼 수 있습니다. 전반적으로 이 접근은 에이전트가 환경 신호, 사회적 맥락, 규범적 제약을 통합해 판단하도록 만들며, 규칙 기반 상호작용이 필요한 다중 에이전트 환경에서 해석 가능성과 통제 가능성을 함께 높이는 데 기여합니다.

arXiv:2605.19130cs.LG

EgoBabyVLM: Benchmarking Cross-Modal Learning from Naturalistic Egocentric Video Data

자연주의적 egocentric 비디오에서 언어 grounding을 학습하는 문제는, 인간 아동이 제한된 시각-언어 경험만으로도 세계와 언어를 견고하게 연결해 나간다는 사실을 어떤 계산적 원리로 설명할 수 있는지 묻는 중요한 연구 주제입니다. 저자들은 오늘날의 비전-언어 모델(vision-language model, VLM)이 웹 규모의 정제된 이미지-캡션 데이터에서는 강한 성능을 보이지만, 실제 생활환경에 가까운 웨어러블 영상이나 embodied agent의 first-person 스트림에서는 기대만큼 일반화하지 못한다는 점에 주목합니다. 이러한 한계는 단순히 모델 구조의 부족이라기보다, 학습 데이터가 얼마나 강하게 시각과 언어를 정렬하고 있는지, 즉 교차-모달(cross-modal) 의미 정렬의 수준이 다르기 때문에 발생한다는 것이 이 논문의 핵심 관점입니다. 인간이 경험하는 자연주의적 장면에서는 발화와 시각 정보가 순간적으로 정확히 대응하지 않고 맥락과 시간 흐름 속에서 느슨하게 연결되지만, 현재의 VLM은 지나치게 정제된 데이터에 의존해 이러한 약한 정렬 신호를 충분히 활용하지 못합니다. 이러한 문제의식을 바탕으로 저자들은 정렬 정도가 서로 다른 데이터셋, 특히 자연주의적 영아와 성인의 egocentric 비디오를 포함한 자료로 VLM을 학습시키고, 그 결과를 다층적으로 평가합니다. 여기서 중요한 점은 단순한 이미지 분류나 일반적인 시각 질의응답이 아니라, 언어 grounding과 비전·언어 능력을 함께 검증할 수 있는 평가 체계를 구축했다는 데 있습니다. 대표적으로 제시된 Machine-DevBench는 발달심리학의 문제의식을 반영한 코퍼스 기반(corpus-grounded) 벤치마크로, 모델의 학습 어휘 분포에 맞추어 자동 생성되어 학습-평가 불일치(train/eval mismatch)와 낮은 통계적 검정력(statistical power)을 줄이도록 설계되었습니다. 이 벤치마크는 명사 인식, 속성 귀속, 그리고 여러 문법 구조를 포괄하는 과제로 구성되어 있어, 모델이 단순히 표면적 상관관계를 외우는지, 아니면 실제로 언어를 시각 경험에 묶어 해석하는지를 보다 정밀하게 드러냅니다. 또한 저자들은 멀티모달 학습이 unimodal 능력을 얼마나 끌어올리는지도 함께 검증하며, 이를 위해 비전 인코더와 텍스트 인코더를 분리해 평가하는 설계를 택합니다. 특히 Visual Property Swap(VP-Swap) 과제는 텍스트 인코더에 시각 정보를 주입했을 때 표현이 얼마나 더 grounded하게 변하는지를 측정하도록 고안되어, 멀티모달 결합이 단순한 성능 향상을 넘어 의미 표현의 질을 바꾸는지 확인하는 데 초점을 둡니다. 이와 함께 EgoBabyVLM Challenge Suite는 공개 가능한 고정 크기 baby egocentric 비디오 코퍼스, 전용 평가 파이프라인, 그리고 리더보드까지 포함하여, 자연주의적 환경에서의 학습 가능성과 일반화 능력을 체계적으로 비교할 수 있는 기반을 제공합니다. 저자들이 CLIP+와 LLaVA 같은 대표적 컨트라스티브(contrastive) 및 생성형(generative) 모델을 이 환경에서 시험한 결과는 분명한 메시지를 줍니다. 정제된 캡션 데이터에서는 오프더셸프 모델이 비교적 안정적인 성능을 보이지만, 약하게 정렬된 egocentric 데이터에서는 성능이 거의 우연 수준에 머물러, 아키텍처 확장만으로는 자연주의적 grounded language learning을 해결할 수 없음을 보여줍니다. 결국 이 연구는 VLM의 한계를 모델 크기나 설계의 문제로만 보지 않고, 학습 데이터의 구조와 의미적 정렬 수준을 근본 변수로 재해석하며, 아동의 멀티모달 언어 습득을 모사할 수 있는 새로운 평가와 학습 방향을 제시한다는 점에서 중요한 의의를 지닙니다.

arXiv:2605.19095cs.LG

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

대규모 언어 모델(Large Language Model, LLM) 사전학습에서 학습률 스케줄에 대한 의존도를 줄이면서도 성능과 안정성을 동시에 확보하는 것은 오랫동안 중요한 과제로 남아 있었습니다. ScheduleFree+는 이러한 문제의식에서 출발하여, 학습률을 미리 설계하는 방식 대신 평균화, 모멘텀, 가중치 감쇠(weight decay), 그리고 Polyak step size를 하나의 일관된 최적화 틀로 재구성한 방법입니다. 기존 Schedule-Free Learning이 여러 표준 벤치마크에서는 유효했지만 LLM 규모로 확장될수록 약해졌다는 한계를 보완하기 위해, 이 논문은 대형 배치와 대형 모델, 그리고 장기 학습 환경에 맞는 구조적 수정들을 체계적으로 도입합니다. 특히 내부 모멘텀(inner momentum)을 재도입해 큰 배치에서의 발산을 완화하고, 평균화 계수와 가중치 감쇠를 다시 설계하여 그래디언트 노름 drift를 억제함으로써, Warmup-Stable-Decay(WSD)와 같은 전통적 스케줄보다 더 낮은 손실을 달성합니다. 이 접근의 핵심은 “학습률을 없앤다”는 단순한 선언이 아니라, 학습 과정의 동역학을 평균화 중심으로 다시 정의하는 데 있습니다. ScheduleFree+는 현재 반복점과 평균 반복점, 그리고 평가점을 분리해 다루면서, 그래디언트를 계산하는 위치와 최종 모델을 선택하는 기준을 다르게 설정합니다. 이러한 구조는 모델 평균화(model averaging)와 체크포인트 병합(checkpoint merging)을 사전학습 단계에서 이론적으로 정당화한다는 점에서 의미가 크며, 최적화의 실용성과 이론적 해석을 함께 강화합니다. 또한 배치 크기가 커질수록 기존 방식이 겪는 스케일링 한계를 분석하고, 그 원인이 단순히 배치 증가 자체가 아니라 더 큰 스텝을 안정적으로 수용하지 못하는 데 있음을 보입니다. 그 결과, 내부 모멘텀과 역 그래디언트 노름 기반(step size) 보정이 단순한 보조 기법이 아니라, 대규모 학습의 확장성을 좌우하는 핵심 요소임이 드러납니다. 더 나아가 논문은 weight decay가 단순한 규제가 아니라 정규화 층이 있는 신경망에서 유효 학습률(effective learning rate)을 조절하는 장치라는 점을 강조합니다. 너무 작은 weight decay는 그래디언트 노름과 가중치 노름의 불균형을 키워 장기 학습에서 불안정성을 유발할 수 있고, 반대로 너무 큰 값은 학습 동역학을 지나치게 위축시킬 수 있습니다. 이에 따라 ScheduleFree+는 fully-decoupled AdamC와 같은 수정된 업데이트 규칙을 사용하여, 현재 학습률에 과도하게 의존하지 않으면서도 그래디언트 노름을 안정적으로 유지하도록 설계합니다. 여기에 Polyak step size를 LLM 학습에 맞게 변형한 learning-rate-free 규칙을 결합함으로써, 별도의 세밀한 학습률 탐색 없이도 튜닝된 기준선을 능가하는 결과를 제시합니다. 무엇보다 인상적인 점은 이 방법이 장기 학습에서 특히 강하다는 사실입니다. β(베타) 어닐링(annealing)과 가중치 조정(weighting)을 통해 초반의 빠른 감소와 후반의 높은 최종 성능을 함께 노리고, 학습 곡선이 역제곱근 형태로 예측 가능하게 전개된다는 점까지 보여줍니다. 이는 ScheduleFree+가 단지 성능 좋은 옵티마이저가 아니라, 학습 진행과 종료 시점까지 비교적 정확히 추정할 수 있는 운영 가능한 훈련 방법이라는 의미를 갖습니다. 결국 이 논문은 대규모 언어 모델 사전학습에서 “어떤 학습률 스케줄을 쓸 것인가”라는 질문을 넘어, “평균화와 동역학을 어떻게 재설계해야 장기적으로 더 안정적이고 예측 가능한 학습이 가능한가”에 대한 설득력 있는 답을 제시합니다.

arXiv:2605.19093cs.AI

Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts

현대의 시스템 프롬프트는 대화형 인공지능의 행동 양식을 좌우하는 핵심 제어 장치이지만, 실제 환경에서는 개별 예시의 정답 여부나 오류 원인보다 집계된 하나의 점수만 주어지는 경우가 많아 정교하게 조정하기 어렵다. 이러한 제약을 다루기 위해 제안된 ReElicit는 시스템 프롬프트 최적화를 이산적이고 길이가 가변적인 자연어 아티팩트에 대한 샘플 제약 블랙박스 최적화 문제로 보고, 대규모 언어 모델(large language model, LLM)이 단순히 문장을 생성하는 역할을 넘어 의미적 표현 공간 자체를 구성하도록 유도한다. 구체적으로는 과제 설명, 기존에 평가된 프롬프트, 그리고 각 프롬프트의 스칼라 점수만을 입력으로 받아, LLM이 간결하고 해석 가능한 특징 공간(feature space)을 먼저 추출하고 그 공간 안에 프롬프트를 사상하는 방식을 취한다. 이렇게 만들어진 표현 위에서는 가우시안 프로세스(Gaussian process) 대리 모델이 점수 분포를 근사하고, 베이지안 최적화(Bayesian optimization)의 획득 함수(acquisition function)가 다음에 탐색할 타깃 특징 벡터를 선택함으로써 탐색과 활용의 균형을 체계적으로 조정한다. 이후 LLM은 선택된 특징 벡터를 실제 배포 가능한 시스템 프롬프트로 구체화하며, 새 평가 결과가 들어올 때마다 특징 공간을 다시 유도하는 재귀적 갱신 과정을 통해 표현 자체를 관측 이력에 맞게 적응시킨다. 이 접근의 중요한 기여는 프롬프트를 직접 미세조정하는 대신, 프롬프트를 설명하는 좌표축을 동적으로 재구성한다는 점에 있다. 전통적인 프롬프트 탐색이 텍스트 표면형의 변형에 머무른다면, ReElicit는 어떤 의미적 속성이 성능을 설명하는지부터 다시 묻고, 그 의미 축을 바탕으로 최적화를 수행한다. 따라서 해석 가능성이 유지되면서도, 사람이 미리 특징을 설계하지 않아도 되는 장점이 생긴다. 실험은 예시별 라벨이나 오류 설명이 전혀 없는 집계 피드백 환경을 가정하고, 오프라인 벤치마크 정확도를 하나의 스칼라 신호로만 활용하여 현실적인 제약을 엄격하게 모사했다. 10개의 시스템 프롬프트 최적화 과제에서 총 30회의 평가 예산만 허용된 조건에서도 ReElicit는 대표적인 집계 피드백 기반 기준선들 가운데 가장 강한 전체 성능을 보였으며, 이는 적은 관측만으로도 적응적 의미 표현을 구축하는 전략이 유효함을 시사한다. 특히 반복이 진행될수록 유도된 특징 공간의 적합도가 높아지는 사례는, 초기의 거친 의미 축이 점차 더 정교한 축으로 수렴하면서 최적화 효율이 개선된다는 점을 잘 보여준다. 결국 이 논문은 LLM을 프롬프트 생성기뿐 아니라 자연어 아티팩트의 의미 공간을 설계하는 적응적 표현 구성기로 재해석하며, 제한된 피드백만 존재하는 환경에서도 베이지안 최적화를 효과적으로 적용할 수 있는 새로운 방법론을 제시한다. 이러한 관점은 시스템 프롬프트 튜닝을 넘어, 정책 문구나 응답 지침처럼 평가 신호가 희소한 다양한 자연어 최적화 문제로 확장될 가능성을 열어준다.

arXiv:2605.18937cs.AI

Evaluating the Utility of Personal Health Records in Personalized Health AI

환자가 직접 관리하는 개인 건강 기록(PHR)은 환자가 자신의 건강을 더 잘 이해하도록 돕는 잠재력이 있지만, 기록 속 정보가 복잡해 통찰을 얻는 데 방해가 될 수 있습니다. 연구진은 대규모 언어 모델(LLM)인 Gemini 3.0 Flash가 PHR의 임상 데이터를 문맥으로 받았을 때, 사용자의 건강 질문에 얼마나 유용하게 답할 수 있는지 평가했습니다. 이를 위해 웹 검색형 짧은 질의, 챗봇 대화 템플릿에서 만든 긴 질문, 의료진에게 실제로 한 환자 문의 등 3가지 분포에서 총 2,257개의 질문을 수집했으며, 1,945개의 비식별화된 PHR과 매칭했습니다. 응답은 PHR 문맥 없이 생성한 경우, 인구통계·질환·약물의 기본 요약만 제공한 경우, 그리고 상세한 임상 노트를 모두 제공한 경우로 나누어 비교했습니다. 평가에는 기존 SHARP 기준과 함께 PHR 해석에서 나타나는 특수 오류를 보기 위한 새 평가 프레임워크를 사용했고, 전체 데이터는 자동 평가자(autorater)로, 일부 95개 사례는 임상의가 직접 평가했습니다. 그 결과 PHR 문맥을 제공했을 때 모든 질문 유형에서 답변의 유용성이 유의하게 향상되었고(p < 0.001), 안전성, 정확성, 관련성, 개인화 측면에서도 개선 가능성이 관찰되었습니다. 다만 평가 프레임워크는 LLM이 복잡한 PHR을 해석할 때 시간적 혼동이나 드물지만 중요한 환각(confabulation) 같은 한계도 드러냈으며, 이는 PHR 기반 답변의 품질을 지속적으로 점검할 체계가 필요함을 보여줍니다.

arXiv:2605.18747cs.CL

Code as Agent Harness

최근 대규모 언어 모델(Large Language Model, LLM)의 코드 이해·생성 능력은 단순히 정답 코드를 만들어 내는 수준을 넘어, 에이전트가 추론하고 행동하며 환경을 모델링하고 실행 결과를 검증하는 기반으로 확장되고 있습니다. 이러한 변화 속에서 저자들은 코드를 에이전트 인프라의 중심에 두는 관점인 코드 as 에이전트 하니스(code as agent harness)를 제안하며, 코드가 더 이상 최종 산출물에 머무르지 않고 장기적 과업을 지탱하는 운영 매체가 되어야 한다고 설명합니다. 이 관점의 핵심은 모델 자체의 능력만이 아니라, 그 출력을 안정적으로 실행 가능한 행동과 지속 상태로 연결하는 하니스(harness)의 설계가 에이전트 성능을 좌우한다는 점에 있습니다. 논문은 이러한 문제를 하니스 인터페이스, 하니스 메커니즘, 하니스 확장이라는 세 층위로 체계화하여, 코드가 추론·행동·환경 표현과 만나는 접점부터 시작해 장기 실행을 위한 계획, 메모리, 도구 사용, 피드백 제어를 거쳐 다중 에이전트 협업과 검증으로 이어지는 흐름을 일관되게 정리합니다. 먼저 하니스 인터페이스는 코드가 에이전트의 사고와 행동을 외부 세계에 연결하는 접점으로서, 코드베이스나 실행 흔적, 테스트 결과와 같은 구조화된 신호를 환경의 일부로 다룹니다. 이어서 하니스 메커니즘은 장기 과업 수행을 가능하게 하는 핵심 제어 장치로서, 계획(planning), 메모리(memory), 도구 사용(tool use)을 중심에 놓고, 실행 중 들어오는 피드백을 반영해 경로를 수정하는 적응적 제어를 강조합니다. 특히 계획은 단순한 내부 사고가 아니라 자연어 목표를 실행 가능한 단계로 외재화하고, 코드 아티팩트와 도구 호출을 조율하는 제어층으로 정의되며, 메모리는 현재 컨텍스트 유지, 저장소 근거 검색, 경험 재사용, 장기 상태 보존, 다중 에이전트 간 상태 동기화를 담당하는 통합 상태 관리 계층으로 설명됩니다. 도구 사용 역시 API 호출을 넘어 파일 편집, 셸 실행, 테스트, 정적 분석, 검증기와의 상호작용을 포괄하는 관리된 행동 인터페이스로 확장되며, 이는 에이전트가 실제 소프트웨어 환경 안에서 안전하고 추적 가능하게 작업하도록 만드는 핵심 수단이 됩니다. 논문은 이러한 요소들을 Plan-Execute-Verify(PEV) 루프로 통합하여, 의도를 명시적으로 계획하고 샌드박스 환경에서 실행한 뒤 결정론적 센서와 인간 검토를 통해 검증하는 폐루프 구조를 제시합니다. 이 루프는 디버깅을 사후 수정이 아니라 상태 전이에 대한 제어 문제로 재해석하게 하며, 회귀 없는(regression-free) 개선과 권한 경계, 관찰성, 감사 가능성을 함께 고려하도록 만듭니다. 또한 Agentic Harness Engineering(AHE) 관점에서 하니스 자체를 측정·진단·수정·평가·승격하는 적응형 최적화 경로를 제안함으로써, 모델을 다시 학습하지 않고도 시스템 수준에서 신뢰성과 효율성을 높일 수 있음을 보여 줍니다. 결과적으로 이 서베이는 코드 중심 에이전트가 단발성 생성 시스템을 넘어, 실행 가능하고 검증 가능하며 상태를 유지하는 AI 에이전트 시스템으로 발전하기 위한 통합 로드맵을 제시한다는 점에서 중요한 의미를 갖습니다.

arXiv:2605.18663cs.AI

GIM: Evaluating models via tasks that integrate multiple cognitive domains

대규모 언어 모델(LLM) 벤치마크가 점점 포화되면서, 성능 평가의 초점은 지식의 양을 겨루는 방식과 추상적 추론만을 떼어내는 방식 사이에서 흔들려 왔습니다. Grounded Integration Measure(GIM)는 이러한 양극단을 넘어서, 널리 접근 가능한 지식을 바탕으로 여러 인지 과정을 통합해야만 해결할 수 있는 과제를 통해 모델의 실제 문제 해결 능력을 평가하려는 시도입니다. 이 벤치마크는 제약 만족(constraint satisfaction), 상태 추적(state tracking), 정보의 신뢰성에 대한 감시(epistemic vigilance), 청중에 맞춘 반응 조절(audience calibration)처럼 서로 다른 인지 연산을 동시에 요구하도록 설계되어, 단순한 암기나 단일 추론 능력만으로는 높은 성과를 내기 어렵게 만듭니다. 총 820개의 원문제로 구성된 이 자료는 615개의 공개 문제와 205개의 비공개 문제로 나뉘어 있으며, 이러한 분할은 모델이 학습 중 접했을 가능성에 대한 오염(contamination) 진단을 내장한 구조라는 점에서 중요합니다. 문제들은 모두 전문가가 직접 작성한 원문제이며, 대부분은 rubric-decomposed scoring을 적용해 단일 정답 여부가 아니라 여러 평가 기준에 걸친 부분 성취를 함께 반영합니다. 중앙값 기준으로 문제당 6개의 독립 채점 기준이 사용되기 때문에, 모델이 최종 답을 완전히 맞히지 못하더라도 정보 통합 과정에서 보인 질적 차이를 더 세밀하게 포착할 수 있습니다. 저자들은 이러한 복합적 응답 신호를 단순 정확도로 환원하지 않고, 2-parameter logistic(2PL) item response theory(IRT) 모형을 이용해 연속적인 능력 추정치를 계산합니다. 20만 개가 넘는 프롬프트-응답 쌍과 28개 모델을 바탕으로 보정된 이 프레임워크는 오류나 결측이 있는 상황에서도 모델과 테스트 설정의 상대적 순서를 안정적으로 정렬하도록 돕습니다. 이 통계적 보정은 벤치마크 리포팅에서 자주 발생하는 왜곡을 완화한다는 점에서 특히 의미가 큽니다. 실제 평가에서는 같은 모델이라도 사고 예산(thinking budget), 양자화(quantization), 샘플링 방식 같은 설정 차이로 인해 성능이 크게 달라질 수 있는데, GIM은 이러한 test-time compute 변수를 독립적인 분석 대상으로 다룹니다. 논문은 22개 모델과 47개 test-configuration에 대한 포괄적 리더보드를 제시하며, 그중 11개 모델을 35개 설정으로 스윕하는 대규모 분석을 통해 추론 시 계산량과 모델 역량 사이의 trade-off를 체계적으로 보여줍니다. 여기서 드러나는 핵심 결과는 모델 계열 자체의 선택만큼이나, 같은 계열 내부에서 어떤 추론 예산과 양자화 조합을 택하는지가 성능을 좌우한다는 점입니다. 결국 GIM의 기여는 단순히 새로운 벤치마크를 하나 추가한 데 그치지 않습니다. 이 작업은 현실적 맥락 안에서 여러 인지 기능을 통합하는 능력을 측정하고, 공개·비공개 분할과 다중 기준 채점, 그리고 IRT 기반 보정을 결합해 평가의 신뢰성과 설명력을 함께 높였습니다. 더 나아가 평가 프레임워크와 보정된 IRT 파라미터, 공개 문제를 함께 공개함으로써 후속 연구가 같은 기준 위에서 모델을 비교하고 오염 가능성을 점검할 수 있는 기반까지 마련했습니다. 따라서 GIM은 지식 경쟁과 추상 퍼즐의 중간 지점을 재정의하며, 실제 활용 상황에 더 가까운 형태로 언어 모델의 통합적 사고 능력을 측정하는 방향을 제시합니다.

arXiv:2605.16748cs.GR

Genflow Ad Studio: A Compound AI Architecture for Brand-Aligned, Self-Correcting Video Generation

생성형 비디오 모델은 높은 시각적 사실성을 보여주고 있지만, 기업 환경에서 요구되는 브랜드 일관성과 시간적 안정성을 동시에 만족시키는 데에는 여전히 한계가 있습니다. 특히 기존의 단일 모델 중심 구조는 프레임 간 불일치를 완전히 제어하기 어렵고, 승인되지 않은 로고나 색상, 타이포그래피를 임의로 생성하는 환각(hallucination) 문제를 자주 일으킵니다. 이러한 문제의식에서 제안된 Genflow Ad Studio는 생성 과정을 하나의 모델 출력으로 끝내지 않고, 검색 기반 브랜드 규칙 추출과 반복 검증을 결합한 컴파운드 AI 시스템(Compound AI System)으로 설계되었습니다. 핵심은 기업의 시각 정체성을 담은 브랜드 DNA를 검색 기반 모듈로 구조화하여, 생성 모델이 따라야 할 색상, 레이아웃, 서체, 자산 규칙을 명시적 제약으로 변환하는 데 있습니다. 이를 통해 생성은 단순한 프롬프트 응답이 아니라, 미리 정의된 브랜드 기준 안에서만 이루어지는 통제된 과정으로 바뀝니다. 또 다른 핵심 방법론은 적대적 다중 에이전트 품질 관리(Adversarial Multi-Agent Quality Control, QC) 루프입니다. 이 구조에서는 생성자 모델이 한 번에 최종 결과를 내는 대신, 여러 평가자 에이전트가 각 프레임을 브랜드 규칙과 대조해 비판하고, 그 피드백을 바탕으로 생성기가 출력을 수정하는 과정을 반복합니다. 다시 말해, 생성과 검증을 분리한 뒤 상호작용시키는 self-correcting pipeline을 구축함으로써, 확률적 생성기의 불안정성을 시스템 차원에서 보완합니다. 특히 이러한 반복 절차는 단순한 휴리스틱 조정이 아니라, 사전 추출된 브랜드 DNA에 근거해 위반을 식별하고 수정하는 구조적 피드백 메커니즘이라는 점에서 의미가 큽니다. 논문은 이 접근이 엔터프라이즈 환경에서 중요한 결정성(determinism)과 감사 가능성을 제공한다고 강조합니다. 실제로 제안 시스템은 브랜드 준수 영상 생성 수율을 42%에서 89%로 끌어올리며, 생성 품질을 단순히 높이는 수준을 넘어 실무 적용 가능한 안정성을 확보할 수 있음을 보여줍니다. 결국 Genflow는 더 큰 모델을 만드는 방향이 아니라, 생성 모델을 검색, 평가, 수정의 연쇄로 둘러싸는 방식이 기업용 생성 미디어의 현실적 해법이 될 수 있음을 설득력 있게 제시합니다.

arXiv:2605.16238cs.AI

Prospective multi-pathogen disease forecasting using autonomous LLM-guided tree search

감염병의 확률적 예측은 공중보건에 매우 중요하지만, 전문가 모델링 팀이 수작업으로 모델을 선별하고 관리하는 데 많은 시간이 듭니다. 연구진은 대규모 언어 모델(LLM) 기반 트리 탐색(tree search)을 이용해 실행 가능한 예측 소프트웨어를 반복적으로 생성, 평가, 최적화하는 자율 시스템을 제안했습니다. 2025-2026년 미국 호흡기 시즌에 대한 전향적 실시간 평가에서, 이 시스템은 인플루엔자, COVID-19, 호흡기세포융합바이러스(RSV)에 대해 방법론적으로 다양한 모델을 스스로 발견했습니다. 이렇게 생성된 모델들을 앙상블로 결합한 결과, 외부 검증(out-of-sample)에서 인간 전문가가 구성한 질병통제예방센터(CDC) 허브 앙상블과 동등하거나 더 나은 성능을 보였습니다. 특히 데이터가 부족한 RSV의 콜드 스타트(cold start) 상황도 성공적으로 처리했습니다. 또한 후향적 ablation 실험에서는 로그 스케일 거리 지표를 최적화해야 reward hacking을 막을 수 있음을 보였고, 자동 심판-인-더-루프(judge-in-the-loop)가 복잡한 과학 이론의 구조적 충실성을 유지하는 데 유효하다는 점을 확인했습니다. 전반적으로 이 프레임워크는 역학 이론을 정확하고 투명한 코드로 자동 변환해, 모델링 노동 병목을 줄이고 전문가 수준의 질병 예측을 훨씬 빠르게 대규모로 배포할 수 있게 합니다.

arXiv:2605.15208cs.LG

Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels

대규모 언어 모델(Large Language Models, LLM)은 추론 비용과 메모리 사용량을 줄이기 위해 사후 양자화(post-training quantization)를 통해 압축되는 경우가 많지만, 이러한 압축이 정렬(alignment)과 공정성(fairness)에 어떤 영향을 주는지는 충분히 규명되지 않았습니다. 저자들은 기존 연구가 주로 단일 정밀도 수준만 비교하거나 집계형 지표에 의존해, 실제 배포 환경에서 발생할 수 있는 항목 수준의 편향 출현을 놓친다는 문제의식에서 출발합니다. 이를 검증하기 위해 Qwen2.5-7B, Mistral-7B, Phi-3.5-mini의 세 가지 지시튜닝 모델을 대상으로 BF16부터 3-bit까지 다섯 개 정밀도 수준을 적용하고, 12,148개의 Bias Benchmark for Question Answering(BBQ) 항목을 다섯 개 무작위 시드로 반복 평가하여 총 911,100개의 추론 기록을 수집했습니다. 특히 BBQ의 모호한 조건을 사용해 정답이 사실상 “unknown”이어야 하는 상황을 구성함으로써, 모델이 특정 집단을 선택하는 순간을 곧바로 고정관념적 추론으로 해석할 수 있도록 실험을 설계했습니다. 이 접근의 핵심은 양자화 수준을 단순한 이분법이 아니라 연속적인 압축 축으로 다루며, 편향이 어느 지점에서부터 눈에 띄게 증가하는지를 정밀하게 추적한 데 있습니다. 이를 위해 고정관념 의존도 점수(Stereotype Reliance Score, SRS)와 미지 응답률(Unknown Selection Rate, USR)을 함께 사용하여, 모델이 모호한 맥락에서 자제하는 능력과 고정관념에 끌리는 경향을 동시에 측정했습니다. 또한 항목 수준 결과를 시드별로 집계하고, 로지스틱 회귀(logistic regression)를 통해 비트 폭(bit-width) 감소에 따른 편향 증가가 임계값적 현상이 아니라 점진적인 도스-리스폰스(dose-response) 패턴을 보이는지 검증했습니다. 이러한 설계는 압축이 평균적인 품질 하락만을 일으키는 것이 아니라, 일부 항목에서는 완전히 새로운 편향을 유발할 수 있음을 드러내기 위한 것입니다. 실험 결과는 3-bit 양자화에서 기존에 편향이 없던 항목의 6~21%가 새롭게 고정관념적 행동을 보였고, unknown을 선택하는 비율도 17.4% 감소했음을 보여줍니다. 더 중요한 점은 이런 변화가 퍼플렉서티(perplexity) 같은 전통적 품질 지표에는 거의 반영되지 않았다는 사실입니다. 실제로 8-bit에서는 퍼플렉서티 증가가 0.5% 미만, 4-bit에서도 3% 이하였지만, 이미 4-bit 단계에서 2.5~5.6%의 항목이 새로운 편향을 보이기 시작했습니다. 이는 집계형 평가가 공정성에 치명적인 열화를 체계적으로 놓칠 수 있음을 의미하며, 모델 압축을 단순한 효율화 기법이 아니라 정렬 유지 관점에서 함께 검증해야 함을 시사합니다. 결국 이 연구는 저정밀도 압축이 언어모델의 일반 성능을 유지하는 것처럼 보이더라도, 특정 입력에서는 정렬을 되돌리고 편향을 증폭시킬 수 있다는 점을 실증적으로 보여주며, 배포 전 편향 출현을 명시적으로 점검하는 품질 인지형 압축 프로토콜의 필요성을 제안합니다.

arXiv:2605.14401cs.CL

Agentic Recommender System with Hierarchical Belief-State Memory

Agentic Recommender System with Hierarchical Belief-State Memory는 메모리-증강 대규모 언어 모델(Memory-Augmented Large Language Model, LLM) 에이전트가 개인화 추천을 수행할 때, 단기적 행동 신호와 장기적 사용자 선호를 분리해 기억하는 구조가 필요하다는 점에 주목합니다. 기존의 평평한 메모리 표현은 일시적인 반응과 안정적인 취향을 한데 섞어 저장하기 때문에, 무엇이 최신 신호이고 무엇이 일관된 선호인지 구분하기 어렵고, 메모리가 어떤 규칙으로 진화해야 하는지도 충분히 설명하지 못했습니다. 이에 따라 저자들은 추천을 부분 관측 문제(Partially Observable Problem)로 다시 정의하고, 불완전한 관찰로부터 사용자 선호에 대한 믿음 상태(belief state)를 점진적으로 형성하는 MARS(Memory-Augmented Agentic Recommender System, 본문 표기 ARS)를 제안합니다. 이 프레임워크는 메모리를 event memory, preference memory, profile memory의 세 계층으로 나누어 원시 상호작용, 가변적인 선호 조각, 그리고 자연어로 정리된 사용자 서사를 서로 다른 수준에서 관리합니다. 특히 preference memory는 선호의 강도와 근거를 명시적으로 추적하여 선호가 왜 유지되거나 약화되는지를 드러내고, profile memory는 이 정보를 응축해 랭킹에 활용하기 쉬운 일관된 사용자 표현으로 재구성합니다. 이 접근의 핵심 방법론적 혁신은 메모리를 단순한 저장소가 아니라, 추론과 갱신이 함께 이루어지는 동적 상태로 다룬다는 데 있습니다. MARS/ARS는 extraction, reinforcement, weakening, consolidation, forgetting, resynthesis의 여섯 가지 연산을 정의하여, 새로운 선호를 추출하고, 근거가 충분한 선호는 강화하며, 신뢰도가 떨어지는 항목은 약화하거나 제거하고, 중복된 기억은 통합한 뒤, 최종적으로 사용자 프로필 서사를 다시 생성합니다. 이러한 연산은 고정된 주기로 수행되지 않고, LLM 기반 planner가 현재까지 축적된 신호와 맥락을 바탕으로 적응적으로 스케줄링합니다. 그 결과, 불필요한 갱신 비용을 줄이면서도 사용자 취향의 변화에는 민감하게 대응할 수 있어, 정적 휴리스틱에 의존하는 기존 방식보다 더 유연한 기억 관리가 가능해집니다. 또한 온라인 추천 경로와 오프라인 메모리 생명주기 경로를 분리함으로써, 실제 랭킹 추론과 메모리 유지보수의 역할을 명확히 구분한 점도 인상적입니다. 실험적으로는 InstructRec의 네 가지 벤치마크 도메인에서 강력한 기준선들을 상회하는 성능을 보였으며, 평균적으로 Hit Rate at 1(HR@1)은 26.4%, Normalized Discounted Cumulative Gain at 10(NDCG@10)은 10.3% 향상되었습니다. 이는 단순히 정답을 한 번 맞히는 수준을 넘어, 상위 추천 순위 전반의 품질이 개선되었음을 의미합니다. 더 나아가 사용자 선호가 시간에 따라 변하는 evolving setting에서도 에이전틱 스케줄링이 추가 이득을 제공해, 메모리의 구조화와 갱신 전략이 개인화 추천의 성능을 좌우할 수 있음을 보여줍니다. 종합하면 이 연구는 추천 시스템을 정적인 예측기가 아니라, 부분 관측된 사용자 상태를 추론하고 기억을 관리하는 에이전트로 재해석함으로써, 개인화 추천의 표현 방식과 메모리 운영 원리에 새로운 기준을 제시합니다.

arXiv:2605.13941cs.LG

EvolveMem:Self-Evolving Memory Architecture via AutoResearch for LLM Agents

장기 기억을 요구하는 대규모 언어 모델(Large Language Model, LLM) 에이전트에서는 저장된 지식의 양만 늘리는 것으로는 충분하지 않으며, 무엇을 기억하느냐 못지않게 어떻게 검색하느냐가 성능을 좌우합니다. EvolveMem은 바로 이 지점에서 출발해, 메모리 내용만 진화하는 기존 관행을 넘어 검색 점수 함수, 융합 전략, 답변 생성 정책까지 포함한 검색 인프라 전체를 함께 진화시켜야 한다는 관점을 제시합니다. 핵심 방법론은 검색 구성을 구조화된 행동 공간으로 노출하고, 대규모 언어 모델 기반 진단 모듈이 질문별 실패 로그를 읽어 원인을 판별한 뒤, 그 결과에 따라 설정을 조정하는 폐루프 자기진화 구조를 만드는 데 있습니다. 이러한 설계는 Evaluate-Diagnose-Propose-Guard라는 순환을 통해 구현되며, 각 라운드에서 성능 저하가 감지되면 자동으로 되돌리고, 개선이 정체되면 탐색 범위를 넓히는 안전장치를 함께 갖춥니다. 다시 말해, 사람의 수동 튜닝에 의존하던 하이퍼파라미터 최적화를 시스템 스스로 수행하도록 바꾸어, 자기 자신의 아키텍처를 대상으로 반복적인 연구를 수행하는 AutoResearch 형태를 실현합니다. 이 접근의 중요한 특징은 검색을 단일 점수 계산으로 보지 않고, 키워드 기반 검색, 의미적 유사도, 구조화된 메타데이터 일치와 같은 다중 관점을 결합한 뒤 이를 다시 진화 대상으로 삼는다는 점입니다. 또한 질문을 여러 하위 질문으로 분해해 재검색하는 기능, 인물명 혼동에 강한 재검색 경로, 답변의 불확실성을 다시 검증하는 절차까지 포함함으로써 검색과 생성, 검증이 분리되지 않은 하나의 적응형 파이프라인으로 구성됩니다. 부록의 수식적 정식화에서는 이러한 아이디어가 더 명확해지는데, 메모리 저장소는 계층적 범위를 통해 세션 간 문맥을 유지하고, 누락된 정보가 발견되면 다시 추출하는 피드백 루프를 통해 저장 품질까지 함께 보완합니다. 결국 EvolveMem은 단순히 더 많은 메모리를 쌓는 시스템이 아니라, 저장, 검색, 검증, 재추출이 서로 맞물린 공진화 구조를 통해 장기 실행 에이전트의 기억 능력을 체계적으로 향상시키는 방법을 보여줍니다. 실험 결과도 이러한 방법론의 타당성을 뒷받침합니다. LoCoMo에서 가장 강한 기준선 대비 25.7%의 상대 향상을 보였고, MemBench에서도 18.9%의 상대 향상을 달성했으며, 최소 기준선 대비로는 훨씬 큰 개선을 기록했습니다. 특히 진화된 설정이 다른 벤치마크로 옮겨가도 성능이 무너지는 대신 긍정적인 전이를 보였다는 점은, 이 방법이 특정 데이터셋에만 맞춘 휴리스틱이 아니라 보다 보편적인 검색 원리를 학습했을 가능성을 시사합니다. 따라서 EvolveMem은 장기 기억 연구를 저장 구조의 개선에만 국한하지 않고, 메모리 검색 정책 자체를 자율적으로 진화시키는 방향으로 확장했다는 점에서, 향후 적응형 에이전트와 메모리 시스템 연구에 중요한 기준점을 제시합니다.

arXiv:2605.13801cs.LG

Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling

생성형 인공지능, 특히 대규모 언어 모델(large language model, LLM)이 빠르게 확산되면서, 모델의 안전성, 강건성, 그리고 신뢰성을 어떻게 공정하게 평가할 것인지가 중요한 연구 과제로 떠올랐습니다. 그러나 실제 평가 현장에서는 인간 평가자(human rater)마다 서로 다른 편향과 주관이 개입되고, 각 항목당 3~5개 수준의 제한된 주석에 의존하는 관행 때문에 재현성(reproducibility)이 쉽게 흔들린다는 문제가 남아 있습니다. 이러한 배경에서 저자들은 평가자의 변이를 단순한 잡음으로 보지 않고, 여러 항목에 걸쳐 반복되는 평가자 행동까지 포함해 모델링해야 한다는 문제의식을 제시합니다. 핵심 방법론은 다중 수준 부트스트래핑(multi-level bootstrapping)으로, 평가자와 항목 사이의 계층적 구조를 현실적으로 모사하여 통계적 결론이 얼마나 달라지는지 살펴보는 데 있습니다. 특히 이 접근은 각 항목 수(N)와 항목당 응답 수(K)의 균형이 귀무가설 유의성 검정(null hypothesis significance testing, NHST)에서 어떤 영향을 미치는지를 정량적으로 분석한다는 점에서 의미가 큽니다. 기존의 단순한 샘플링 방식이 평가자 간 의존성을 충분히 반영하지 못해 p-value를 과소추정할 수 있다는 점을 드러내며, 평가를 더 낙관적으로 해석하는 위험을 줄입니다. 이 연구의 중요한 기여는 평가자 식별자가 지속적으로 추적되는 대규모 주석 데이터셋을 활용해, 평가의 반복 가능성이 실제로 어떻게 개선되는지 보다 현실적인 조건에서 검토했다는 데 있습니다. 저자들은 서로 다른 샘플링 전략을 비교함으로써, 평가자를 항목 간 독립적인 존재로 취급하는 방식보다 평가자 행동의 반복성과 배치(batch) 단위 구조를 반영하는 방식에서 더 높은 p-value가 나타날 수 있음을 보여줍니다. 이는 겉보기에는 더 엄격한 기준처럼 보이지만, 실제로는 모델 간 성능 차이를 과도하게 쉽게 유의하다고 판단하는 오류를 줄여 재현성을 높이는 방향입니다. 또한 분석 결과는 단순히 항목 수를 늘리는 것보다, 항목당 더 많은 평가자를 확보하는 전략이 통계적 신뢰성을 높이는 데 더 중요할 수 있음을 시사합니다. 다시 말해, 평가 데이터셋의 설계는 “얼마나 많은 항목을 모았는가”보다 “평가자 변동성을 어떻게 수집하고 반영했는가”에 더 크게 좌우될 수 있습니다. 이러한 결론은 생성형 AI 평가가 단일 정답을 찾는 방식에서 벗어나, 인간 판단의 다양성을 구조적으로 이해해야 한다는 최근 연구 흐름과도 맞닿아 있습니다. 더 나아가 저자들은 평가자 불일치를 제거해야 할 잡음이 아니라 보존해야 할 정보로 해석함으로써, 안전성과 신뢰성이 중요한 시스템에서 보다 정직하고 보수적인 평가 관행이 필요하다는 점을 강조합니다. 결국 이 논문은 재현성 있는 AI 평가를 위해서는 데이터의 양을 단순히 늘리는 것만으로는 충분하지 않으며, 평가자와 항목의 상호작용을 정교하게 모델링하는 방법론적 전환이 필요하다는 점을 설득력 있게 제시합니다.

arXiv:2605.13287cs.LG

Delightful Exploration

대규모 행동 공간에서 탐색(exploration)을 수행할 때, 주어진 예산 안에 불확실성을 충분히 해소하기 어렵다는 문제의식에서 출발하며, 이때 널리 사용되는 엡실론-그리디(\varepsilon-greedy) 방식은 탐색으로 인한 교란은 제한하지만 실제로는 탐색 자원을 무작정 소모한다는 한계를 드러냅니다. 저자들은 이러한 상황을 단순히 더 많이 탐색할 것인지의 문제가 아니라, 어떤 오버라이드(override)가 정말 가치 있는지를 판별하는 게이팅(gating) 문제로 재정의하고, 이를 위해 Delight-gated exploration(DE)이라는 호스트-오버라이드(host-override) 규칙을 제안합니다. DE의 핵심은 후보 행동의 예상되는 delight, 즉 기대 개선(expected improvement)과 surprisal의 곱이 게이트 가격을 넘을 때에만 탐색적 개입을 허용하는 데 있으며, 이를 통해 탐색을 무작정 늘리는 대신 정보적으로 가치가 높은 순간에만 자원을 투입합니다. 이러한 설계는 단순한 휴리스틱처럼 보이지만, 고전적인 Pandora의 예약값(reservation value) 규칙과 연결되며, surprisal을 사실상 검사 비용으로 해석한다는 점에서 이론적 의미가 큽니다. 다시 말해, 이미 충분히 해소된 팔(arm)은 게이트 밖으로 빠져나가고, 새로 등장한 팔은 사전 분포에 의해 정해진 문턱값 위에서는 자동으로 차단되며, 선택된 선형 밴딧(linear bandit) 오버라이드는 유한한 정보 예산을 소모하는 구조로 정리됩니다. 이 방법의 강점은 베르누이(Bernoulli) 밴딧, 선형 밴딧, 그리고 탭형 마르코프 결정 과정(tabular Markov decision process, MDP)까지 서로 다른 문제 설정에 같은 하이퍼파라미터를 재조정 없이 이식할 수 있다는 점에 있습니다. 기존의 UCB와 Thompson Sampling은 이론적으로 강력하지만 여전히 넓은 탐색을 지속하는 경향이 있고, \varepsilon-greedy는 확률적으로 예산을 낭비하며 멈추지 못하는 반면, DE는 해소된 불확실성을 빠르게 닫아 탐색의 범위를 자연스럽게 줄입니다. 그 결과 DE는 실험된 미해결(regime) 환경에서 Thompson Sampling과 \varepsilon-greedy보다 훨씬 완만한 후회(regret) 증가를 보였으며, 제한된 예산 아래에서 더 집중적이고 효율적인 학습이 가능함을 보여주었습니다. 특히 이 논문은 탐색의 품질을 단순한 빈도나 확률이 아니라, 상승 가능성과 정보적 놀라움의 결합으로 평가해야 한다는 관점을 제시함으로써 기존 탐색 전략과 분명한 차별성을 갖습니다. 결국 이 연구가 전달하는 핵심 메시지는 탐색을 줄이는 것이 아니라, 가치가 낮은 개입을 억제하고 가치가 높은 정보만 선택하는 방식으로 탐색을 재설계해야 한다는 데 있으며, 이러한 관점은 대규모 의사결정 문제에서 보다 정교한 자원 배분의 기준을 제시합니다.

arXiv:2605.13050cs.CL

Context Training with Active Information Seeking

배포 후에도 빠르게 변화하는 과제나 새로운 도메인 지식을 다뤄야 하는 상황에서, 대규모 언어 모델(Large Language Models, LLMs)을 다시 학습시키는 방식은 비용과 시간이 크게 듭니다. 이러한 한계를 넘어서는 대안으로, 최근에는 모델의 가중치를 고정한 채 컨텍스트만 최적화하는 접근이 주목받고 있으며, 이 연구는 그 흐름을 한 단계 확장해 컨텍스트 최적화 과정에 능동적 정보 탐색(active information seeking)을 결합합니다. 핵심 발상은 컨텍스트를 단순한 프롬프트가 아니라 작업 수행에 필요한 지식과 지시가 축적되는 외부 작업 메모리로 보고, 모델이 부족한 정보를 스스로 찾아 채워 넣도록 만드는 데 있습니다. 이를 위해 저자들은 위키피디아 검색과 브라우저 도구를 도입했지만, 단순히 도구를 붙이는 것만으로는 성능이 향상되지 않고 오히려 기존 순차적 최적화보다 저하될 수 있음을 먼저 보입니다. 이러한 결과는 외부 정보가 많아질수록 잡음과 불필요한 길이가 함께 늘어나 컨텍스트 품질을 해칠 수 있음을 시사합니다. 이에 대한 해결책으로 제시된 것이 검색 기반 훈련(search-based training)이며, 이는 여러 후보 컨텍스트를 동시에 유지하고 평가하면서 불필요한 분기를 가지치기(pruning)하는 방식으로 동작합니다. 다시 말해, 필요한 정보를 찾는 과정과 그 정보를 어떤 형태로 남길지 결정하는 과정을 분리하지 않고, 탐색과 정제를 하나의 학습 절차로 묶어 안정적인 성능 향상을 이끕니다. 이때 후보 컨텍스트의 생성, 편집, 병합, 분기, 커밋과 같은 절차는 마치 버전 관리(version control)를 수행하듯 체계적으로 운영되어, 단일 경로에 의존하는 기존 방식보다 훨씬 유연하게 정보 탐색을 수행할 수 있게 합니다. 또한 검색, 임베딩 기반 탐색, 언어 모델을 활용한 재순위화가 함께 쓰이면서, 외부에서 가져온 정보를 그대로 주입하는 것이 아니라 작업과의 관련성을 다시 판단해 선별하는 구조가 마련됩니다. 실험은 저자원 번역(low-resource translation)인 Flores+, 건강 관련 시나리오를 다루는 HealthBench, 추론과 코드 생성 역량을 요구하는 LiveCodeBench, 그리고 고난도 종합 추론 과제인 Humanity's Last Exam 등 서로 다른 성격의 벤치마크에서 수행되었으며, 이를 통해 방법의 범용성을 검증합니다. 그 결과 능동적 정보 탐색이 적절한 훈련 절차와 결합될 때 일관되고 유의미한 성능 향상을 보였고, 적은 데이터만으로도 효과적인 컨텍스트를 만들 수 있는 데이터 효율성도 확인되었습니다. 특히 이 방식으로 생성된 텍스트 중심의 컨텍스트는 하이퍼파라미터 변화에 비교적 강건하고, 서로 다른 모델에도 잘 일반화된다는 점에서 실용적 의미가 큽니다. 결국 이 연구는 컨텍스트 최적화를 단순한 문장 수정이 아니라, 외부 지식을 적극적으로 खोज하고 선별하며 축적하는 탐색 문제로 재정의함으로써, 배포 이후의 모델 적응을 보다 현실적이고 확장 가능한 방향으로 이끕니다.

arXiv:2605.12667cs.LG

ODRPO: Ordinal Decompositions of Discrete Rewards for Robust Policy Optimization

대규모 언어 모델(Large Language Models, LLMs)의 정렬은 점점 강화학습 from AI Feedback(Reinforcement Learning from AI Feedback, RLAIF)에 의존하고 있으며, 특히 장문 질의응답이나 열린형 지시 따르기처럼 정답을 명확히 검증하기 어려운 영역에서 그 중요성이 더욱 커지고 있습니다. 그러나 이와 같은 비검증형 과제에서는 LLM 기반 자동 평가자(auto-rater)가 제공하는 1점부터 10점까지의 다층 이산 보상이 프롬프트 표현과 샘플링 랜덤성에 크게 흔들릴 수 있어, 보상 신호 자체가 안정적이지 않다는 문제가 드러납니다. 저자들은 이러한 평가 노이즈가 Group Relative Policy Optimization(GRPO)이나 MaxRL 같은 표준 advantage 추정기의 정규화 통계를 왜곡하여, 개별 샘플의 이상치가 전체 학습 방향을 흐릴 수 있음을 실증적으로 보여줍니다. 이러한 문제를 단순히 보상을 여러 번 샘플링해 다수결로 보정하는 방식으로 완화할 수는 있지만, 자동 평가 호출 비용이 크게 증가한다는 점에서 현실적인 제약이 따릅니다. 이에 따라 제안된 Ordinal Decomposition for Robust Policy Optimization(ODRPO)은 단일 보상을 여러 개의 순서형 이진 기준으로 분해하여, 각 임계값마다 advantage를 독립적으로 계산하고 누적하는 새로운 정렬 프레임워크입니다. 이 방식은 한 번의 noisy evaluation이 전역 통계를 직접 오염시키는 것을 막는 동시에, 비교적 쉬운 성공 기준에서 점차 어려운 기준으로 이동하는 암묵적 커리큘럼을 형성해 학습을 더욱 안정적으로 만듭니다. 이 방법론의 핵심은 보상의 크기를 한 번에 다루는 대신, “적어도 이 기준을 만족하는가”라는 순차적 판단으로 바꾸어 노이즈의 영향을 국소화한다는 데 있습니다. 각 순서형 경계에서 계산된 신호는 서로 독립적으로 축적되므로, 특정 점수 하나의 흔들림이 전체 그룹의 평균과 분산을 크게 망가뜨리는 현상을 줄일 수 있습니다. 또한 이 분해는 단순한 휴리스틱이 아니라, discrete reward 환경에서 전역 스칼라 목적함수를 다시 복원할 수 있다는 이론적 근거를 갖추고 있어 최적화 안정성에 대한 설명력도 제공합니다. 저자들은 Kendall’s coefficient of concordance(W) 분석을 통해 자동 평가자 자체가 상당한 확률적 변동성을 가진다는 사실을 확인했으며, 이는 ODRPO가 왜 필요한지를 강하게 뒷받침합니다. 실험적으로는 Qwen2.5-7B와 Qwen3-4B 계열 모델에서 FACTS-grounding-v2와 Alpaca-Evals를 포함한 벤치마크를 평가하여, 기존 방법보다 최대 14.8퍼센트와 7.5퍼센트의 상대적 향상을 기록했습니다. 특히 이러한 개선은 학습 단계에서 추가 계산 부담을 거의 요구하지 않는다는 점에서 의미가 크며, ODRPO가 단지 성능 향상 기법을 넘어 실제 대규모 정렬 파이프라인에 바로 적용 가능한 확장성 높은 방법임을 보여줍니다. 결국 이 연구는 노이즈가 큰 이산 보상 환경에서 정책 최적화를 어떻게 더 견고하게 설계할 수 있는지를 제시하며, RLAIF 시대의 모델 정렬에 새로운 방법론적 방향을 제안합니다.

arXiv:2605.12357cs.AI

$δ$-mem: Efficient Online Memory for Large Language Models

대규모 언어 모델(LLM)은 장기 도우미와 에이전트 시스템에서 과거 정보를 축적하고 재사용해야 하는 요구가 점점 커지고 있습니다. 단순히 컨텍스트 윈도우(context window)를 확장하는 방식은 비용이 크고, 실제로 컨텍스트를 효과적으로 활용하지 못하는 경우가 많습니다. 이를 위해 저자들은 고정된 전체 어텐션 백본(full-attention backbone)에 작은 온라인 연합 기억(associative memory) 상태를 덧붙이는 경량 메모리 메커니즘인 δ-mem을 제안합니다. δ-mem은 과거 정보를 고정 크기 상태 행렬에 압축해 저장하고, 델타 규칙 학습(delta-rule learning)으로 이를 갱신합니다. 또한 읽기(readout) 결과를 이용해 생성 단계에서 백본의 어텐션 계산에 저랭크 보정(low-rank correction)을 더하는 방식으로 동작합니다. 8×8 크기의 온라인 메모리 상태만으로도 평균 점수를 고정 백본 대비 1.10배, 가장 강한 비-δ-mem 메모리 기준선 대비 1.15배까지 끌어올렸습니다. 특히 메모리 의존도가 높은 벤치마크에서 더 큰 향상을 보여 MemoryAgentBench에서는 1.31배, LoCoMo에서는 1.20배를 기록했으며, 전반적인 일반 능력은 대부분 유지되었습니다.

arXiv:2605.11513cs.CL

A Study on Hidden Layer Distillation for Large Language Model Pre-Training

대규모 언어 모델(LLM) 사전학습에서 지식 증류(Knowledge Distillation, KD)가 널리 활용되어 왔지만, 기존 연구는 주로 교사 모델의 최종 출력 로짓(logits)에만 의존해 중간 표현이 담고 있는 의미 정보를 충분히 활용하지 못한다는 한계를 지닙니다. 이러한 문제의식에서 출발한 이 연구는 히든 레이어 증류(Hidden Layer Distillation, HLD)가 디코더 전용(decoder-only) LLM의 대규모 사전학습에서도 실질적인 이점을 제공할 수 있는지를 체계적으로 검증합니다. 저자들은 교사 모델의 출력 분포뿐 아니라 내부 표현을 학생 모델이 함께 모사하도록 설계함으로써, 더 풍부한 감독 신호가 학습 효율과 일반화에 어떤 영향을 주는지 살펴봅니다. 실험은 compute-controlled 조건에서 수행되었으며, 교사로는 Gemma3 3.4B, 학생으로는 123M과 735M 규모의 모델을 사용하고, C4 데이터셋의 최대 168B 토큰으로 학습을 진행해 비교의 공정성을 높였습니다. 특히 기존의 로짓 기반 KD, 자기지도(self-supervised) 기준선, 그리고 HLD 계열 방법을 동일한 하이퍼파라미터 조건에서 정면 비교함으로써, 단순히 계산량 차이에서 비롯된 성능 편차를 배제하려 했다는 점이 중요합니다. 실험 결과, HLD는 다운스트림 평가 과제에서 표준 KD를 일관되게 능가하지는 못했지만, 공유 하이퍼파라미터 조건에서는 모든 경우에 걸쳐 KD보다 퍼플렉서티(perplexity)가 체계적으로 개선되는 경향을 보였습니다. 이는 HLD가 교사 모델의 중간 표현에서 잠재적인 언어 구조 신호를 포착하고 있음을 시사하며, 최소한 언어모델링 목적 자체에는 긍정적인 영향을 줄 수 있음을 보여줍니다. 다만 이러한 향상이 곧바로 실제 과제 성능 향상으로 이어지지 않았다는 점은, 사전학습 단계에서의 표현 정렬이 downstream 일반화로 전환되는 과정이 여전히 충분히 정교하지 않다는 사실을 드러냅니다. 저자들은 이러한 결과를 HLD의 무의미함으로 해석하기보다, 현재의 설계만으로는 그 잠재력을 완전히 끌어내기 어렵고, 더 근본적인 방법론적 개선이 필요하다는 신호로 제시합니다. 결과적으로 이 연구는 LLM 사전학습에서 KD를 단순히 출력 모방의 문제로 보는 관점을 넘어, 교사 내부 표현에 포함된 의미적 단서를 활용하는 새로운 방향의 가능성과 한계를 함께 보여줍니다. 또한 대규모 실험 환경에서 HLD의 효과를 면밀히 검증했다는 점에서, 향후 표현 기반 증류 기법이 어떤 조건에서 실제 이득으로 이어지는지 탐구하는 데 중요한 기준점을 제공합니다. 이런 맥락에서 본 연구는 중간 표현 증류가 사전학습의 차세대 감독 신호가 될 수 있는지에 대한 실증적 질문을 던지며, 대규모 언어 모델 압축과 학습 효율화 연구에 의미 있는 문제의식을 제시합니다.

arXiv:2605.10907cs.CR

Engineering Robustness into Personal Agents with the AI Workflow Store

최근 개인용 AI 에이전트는 사용자의 요청에 즉시 반응하여 계획을 세우고 도구를 호출하는 방식으로 빠르게 발전해 왔지만, 그 실행 방식이 대개 몇 초에서 몇 분 안에 즉흥적으로 합성되는 온더플라이(on-the-fly) 루프에 의존한다는 점이 한계로 지적됩니다. 이러한 방식은 민감한 데이터 삭제, 잘못된 권한 수정, 프롬프트 인젝션(prompt injection)과 같은 공격에 취약할 수 있으며, 결과적으로 사용자가 고위험 환경에서 실제로 신뢰할 수 있는 시스템이라기보다 임시로 만들어진 프로토타입을 받게 될 위험이 큽니다. 이에 따라 저자들은 에이전트의 실행을 단발성 생성으로만 보지 말고, 소프트웨어 공학(software engineering, SE)에서 축적된 반복적 설계, 엄격한 테스트, 적대적 평가, 단계적 배포, 유지보수 절차를 내장한 워크플로우 중심 구조로 재구성해야 한다고 주장합니다. 핵심 제안인 AI Workflow Store는 이렇게 검증되고 강화된 워크플로우를 저장하고 재사용하는 저장소로서, 에이전트가 매번 즉흥적으로 툴 체인을 조합하는 대신 신뢰성과 보안성이 확보된 실행 단위를 호출하도록 만듭니다. 여기서 워크플로우는 단순한 프롬프트 묶음이 아니라, 결정론적으로 제약된 생산급 실행 아티팩트로 이해되며, 견고성(robustness)과 일반성(generality) 사이의 균형을 설계 대상으로 삼습니다. 이 비전은 세 가지 구성 요소로 구체화됩니다. 먼저 백엔드의 SE 에이전트 팀이 새 요청에 대해 요구사항 수집, 위협 모델링, 설계 탐색, 구현, 적대적 테스트, 일반화까지 수행해 새로운 워크플로우를 생성합니다. 다음으로 워크플로우 저장소는 이렇게 만들어진 워크플로우를 버전 관리하고 축적하며, 반복 사용을 통해 얻은 피드백과 실패 사례를 반영해 지속적으로 강화합니다. 마지막으로 로컬 에이전트는 사용자 요청을 저장소의 워크플로우와 매칭해 실행하고, 적절한 워크플로우가 없을 때만 백엔드에 생성을 요청하는 방식으로 동작합니다. 이 구조의 장점은 초기 공학 비용이 크더라도, 그 비용을 여러 사용자와 다양한 요청에 걸쳐 상쇄할 수 있다는 데 있습니다. 다시 말해, 매번 새로 만들어지는 유연한 에이전트보다, 잘 설계되고 검증된 워크플로우를 재사용하는 편이 장기적으로 더 안전하고 효율적이라는 판단입니다. 논문은 또한 이 접근이 기존의 정적 정책, 격리(sandboxing), 정보 흐름 제어, LLM 기반 guardrail과 어떻게 다른지 설명하며, 단순한 제약 추가만으로는 개인용 에이전트의 복합적인 보안 문제를 충분히 해결할 수 없다고 봅니다. 특히 스킬(skill) 기반 에이전트가 제공하는 재사용성은 중요하지만, 그것이 수동 제작이나 단순 프롬프트 수준에 머문다면 여전히 취약한 on-the-fly 패러다임을 완전히 벗어나지 못합니다. 반면 AI Workflow Store는 재사용 가능한 워크플로우를 자동으로 생성하고 검증하며 유지하는 생태계로 확장되어, 전통적인 소프트웨어 공학의 강점을 에이전트 시스템에 다시 도입하려는 시도입니다. 결국 이 연구는 에이전트의 성능을 모델의 즉흥적 추론 능력만으로 평가하는 관점을 넘어서, 설계와 검증, 배포와 재사용이 결합된 공학적 절차가 신뢰성과 안전성을 어떻게 만들어내는지를 보여주며, 고위험 상황에서도 활용 가능한 생산급 개인 에이전트의 방향을 제시합니다.

arXiv:2605.10886cs.LG

LoKA: Low-precision Kernel Applications for Recommendation Models At Scale

최근 GPU 세대는 FP8과 같은 저정밀 연산을 통해 훨씬 더 높은 FLOPs를 제공합니다. 하지만 이 기법은 대규모 언어 모델(LLM)에서는 널리 쓰이는 반면, 대규모 추천 모델(LRM)에는 아직 제한적으로만 적용되고 있습니다. 그 이유는 LRM이 수치적으로 민감하고, 작은 행렬 곱셈(GEMM)과 정규화 연산이 많으며, 통신 집약적인 학습 환경에서 동작하기 때문입니다. FP8을 단순히 적용하면 모델 품질이 떨어지고 학습 시간도 길어질 수 있어, 더 나은 FP8 커널만으로는 문제를 해결하기 어렵습니다. 저자들은 이를 위해 하드웨어와 모델을 함께 설계하는 시스템-모델 공동 설계 접근이 필요하다고 주장하며, LoKA(Low-precision Kernel Applications) 프레임워크를 제안합니다. LoKA는 실제 분포에 기반해 저정밀 사용이 안전한 지점을 찾고, 모델 구성요소를 하드웨어에 맞게 조정하며, 커널 라이브러리 전반을 조율해 성능 이점을 극대화합니다. 구체적으로 LoKA Probe는 활성값과 가중치 통계를 학습해 레이어별 오차를 정량화하고, LoKA Mods는 FP8에서 안정성과 효율을 높이는 재사용 가능한 모델 수정안을 제공하며, LoKA Dispatch는 정확도 요구를 만족하는 가장 빠른 FP8 커널을 선택합니다.