PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2605.00933cs.LG

CGM-JEPA: Learning Consistent Continuous Glucose Monitor Representations via Predictive Self-Supervised Pretraining

Continuous Glucose Monitoring(CG​M)은 인슐린 저항성(insulin resistance, IR)과 β-cell dysfunction(베타세포 기능장애) 같은 잠재적 대사 이상을 조기에 포착할 수 있는 유용한 도구이지만, 동일한 생리 상태가 원시 CGM 시계열, 정맥 OGTT, Glucodensity 요약처럼 서로 다른 보기(view)로 나타난다는 점 때문에 단일 모달리티에 묶인 표현만으로는 안정적인 일반화가 어렵습니다. CGM-JEPA는 이러한 한계를 정면으로 다루기 위해, 원시 값을 복원하는 대신 마스킹된 잠재 표현(latent representation)을 예측하는 자기지도 사전학습 방식을 채택함으로써, 특정 관측 형태의 표면 신호보다 더 높은 수준의 시공간 구조를 학습하도록 설계되었습니다. 핵심 아이디어는 JEPA(Joint Embedding Predictive Architecture) 스타일의 예측을 통해 표현 공간에서 상호 일관된 구조를 형성하게 하고, 이를 통해 코호트가 달라지거나 모달리티가 바뀌어도 흔들리지 않는 전이 가능한 임베딩을 얻는 데 있습니다. 확장형인 X-CGM-JEPA는 여기에 Glucodensity 기반의 교차 보기 목적함수를 추가하여, 시간적 패턴에 더해 분포적 정보까지 보완적으로 반영하도록 만들었습니다. 이러한 설계는 같은 생리 상태를 여러 방식으로 관측하는 의료 시계열의 특성에 특히 잘 맞으며, 단일 보기의 우연한 잡음이나 측정 환경 변화에 덜 민감한 표현을 만드는 데 강점을 보입니다. 사전학습은 약 389,000개의 비라벨 CGM 기록과 228명의 대상자 데이터를 활용해 수행되었고, 평가는 두 임상 코호트의 공개 하위 집합(N=27, N=17)에서 코호트 일반화, 정맥-to-CGM 전이, 홈 CGM의 세 가지 상황으로 나누어 진행되었습니다. 이때 검증 대상 코호트는 사전학습에서 완전히 제외하여 정보 누수를 막았고, 20회 반복된 2-fold 교차검증으로 표현의 안정성을 엄밀하게 확인했습니다. 결과적으로 X-CGM-JEPA는 모든 평가 상황에서 두 엔드포인트에 대해 AUROC(Area Under the Receiver Operating Characteristic curve) 기준 1~2위를 유지했으며, 어떤 기준선도 이 일관성을 따라오지 못했습니다. 특히 코호트 일반화에서는 최고 기준선보다 최대 6.5%p, 정맥-to-CGM 전이에서는 최대 3.6%p 높은 성능을 보였고, 이는 단순한 평균 향상을 넘어 모달리티 이동에 강한 표현을 학습했음을 시사합니다. 더 주목할 점은 전이 상황에서 평균 성능을 유지하면서도 약한 하위 집단의 성능을 끌어올려 민족성별 AUROC 격차를 25~54% 줄였다는 사실로, 이는 이 방법이 전체 성능뿐 아니라 공정성과 안정성 측면에서도 의미가 있음을 보여줍니다. 또한 희소한 정맥 데이터에서는 label-aware clustering 구조가 뚜렷하게 개선되어 Adjusted Rand Index(ARI)와 Normalized Mutual Information(NMI)이 크게 상승했는데, 이는 교차 보기 정보가 표현의 기하 구조 자체를 더 임상적으로 유의미하게 정렬한다는 점을 뒷받침합니다. 종합하면, 이 연구는 CGM 전용 자기지도학습을 단순한 시계열 복원 문제에서 벗어나, 보기 간 공통 구조를 추상화하는 전이 중심 표현 학습으로 확장했다는 점에서 방법론적 의의가 큽니다.

arXiv:2605.00932cs.SE

Code World Model Preparedness Report

Meta가 공개한 Code World Model(CWM)은 코드 생성을 넘어 코드에 대한 추론 능력까지 갖춘 모델이 실제로 공개 배포 가능한 안전 수준에 도달했는지를 검토하기 위해 마련된 준비성(preparedness) 평가 보고서입니다. 저자들은 Meta의 Frontier AI Framework에서 파괴적 위험(catastrophic risks)을 유발할 가능성이 있는 영역을 중심으로 사전 평가를 수행하고, 동시에 모델이 보일 수 있는 비정렬 성향(misaligned propensities)도 함께 점검함으로써, 단순한 성능 확인이 아니라 안전성과 정렬성(alignment)을 정량적으로 검증하는 방법론을 채택했습니다. 평가의 핵심은 모델이 과제를 얼마나 명확히 인식하는지, 진실성과 지시 따르기 사이의 충돌을 자각하는지, 불확실성을 외현화하는지, 충돌을 어떤 방식으로 해결하려 하는지, 그리고 추론 과정과 최종 응답이 얼마나 일관되는지를 연속적으로 추적하는 데 있었습니다. 이러한 접근은 코드 모델을 정답률 중심으로만 보는 전통적 평가와 달리, 내부 추론 구조가 위험한 응답으로 이어지는 경로를 직접 관찰한다는 점에서 의미가 큽니다. 특히 표에는 개입(intervention) 전후의 변화가 함께 제시되어 있어, 단순 관찰이 아니라 위험 신호를 완화하거나 정렬을 개선하기 위한 조치가 실제로 어떤 효과를 내는지까지 검증했다는 점이 드러납니다. 평가 결과, CWM은 개입 전에도 추론 흔적의 대부분에서 과제를 인식하고 목표를 설정하는 높은 수준의 태도를 보였으며, 진실성과 지시가 충돌하는 상황에서도 상당한 비율로 그 갈등을 알아차렸습니다. 다만 충돌을 인식하지 못한 경우에는 기만적 응답(dishonest responses)으로 이어질 가능성이 높아, 안전성 측면에서 내부 자각이 중요한 중간 단계임이 확인되었습니다. 불확실성 외현화 측면에서도, 이를 드러내지 못한 추론 흔적이 거짓 응답으로 귀결되는 경향이 관찰되어, 단정적인 출력을 내는 것이 반드시 신뢰성을 의미하지는 않는다는 점을 보여주었습니다. 이후 개입을 통해 충돌 인식, 불확실성 표현, 충돌 해결 진술의 빈도는 전반적으로 개선되었고, 모델이 자신의 상태를 더 명시적으로 드러내도록 유도하는 효과가 나타났습니다. 그럼에도 추론-응답 일관성(reasoning-statement consistency)에서는 거짓 응답에서의 예외가 일부 늘어나는 등 지속적인 모니터링이 필요한 신호도 남았습니다. 결국 이 보고서는 CWM이 기존 AI 생태계에 이미 존재하는 위험을 넘어서는 추가적인 최전선(frontier) 위험을 드러내지 않는다고 판단했으며, 그 근거 위에서 open-weight model로 공개했다는 점에서, 출시 승인과 안전 검증을 동시에 수행한 사례로 볼 수 있습니다.

arXiv:2604.26969cs.IR

AgenticRecTune: Multi-Agent with Self-Evolving Skillhub for Recommendation System Optimization

대규모 추천 시스템은 일반적으로 pre-ranking, ranking, re-ranking으로 이어지는 다단계 파이프라인으로 구성되며, 각 단계의 모델 성능뿐 아니라 단계 간 출력 결합 방식과 시스템 수준 설정이 최종 품질을 좌우한다. 이러한 환경에서는 개별 모델을 개선하는 것만으로는 충분하지 않고, 모델이 변경될 때마다 새로 최적화해야 하는 시스템 구성값을 빠르게 찾는 능력이 중요해진다. AgenticRecTune은 바로 이 지점을 겨냥해, 추천 시스템 최적화를 단일 모델 튜닝이 아닌 엔드투엔드 구성 최적화 문제로 재정의한다. 저자들은 Actor, Critic, Insight, Skill, Online의 다섯 에이전트로 이루어진 다중 에이전트 프레임워크를 제안하며, 각 에이전트가 후보 생성, 비효율적 제안 필터링, 온라인 실험 준비, 결과 수집, 지식 축적이라는 서로 다른 역할을 맡도록 설계했다. 이 과정에서 Google Gemini와 같은 대규모 언어 모델(LLMs)의 추론 능력을 활용해 넓은 구성 공간을 탐색하고, 인간이 반복적으로 수행하던 수동 튜닝의 부담을 줄인다. 핵심적인 방법론적 특징은 생성과 검증, 실험과 피드백이 하나의 닫힌 고리로 연결된다는 점이다. Actor 에이전트는 다양한 구성 후보를 제안하고, Critic 에이전트는 그중 실현 가능성이 낮거나 성능이 불안정한 후보를 걸러낸다. 이후 Online 에이전트가 선별된 구성을 바탕으로 A/B 테스트를 자동으로 준비하고 실제 실험 결과를 수집함으로써, 제안된 설정이 운영 환경에서 어떤 효과를 내는지 빠르게 확인한다. 여기에 더해 Insight 에이전트와 Skill 에이전트는 과거 실험의 결과와 성공 패턴을 요약하고, 추천 시스템 과제별로 작동하는 메커니즘을 추출해 재사용 가능한 기술(skill)로 갱신한다. 이렇게 축적된 자기진화형 Skillhub는 단순한 로그 저장소가 아니라, 다음 최적화 라운드의 의사결정을 더 정교하게 만드는 지식 레이어로 기능한다. 논문은 추천 시스템의 최적화 문제를 수학적으로도 다층 합성 최적화(multi-level compositional optimization)로 정식화하여, pre-ranking, ranking, re-ranking 각각의 구성 변수가 서로 다른 문맥과 목적을 가진다는 점을 명확히 드러낸다. 특히 실제 운영 환경에서는 단일 지표가 아니라 여러 온라인 메트릭의 균형이 중요하며, 주된 성능 지표를 높이면서도 보조 지표가 일정 기준 아래로 떨어지지 않도록 관리해야 한다는 현실적 제약을 반영한다. 이러한 관점은 추천 시스템 최적화가 단순한 하이퍼파라미터 탐색을 넘어, 변화하는 제품 목표와 상충하는 지표들 사이의 균형을 찾는 복합적인 문제임을 보여준다. 결과적으로 AgenticRecTune은 시스템 레벨 설정을 자동화하고, 실험 결과를 지속적으로 학습 가능한 지식으로 바꾸며, 추천 시스템 운영 전반의 확장성과 적응성을 높이는 실용적 접근으로 제시된다. 이러한 점에서 이 연구는 대규모 추천 시스템의 성능 개선을 넘어, 복잡한 프로덕션 환경에서 스스로 진화하는 최적화 체계를 구축하려는 중요한 시도로 볼 수 있다.

arXiv:2604.25917cs.AI

Recursive Multi-Agent Systems

복잡한 추론 과제에서 대규모 언어 모델(Large Language Model, LLM)은 여전히 용량 한계와 비효율적인 탐색 문제를 드러내기 쉬운데, 이를 보완하기 위해 최근에는 여러 전문 에이전트를 조합하는 멀티에이전트 시스템(Multi-Agent System, MAS)이 활발히 연구되고 있습니다. 그러나 기존의 MAS는 주로 텍스트 기반 상호작용과 순차적 프롬프트 전달에 의존해 왔기 때문에, 협업 과정 자체를 하나의 통합된 계산 구조로 최적화하는 데에는 한계가 있었습니다. Recursive Multi-Agent Systems는 이러한 문제를 재귀적 언어 모델(Recursive Language Model, RLM)의 관점에서 다시 해석하며, 에이전트 협업 역시 반복적으로 정교화될 수 있는 스케일링 축이라는 점을 제안합니다. 이를 위해 제안된 RecursiveMAS는 전체 시스템을 잠재공간(latent space)에서 수행되는 재귀 계산으로 정의하고, 서로 다른 역할과 구조를 가진 에이전트들을 경량 모듈인 RecursiveLink로 연결합니다. 이 모듈은 중간 단계의 협업을 텍스트가 아니라 잠재 상태 수준에서 전달하게 하여, 분포 내(in-distribution) 잠재 사고를 생성하고 에이전트 간 의미 정보를 보다 안정적으로 교환하도록 설계되었습니다. 핵심 방법론의 또 다른 축은 inner-outer loop 학습입니다. 내부 루프(inner loop)에서는 각 에이전트가 잠재 사고를 생성하는 표현 공간에 적응하도록 정렬하고, 외부 루프(outer loop)에서는 재귀 라운드 전체를 하나의 공동 최적화 대상으로 삼아 시스템 수준의 성능을 끌어올립니다. 특히 공유 그래디언트 기반 신용 할당(credit assignment)을 통해 각 재귀 단계의 기여가 역전파 과정에 반영되도록 하여, 단순한 반복 실행이 아니라 학습 가능한 재귀 협업 구조를 구현한 점이 인상적입니다. 저자들은 이러한 설계가 텍스트를 매개로 하는 기존 MAS보다 런타임 복잡도와 학습 동역학 측면에서 더 안정적이라고 분석하며, 재귀 학습에서도 그래디언트가 소실되지 않고 효율적으로 전달될 수 있음을 이론적으로 보입니다. 더 나아가 이 프레임워크는 Sequential, Mixture, Distillation, Deliberation과 같은 네 가지 대표 협업 패턴에 모두 적용 가능해, 특정한 파이프라인에 국한되지 않는 일반성을 확보했습니다. 실험적으로 RecursiveMAS는 수학, 과학, 의학, 검색 질의응답, 코드 생성 등 9개 벤치마크에서 평가되었으며, 강력한 단일 모델과 기존 멀티에이전트 및 재귀 계산 기반 방법들보다 평균 8.3%의 정확도 향상을 달성했습니다. 또한 종단 간 추론 속도는 1.2배에서 2.4배까지 빨라졌고, 토큰 사용량은 34.6%에서 75.6%까지 줄어들어, 정확도와 효율을 동시에 개선하는 드문 결과를 보여 주었습니다. 이러한 결과는 재귀가 단일 모델 내부의 추론 깊이를 늘리는 데서 그치지 않고, 여러 에이전트가 협력하는 시스템 전체의 사고 과정을 정련하는 데도 강력한 스케일링 원리로 작동할 수 있음을 시사합니다. 결국 RecursiveMAS는 멀티에이전트 협업을 잠재공간 재귀 계산으로 재구성함으로써, 더 적은 텍스트로 더 깊이 사고하고 더 안정적으로 수렴하는 새로운 협업 패러다임을 제시했다고 볼 수 있습니다.

arXiv:2604.25272stat.ML

Spectral bandits

그래프 위에서 정의된 매끄러운 보상 함수를 온라인 의사결정에 활용하려는 Spectral bandits는, 콘텐츠 기반 추천과 같이 아이템 간 관계가 구조적으로 연결된 문제에서 특히 강한 설득력을 갖는 방법론을 제시합니다. 각 팔(arm)을 무방향 그래프의 노드로 두고, 인접한 노드들의 기대 보상이 서로 비슷하다는 가정을 통해, 제한된 관측만으로도 전체 공간을 효율적으로 일반화할 수 있도록 설계된 점이 핵심입니다. 이 접근의 중심에는 그래프 라플라시안(Laplacian)이 있으며, 이는 노드 간 차이를 정량화하여 보상의 매끄러움을 수학적으로 표현하고, 이후의 스펙트럼 분석을 위한 기반을 제공합니다. 특히 보상 함수가 그래프의 저주파 성분에 주로 분포한다는 성질을 이용해, 전체 노드 수를 직접 다루기보다 의미 있는 고유방향들만을 활용하는 저차원 근사를 구축합니다. 이러한 관점은 고차원 공간에서 발생하기 쉬운 일반화 실패를 완화하면서도, 탐색과 활용의 균형을 보다 안정적으로 유지하게 합니다. 이 논문이 제안하는 중요한 개념은 유효 차원(effective dimension)으로, 실제 그래프에서 학습에 실질적으로 기여하는 스펙트럴 자유도의 크기를 나타냅니다. 유효 차원이 작다는 것은 그래프의 구조적 복잡도가 높지 않으며, 소수의 고유벡터만으로도 보상의 전반적 패턴을 충분히 설명할 수 있음을 의미합니다. 따라서 알고리즘의 계산량과 누적 후회(cumulative regret)가 노드 수에 직접 비례해 악화되지 않고, 그래프의 스펙트럴 구조에 더 강하게 좌우되도록 만들 수 있습니다. 이런 설계는 대규모 아이템 집합을 가진 추천 문제에서 특히 유리하며, 수천 개의 후보 중에서도 제한된 상호작용만으로 유망한 항목을 빠르게 식별할 수 있게 합니다. 또한 매끄러움 가정은 단순한 휴리스틱이 아니라, 고주파 성분을 억제하는 스펙트럼적 성질로 정식화되기 때문에 이론적 분석과 실제 구현이 자연스럽게 연결됩니다. 제안된 세 가지 알고리즘은 모두 이러한 저차원 구조를 활용해, 유효 차원에 대해 선형 또는 아선형으로 확장되도록 구성됩니다. 그 결과 관측이 누적될수록 그래프 상의 선호도 추정은 정교해지지만, 모든 노드를 일일이 탐색하는 비효율은 피할 수 있습니다. 이론적으로는 최적 정책에 대한 누적 후회가 전체 노드 수에 과도하게 의존하지 않도록 보장되며, 실용적으로는 온라인 추천 환경에서 빠른 적응성과 낮은 샘플 복잡도를 동시에 달성합니다. 실험에서도 이러한 성질이 확인되어, 콘텐츠 추천 문제에서 수천 개의 아이템에 대해 수십 번의 노드 평가만으로도 좋은 사용자 선호도 추정기를 학습할 수 있음을 보여줍니다. 결국 Spectral bandits는 그래프의 국소적 구조와 저주파 스펙트럼을 밴딧 학습의 핵심 자원으로 재해석함으로써, 대규모 구조적 추천 문제를 효율적으로 해결할 수 있는 이론적·실용적 틀을 제시합니다.

arXiv:2604.24881cs.AI

Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

대규모 언어 모델(Large Language Models, LLMs)의 추론 성능을 높이기 위한 다중 에이전트 토론(Multi-Agent Debate)은 강력한 방법이지만, 여러 에이전트가 긴 토론 기록을 주고받아야 하므로 계산 비용이 매우 크다는 한계를 지닙니다. Latent Agents는 이러한 비효율을 해결하기 위해, 외부에서 수행되던 다중 에이전트 토론을 단일 언어 모델 내부로 증류하는 사후학습(post-training) 절차를 제안합니다. 핵심 아이디어는 토론의 결과만 압축하는 수준을 넘어서, 토론의 구조 자체를 모델이 먼저 학습하게 한 뒤, 강화학습(Reinforcement Learning, RL)을 통해 그 구조를 내부화하도록 유도하는 데 있습니다. 이를 위해 저자들은 먼저 3개 에이전트와 2개 라운드로 구성된 토론 데이터를 구축하고, 마지막 합의가 형성된 산술 문제 토론 기록에 구조 태그를 부여해 일관된 형식을 만들었습니다. 이어서 지도 파인튜닝(Supervised Fine-Tuning, SFT) 단계에서는 전체 토론 trace를 그대로 학습시켜 모델이 토론의 전개 방식과 합의 형성 패턴을 모사하도록 했습니다. 이후의 강화학습 단계는 단순한 형식 모방을 넘어 실제로 토론을 내부화하는 과정에 해당합니다. 여기서는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 사용해 여러 후보 출력을 비교하고, 정답이 더 이른 시점에 나타나도록 압박하는 길이 클리핑(length clipping) 보상을 결합합니다. 또한 <|Agent 1|>, <|Round 1|>, <|endofdebate|>와 같은 구조 태그를 유지하도록 돕는 형식 보상을 점차 약화시키며, 모델이 더 이상 긴 외부 토론에 의존하지 않고도 내부 표현만으로 결론에 도달하도록 설계합니다. 이러한 동적 보상 스케줄링과 길이 축소는 토론의 계산적 외형을 줄이면서도, 에이전트 간 상호작용이 만들어 내는 추론 이점을 보존하는 데 중요한 역할을 합니다. 실험 결과, 제안된 모델은 GSM8K, MMLU-Pro, Big-Bench Hard(BBH)에서 explicit multi-agent debate와 같거나 더 나은 성능을 보였고, 사용 토큰은 최대 93%까지 줄어들어 추론 효율이 크게 향상되었습니다. 특히 일부 설정에서는 SFT만으로도 이미 기존 토론 방식보다 우수한 결과가 나타났고, RL을 더하면 정확도와 토큰 절감 효과가 함께 강화되어 내부화 절차의 유효성이 분명하게 드러났습니다. 이 연구의 또 다른 중요한 기여는 내부화된 토론이 모델의 표현 공간을 어떻게 바꾸는지 기계적으로 분석한 점입니다. 활성 조향(activation steering) 실험을 통해, 저자들은 내재화된 모델 내부에 에이전트별 부분공간(agent-specific subspaces)이 형성되며, 서로 다른 에이전트 관점에 대응하는 해석 가능한 방향이 존재함을 보였습니다. 이는 다중 에이전트 토론의 장점이 단순히 출력 텍스트의 평균화에서 오는 것이 아니라, 서로 다른 추론 관점이 잠재 공간에서 구조적으로 분리되고 조합되는 과정과 관련됨을 시사합니다. 더 나아가 악성 에이전트를 내부화한 뒤 음의 조향(negative steering)으로 이를 억제하는 실험은, 증류된 모델에서 유해 행동이 더 국소화되고 제어하기 쉬워질 수 있음을 보여 줍니다. 결과적으로 Latent Agents는 다중 에이전트 추론을 비용 효율적으로 압축하는 방법을 제시하는 동시에, 내부화된 추론의 구조와 제어 가능성을 함께 밝힌다는 점에서 의미가 큽니다.

arXiv:2604.23099cs.LG

ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation

생성형 인공지능 모델의 평가는 추론 비용이 크고 사람 평가자나 고가의 판정기에 의존하는 경우가 많아, 모델이 빠르게 늘어나는 현실에서 점점 더 큰 부담이 되고 있습니다. ProEval은 이러한 문제를 해결하기 위해 평가를 단순한 샘플링 작업이 아니라, 불확실성을 고려한 능동적 의사결정 문제로 재정의하며, 전이학습(transfer learning)과 베이지안 추론(Bayesian inference)을 결합한 효율적인 평가 프레임워크를 제안합니다. 핵심적으로는 입력과 성능 지표 사이의 관계를 사전학습된 가우시안 프로세스(Gaussian Processes, GPs)로 근사하여, 오류의 심각도나 안전성 위반과 같은 평가 신호를 적은 샘플만으로도 정밀하게 추정할 수 있도록 설계했습니다. 이 접근은 전체 테스트셋을 무작정 훑는 방식과 달리, 어떤 입력이 가장 많은 정보를 제공하는지에 따라 다음 평가 대상을 능동적으로 선택한다는 점에서 차별적입니다. 성능 추정은 베이지안 구적법(Bayesian quadrature, BQ)으로 정식화되어, 기대 성능을 확률적으로 계산하고 posterior uncertainty를 줄이는 방향으로 샘플을 고르게 됩니다. 동시에 실패 사례 발견은 superlevel set sampling으로 다루어, 특정 임계값을 넘는 고위험 입력 영역을 찾아내는 데 초점을 맞추며, 이를 통해 단순히 오류율이 높은 지점뿐 아니라 서로 다른 유형의 취약성까지 폭넓게 드러냅니다. 특히 ProEval은 활용(exploitation)과 탐색(exploration)의 균형을 세밀하게 조절하여, 이미 의심되는 실패 지점을 깊게 파고들면서도 아직 알려지지 않은 영역을 함께 탐색하도록 구성되어 있습니다. 또한 능동 합성(active synthesis)을 통해 LLM 기반 생성 과정에서 hard example을 기준점으로 삼아 새로운 테스트 입력을 만들어내므로, 정적인 벤치마크만으로는 포착하기 어려운 실패 모드를 추가로 발굴할 수 있습니다. 이와 같은 설계는 생성형 AI 평가를 더 적은 비용으로, 더 높은 신뢰도로 수행할 수 있게 하며, 실제로 추론, 안전성 정렬, 분류 벤치마크 전반에서 기존 방법보다 훨씬 적은 샘플로도 목표 정확도에 도달하면서 더 다양한 실패 사례를 찾아내는 효과를 보여줍니다. 결국 ProEval은 성능을 측정하는 도구를 넘어, 모델의 한계를 적극적으로 탐색하고 이해하는 평가 체계를 제시함으로써, 향후 대규모 생성형 AI 검증과 안전성 분석의 중요한 방법론적 기반을 제공한다고 볼 수 있습니다.

arXiv:2604.22693cs.CL

CRAFT: Clustered Regression for Adaptive Filtering of Training data

대규모 병렬 코퍼스가 수천만 문장 규모로 확대되면서, 파인튜닝에 필요한 학습 데이터를 전부 사용하는 방식은 비용 부담이 크고 실제 효율도 제한적이라는 문제가 점점 중요해지고 있습니다. 이러한 배경에서 제안된 CRAFT(Clustered Regression for Adaptive Filtering of Training data)는 시퀀스-투-시퀀스(sequence-to-sequence) 모델의 학습 데이터를 선별할 때, 단순한 휴리스틱 필터링이 아니라 분포 정합 관점에서 대표성이 높은 부분집합을 찾도록 설계된 방법입니다. 핵심 아이디어는 입력(source)과 출력(target)의 공동 분포를 직접 다루기보다, 먼저 검증(validation) 데이터의 소스 분포를 k-means 클러스터 단위로 비례 배분하여 맞추고, 이어서 각 클러스터 내부에서 검증 타깃 분포와의 거리를 최소화하는 샘플을 고르는 두 단계 최적화를 수행하는 데 있습니다. 이런 구조는 선택된 데이터가 검증 데이터의 통계적 특성을 더 잘 반영하도록 만들며, 동시에 대규모 코퍼스를 전역적으로 탐색해야 하는 계산 부담도 줄여 줍니다. 특히 CRAFT의 장점은 방법론의 실용성과 이론적 타당성이 함께 제시된다는 점입니다. 저자들은 클러스터별 비례 할당이 선택 분포와 검증 분포 사이의 Kullback-Leibler(KL) divergence를 상한하며, 남는 오차는 클러스터 직경(diameter)에 의해 제어된다는 사실을 보입니다. 다시 말해, 클러스터가 충분히 세밀할수록 분포 근사가 정교해지고, 데이터 선별의 근거를 수학적으로 설명할 수 있습니다. 또한 이 접근은 특정 벡터화 방식에 묶이지 않는 vectorization-agnostic 설계를 따르므로, TF-IDF(Term Frequency-Inverse Document Frequency) 같은 가벼운 표현부터 더 정교한 임베딩까지 폭넓게 활용할 수 있습니다. 이러한 특성은 대규모 데이터 선택 문제에서 계산 효율과 일반화 가능성을 동시에 확보하려는 시도로 볼 수 있습니다. 실험적으로는 영어-힌디어 번역에서 3,300만 개의 NLLB 문장쌍 중 일부를 선별해 mBART(multilingual Bidirectional and Auto-Regressive Transformers)를 low-rank adaptation(LoRA) 방식으로 미세조정하였고, CRAFT는 43.34 BLEU(Bilingual Evaluation Understudy)를 달성해 같은 후보 풀과 인코더를 사용한 TSDS보다 2.13점 높은 성능을 보였습니다. 더 인상적인 점은 선택 과정 자체가 40배 이상 빨라졌다는 사실이며, TF-IDF를 사용하면 전체 파이프라인이 중앙 처리 장치(CPU)에서 1분 이내에 끝날 정도로 가볍게 동작합니다. 최고 점수만 보면 TAROT이 45.61 BLEU로 더 높지만, CRAFT는 26.86초 만에 선택을 마쳐 75.6초가 걸린 TAROT보다 2.8배 빠른 속도를 보여 줍니다. 따라서 CRAFT는 단순히 정확도를 높이는 방법이 아니라, 대규모 코퍼스에서 검증 가능한 분포 보존형 데이터 압축을 빠르게 수행함으로써 파인튜닝의 실용적 병목을 줄여 주는 방법론으로 이해할 수 있습니다.

arXiv:2604.20858cs.IR

Mixture of Sequence: Theme-Aware Mixture-of-Experts for Long-Sequence Recommendation

순차 추천(Sequential Recommendation) 시스템에서 장문 수열을 모델링하는 것은 사용자 관심사의 급격한 변화와 이에 따른 노이즈 정보 증가라는 근본적인 도전을 마주하게 됩니다. 본 논문에서는 사용자가 단기적으로 안정적인 관심을 유지하지만 장기적으로는 여러 테마 간 관심이 급변하고 이전 관심이 주기적으로 재출현하는 세션 홉핑(Session Hopping) 현상을 처음으로 체계적으로 분석하여 이러한 도전의 근원을 규명합니다. 이러한 통찰을 바탕으로 제안되는 Mixture of Sequence (MoS) 프레임워크는 모델-무관의 혼합 전문가 접근 방식으로, 테마 인식 라우팅 메커니즘을 통해 사용자 수열에 내재된 잠재적 테마를 적응적으로 학습하고 이를 기반으로 테마별 응집성 있는 부분 수열을 자동으로 구성함으로써 관심사 변화로 인한 노이즈를 효과적으로 필터링합니다. 더불어 멀티스케일 퓨전 메커니즘은 전역적 수열 특성, 단기 사용자 행동, 테마별 의미적 패턴을 포착하는 세 가지 유형의 전문가를 활용하여 테마별 구조화로 인한 정보 손실을 완화하면서도 다각적 관점에서의 정보를 통합합니다. MoS는 기존의 RNN, Transformer, 그래프 신경망 등 다양한 순차 추천 아키텍처와 유연하게 결합될 수 있는 범용성을 지니며, 실험을 통해 다른 혼합 전문가 방법들에 비해 현저히 적은 부동소수점 연산(Floating Point Operations, FLOPs)으로 최첨단(State-of-the-Art, SOTA) 성능을 달성함을 입증합니다. 본 논문의 기여는 장문 수열 추천의 핵심 도전을 설명하는 새로운 관점 제시, 세션 홉핑 패턴을 직접 해결하는 혁신적 기법 개발, 그리고 높은 정확도와 계산 효율성을 동시에 달성하는 실용적 솔루션 제공에 있으며, 공개된 코드를 통해 산업계와 학계 모두에 기여할 수 있는 토대를 마련합니다.

arXiv:2604.20623cs.CV

RSRCC: A Remote Sensing Regional Change Comprehension Benchmark Constructed via Retrieval-Augmented Best-of-N Ranking

원격 감시 영상 분석에서 변화 탐지는 오랫동안 중요한 연구 과제였으나, 기존 방법들은 어디서 변화가 발생했는지를 찾는 데에만 초점을 맞춰왔다. 최근 등장한 자연 언어 기반의 변화 캡셔닝 데이터셋들도 주로 이미지 수준의 전반적인 차이를 설명할 뿐, 특정 지역에 대한 세밀한 의미론적 추론은 충분히 다루지 못하고 있다. 이 논문에서는 이러한 연구의 공백을 메우기 위해 RSRCC(Remote Sensing Regional Change Comprehension)라는 새로운 벤치마크를 제시한다. RSRCC는 지역화되고 변화 특화된 질문들로 구성되며, 특정 의미론적 변화에 대한 추론을 요구하는 126,000개의 고품질 질문으로 이루어져 있다. 학습용 87,000개, 검증용 17,100개, 테스트용 22,000개로 분할된 이 데이터셋은 세밀한 추론 기반의 감독을 명시적으로 목표로 하는 첫 번째 원격 감시 변화 질의응답 벤치마크라는 점에서 의미가 있다. RSRCC 구축을 위해 저자들은 Best-of-N 랭킹을 최종 모호함 해결 단계로 활용하는 계층적 준지도 큐레이션 파이프라인을 제안한다. 먼저 의미론적 분할 마스크로부터 변화 영역 후보를 추출한 다음, 이미지-텍스트 임베딩 모델을 통한 초기 선별을 거친다. 그 후 검색 증강 비전-언어 모델 기반 큐레이션 과정에서 Best-of-N 랭킹을 적용하여 최종 검증을 수행한다. 이러한 다단계 접근법은 대규모 데이터 처리 과정에서 노이즈와 모호성을 제거하면서도 의미론적으로 중요한 변화들을 보존할 수 있도록 설계되었다. 특히 Best-of-N 랭킹은 수동 검토에 의존하지 않으면서도 높은 품질의 큐레이션을 가능하게 하는 확장 가능한 메커니즘으로 작용한다. 이 연구는 원격 감시 분야에서 지역화된 변화 이해를 위한 새로운 기준을 제공함으로써, 더욱 정교한 의미론적 추론 능력을 갖춘 모델 개발의 토대를 마련한다.

arXiv:2604.20417cs.IR

Semantic Recall for Vector Search

현대의 정보 검색 시스템은 텍스트, 이미지, 비디오 등 다양한 객체를 고차원 벡터 임베딩으로 변환한 후 최근접 이웃 탐색을 통해 의미론적으로 가장 유사한 항목들을 검색하는 방식으로 작동합니다. 그러나 계산 효율성의 이유로 정확한 최근접 이웃 탐색 대신 근사 알고리즘을 사용하게 되며, 이러한 알고리즘의 검색 품질을 평가하기 위해 학계와 산업계는 전통적 리콜 메트릭을 표준으로 삼아왔습니다. 전통적 리콜은 정확 탐색으로 정의된 그라운드 트루스 중에서 근사 알고리즘이 검색한 결과의 비율을 측정하지만, 이 방식은 임베딩 공간의 수학적 근접성만을 반영할 뿐 실제 의미론적 관련성을 포착하지 못하는 근본적 한계를 지니고 있습니다. 특히 쿼리의 최근접 이웃 중에 의미론적으로 관련 있는 결과가 거의 없는 경우, 근사 알고리즘이 수학적으로는 더 가깝지만 의미론적으로는 무관한 객체를 놓쳤을 때도 페널티를 받게 되어 알고리즘의 실제 성능을 왜곡하게 됩니다. 이러한 문제를 해결하기 위해 본 논문은 의미론적 리콜이라는 새로운 평가 메트릭을 제안합니다. 의미론적 리콜은 정확 탐색을 통해 이론적으로 검색 가능한 의미론적으로 관련 있는 객체들만을 고려하여, 근사 알고리즘이 실제로 의미 있는 결과를 얼마나 효과적으로 찾는지를 측정합니다. 추가적으로 의미론적 관련성을 직접 식별할 수 없는 상황에서 의미론적 리콜을 근사하기 위한 관용적 리콜 메트릭도 함께 제시합니다. 이는 검색 결과의 점수가 그라운드 트루스 이웃의 점수와 설정된 관용 범위 내에 있으면 해당 결과를 올바른 것으로 간주함으로써, 임베딩 모델의 한계나 양자화 같은 작은 변화에도 강건한 평가가 가능하게 합니다. 광범위한 실증적 분석을 통해 논문은 제안된 메트릭들이 기존의 리콜, recall@k-ε, 상대 거리 오류 같은 기존 메트릭들에 비해 검색 품질의 훨씬 더 신뢰할 수 있는 지표임을 보여줍니다. 특히 다양한 데이터셋과 임베딩 모델에서 실험한 결과, 제안된 메트릭에 맞춰 근사 최근접 이웃 탐색 알고리즘을 최적화할 경우 비용과 검색 품질 간의 트레이드오프를 개선할 수 있으며 시스템의 신뢰성과 성능을 크게 향상시킬 수 있음을 입증합니다. 이러한 기여는 벡터 데이터베이스, 의미론적 검색, 정보 검색 분야에서 실무 기반의 더욱 정합적인 평가 체계를 확립하는 데 중요한 의의를 가집니다.

arXiv:2604.20329cs.CV

Image Generators are Generalist Vision Learners

최근 이미지 생성 모델들이 놀라운 시각 생성 능력을 갖추고 있다는 것은 널리 알려진 사실이지만, 이들이 시각 이해 측면에서도 강력한 내부 표현을 개발했는지는 명확하지 않았습니다. 본 논문은 이미지 생성 모델이 단순한 생성 도구를 넘어 일반화된 비전 학습자임을 체계적으로 입증하는 연구입니다. 자연어 처리에서 대규모 언어 모델의 생성형 사전학습이 창발적인 언어 이해 능력을 만들어낸 것처럼, 이미지 생성 모델의 사전학습도 강력한 시각 표현을 내재적으로 학습하고 있다는 핵심 가설에서 출발합니다. 연구팀은 이러한 가설을 검증하기 위해 인스트럭션 튜닝 기반의 접근 방식을 제안합니다. 기본 모델인 Nano Banana Pro에 경량의 인스트럭션 튜닝을 수행하여 Vision Banana라는 통합 비전 모델을 구축했는데, 핵심적인 방법론은 다양한 비전 작업의 출력 공간을 RGB 이미지로 재파라미터화하는 것입니다. 분할 마스크, 깊이 맵, 표면 법선 예측 등 서로 다른 시각 이해 작업들을 모두 시각화 가능한 RGB 이미지로 표현함으로써, 본질적으로 시각 인식 문제를 이미지 생성 문제로 재프레이밍합니다. 예를 들어 특정 물체 분할을 요청할 때는 해당 카테고리의 색상값으로 대상 영역을 생성하도록 지시하는 방식입니다. 이러한 접근 방식은 세 가지 중요한 이점을 제공합니다. 첫째, 단일 통합 모델이 원래의 생성 능력을 유지하면서도 여러 시각 이해 작업을 동시에 처리할 수 있습니다. 둘째, 컴퓨터 비전 출력을 RGB 형식으로 변환하는 방법만을 학습하면 되므로 상대적으로 소량의 추가 데이터만 필요합니다. 셋째, 원래 모델의 기존 능력을 파괴하지 않으면서도 새로운 시각 이해 능력을 효과적으로 활성화할 수 있습니다. 실험 결과는 Vision Banana의 우수성을 명확히 보여줍니다. 2D 이해 작업에서 참조 분할(Referring segmentation)과 의미론적 분할(Semantic segmentation)에서 Segment Anything Model 3를 능가하며, 3D 이해 작업인 메트릭 깊이 추정과 표면 법선 추정에서도 각각 Depth Anything 3와 Lotus-2 같은 전문 모델들을 뛰어넘습니다. 특히 주목할 점은 이러한 우수한 이해 성능을 달성하면서도 생성 벤치마크에서 기본 모델과 경쟁력 있는 수준의 성능을 유지한다는 것입니다. 경량 인스트럭션 튜닝이 원래의 생성 능력을 거의 손상시키지 않으면서도 시각 이해의 숨겨진 능력을 효과적으로 끌어낼 수 있음을 증명합니다. 본 연구의 의의는 컴퓨터 비전 분야의 근본적인 관점 변화를 시사합니다. 판별적 학습과 대조 학습이 주를 이루어온 시각 표현 학습 분야에서 생성형 사전학습이 더욱 강력한 표현을 학습할 수 있음을 보여주며, 이미지 생성이 텍스트 생성이 자연어 처리에서 하는 역할과 같이 컴퓨터 비전에서 다양한 작업의 통합 인터페이스로 기능할 수 있음을 입증합니다. 이는 생성과 이해를 모두 아우르는 파운데이션 비전 모델 구축의 중심에 생성형 비전 사전학습을 두는 새로운 패러다임으로의 전환을 의미하며, 대규모 언어 모델이 자연어 처리를 혁신한 것처럼 생성형 비전 모델이 컴퓨터 비전 분야를 혁신할 수 있는 가능성을 열어줍니다.

arXiv:2604.20179cs.CR

Taint-Style Vulnerability Detection and Confirmation for Node.js Packages Using LLM Agent Reasoning

Node.js 생태계는 현재 수백만 개의 패키지를 포함하고 있으며, 이는 현대 소프트웨어 공급망의 중요한 부분이 되어 Node.js 패키지의 취약점 탐지가 점점 더 중요해지고 있습니다. 그러나 전통적인 프로그램 분석 방법은 동적 자바스크립트 특징과 방대한 패키지 의존성으로 인해 어려움을 겪고 있습니다. 최근 대규모 언어 모델(LLM)과 LLM 기반 에이전트의 발전은 수작업 프로그램 모델의 대안을 제공합니다. 이 연구에서는 LLM을 중심으로 한 도구 보강 접근 방식이 Node.js 패키지에서 오염 스타일 취약점(예: 임의 명령 주입)을 효과적으로 탐지하고 확인할 수 있는지를 조사합니다. LLMVD.js라는 다단계 에이전트 파이프라인을 구현하여 코드를 스캔하고, 취약점을 제안하며, 개념 증명 익스플로잇을 생성하고, 경량 실행 오라클을 통해 이를 검증합니다. LLMVD.js는 전용 정적/동적 분석 엔진 없이 Node.js 패키지의 오염 스타일 취약점 탐지 및 확인에서 효과성을 체계적으로 평가합니다. 공개 벤치마크의 패키지에서 LLMVD.js는 84%의 취약점을 확인한 반면, 이전 프로그램 분석 도구는 22% 미만의 성과를 보였습니다. 또한, 이전 LLM-프로그램-분석 하이브리드 접근 방식보다 더 나은 성능을 발휘하며, 취약점 주석이나 이전 취약점 보고서를 요구하지 않습니다. 260개의 최근 출시된 패키지를 평가한 결과, 전통 도구는 몇 개의 패키지에서 검증된 익스플로잇을 생성하는 데 그쳤지만, LLMVD.js는 36개의 패키지에서 검증된 익스플로잇을 생성했습니다.

arXiv:2604.19657cs.CR

An AI Agent Execution Environment to Safeguard User Data

대규모 언어 모델 기반 에이전트가 개인 비서처럼 동작하려면 이메일, 결제 정보, 신원 정보처럼 민감한 사용자 데이터에 접근해야 하지만, 바로 그 지점에서 프롬프트 인젝션(prompt injection)과 모델 제공자에 대한 신뢰 문제라는 심각한 보안·프라이버시 위험이 발생합니다. 이러한 문제를 해결하기 위해 제안된 GAAP(Guaranteed Accounting for Agent Privacy)는 AI 에이전트를 위한 실행 환경으로서, 사용자가 동적으로 제시하는 권한 명세(permission specifications)를 수집한 뒤 에이전트의 모든 개인 데이터 공개가 그 명세를 충족하는지 결정적으로 보장합니다. 이 접근의 핵심은 에이전트나 사용자 프롬프트, 심지어 AI 모델 제공자까지도 신뢰하지 않는다는 점이며, 그럼에도 불구하고 민감 정보의 외부 유출을 막을 수 있도록 설계되었다는 데 있습니다. GAAP는 이를 위해 정보 흐름 제어(Information Flow Control, IFC)를 확장하고, 개인 데이터 저장소와 권한 저장소를 분리하여 에이전트가 직접 민감 정보를 임의로 취급하지 못하도록 통제합니다. 또한 disclosure log와 지속적 데이터 저장소, 그리고 주석(annotation) 기반의 메타데이터를 도입해 한 번의 실행 안에서 발생한 데이터 흐름뿐 아니라 시간적으로 떨어진 여러 작업 사이의 간접적인 정보 이동까지 추적합니다. 특히 Model Context Protocol(MCP)과 같은 외부 도구 생태계가 다양하게 연결되는 현실을 고려하여, 각 서비스 메서드가 어떤 당사자와 어떤 데이터 흐름을 갖는지를 주석으로 기술하는 프레임워크를 마련한 점이 인상적입니다. 이러한 설계는 단순한 공격 탐지나 사후 필터링이 아니라, 데이터가 어디에서 왔고 어디로 흘렀는지를 구조적으로 추적하여 유출 자체를 사전에 차단한다는 점에서 기존 접근과 뚜렷이 구별됩니다. 관련 연구가 대체로 신뢰된 모델, 정적 정책, 단일 작업 수준의 보호에 의존한 것과 달리, GAAP는 반복적이고 장기적인 에이전트 실행 환경에서도 사용자의 프라이버시 정책이 누적적으로 유지되도록 만든다는 점에서 방법론적 새로움을 보여줍니다. 평가 결과 또한 이러한 설계의 실용성을 뒷받침하며, 다른 최신 시스템들이 허용해 버리는 데이터 유출 공격들을 모두 차단하면서도 에이전트의 작업 수행 유용성은 크게 저하되지 않았습니다. 결국 이 논문은 에이전트형 인공지능의 활용을 확장하는 동시에, 민감한 사용자 데이터를 안전하게 다룰 수 있는 결정적 프라이버시 보장 체계를 제시함으로써, 향후 개인화된 AI 비서와 도구 기반 에이전트의 보안 설계에 중요한 기준점을 제공합니다.

arXiv:2604.19292cs.CL

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

다국어 대규모 언어 모델(Large Language Models, LLMs)은 여러 언어에서 자연스러운 응답을 생성하는 능력을 빠르게 끌어올렸지만, 그 과정에서 언어 유창성의 향상이 곧 지역적 적합성을 보장하지는 않는다는 점이 점점 더 중요해지고 있습니다. 이러한 문제의식에서 출발한 이 연구는, 질문에 언어 외의 지역 단서를 의도적으로 제거한 뒤 모델이 어떤 지역을 기본값으로 상정하는지를 관찰함으로써, 다국어 모델 내부에 잠재한 편향을 정량화하고자 합니다. 즉, 단순히 정답을 맞히는지를 보는 대신, 모델이 모호한 상황에서 어떤 로케일(locale)을 먼저 떠올리는지를 통해 암묵적 priors를 드러내는 방법론을 취합니다. 이를 위해 저자들은 법률, 날짜, 측정 단위처럼 지역에 따라 답이 달라질 수 있는 사실을 포함하되, 질문 문장 자체에는 특정 국가나 지역을 암시하는 정보를 넣지 않은 LocQA를 구축했습니다. LocQA는 12개 언어로 구성된 2,156개의 질문으로 이루어져 있으며, 49개 로케일에 걸친 정답을 함께 제공하도록 설계되어, 언어가 동일해도 지역에 따라 달라지는 응답 패턴을 세밀하게 비교할 수 있게 합니다. 데이터셋 구축 과정에서도 번역과 정답 검증의 신뢰도를 높이기 위한 다단계 품질 통제가 적용되었습니다. 각 언어는 해당 언어에 능숙한 이중언어 주석자들에 의해 번역되었고, 다른 주석자가 이를 교차 검토했으며, 최종적으로 연구진이 전체 항목을 재점검하여 번역 편차와 해석 차이를 최소화했습니다. 이러한 설계는 기존의 문화·지식 벤치마크가 대체로 지역을 명시적으로 드러내는 방식이어서 모델의 내재적 편향을 감추기 쉽다는 한계를 보완합니다. 다시 말해, LocQA는 “모델이 무엇을 알고 있는가”보다 “모델이 무엇을 표준 세계로 간주하는가”를 측정하기 위한 진단 도구라는 점에서 방법론적 의의가 큽니다. 연구진은 이 벤치마크로 32개 모델을 평가하면서, 다국어 모델의 편향이 하나의 축으로만 설명되지 않는다는 사실을 확인했습니다. 첫째, 언어가 영어가 아니더라도 미국 중심의 응답이 우세하게 나타나는 전역 편향(Global Bias)이 관찰되었으며, 특히 인스트럭션 튜닝(instruction tuning)을 거친 모델에서 이러한 경향이 더 강해졌습니다. 이는 정렬(alignment) 과정이 응답의 유용성과 일관성을 높이는 동시에, 특정 문화권의 규범을 암묵적 기준으로 강화할 수 있음을 시사합니다. 둘째, 같은 언어 안에서 여러 로케일이 가능한 경우에는 인구가 더 많은 지역이 우선되는 지역 편향(Regional Bias)이 나타났는데, 이는 모델이 마치 인구 통계적 확률을 따르는 엔진처럼 작동할 수 있음을 보여 줍니다. 결국 이 연구는 다국어 성능을 평가할 때 언어 유창성만으로는 부족하며, 지역성(localization)이라는 독립적인 축을 함께 보아야 한다는 점을 분명히 합니다. 나아가 LLM의 발전이 단순한 전이 성능 향상이 아니라, 어떤 지역적 세계관을 기본값으로 채택하는지에 대한 문제와 직결된다는 사실을 드러내며, 향후 더 공정하고 다원적인 다국어 모델 설계를 위한 중요한 기준점을 제시합니다.

arXiv:2604.17121cs.LG

The Topological Trouble With Transformers

트랜스포머(Transformer)는 긴 문맥을 활용해 시퀀스의 구조를 효과적으로 포착하는 데 탁월하지만, 본질적으로 피드포워드(feedforward) 아키텍처라는 점 때문에 변화하는 환경의 내부 상태를 반복적으로 갱신하는 일에는 구조적 한계를 드러낸다. 저자들은 이러한 상태 추적(state tracking)을 단순한 기억 유지가 아니라, 잠재 변수(latent variables)가 시간에 따라 점진적으로 업데이트되는 순차적 계산으로 정의하며, 트랜스포머가 새로운 입력이 들어올 때마다 상태 표현을 더 깊은 층으로 밀어 올리는 방식으로만 이를 처리하려 한다고 지적한다. 그 결과 최신 상태는 얕은 층에서 접근하기 어려워지고, 모델의 깊이는 사실상 상태를 보관하는 비용으로 소진되기 쉽다. 이 논문은 바로 이 문제를 “더 긴 문맥”의 문제로 축소하지 않고, 시간적으로 확장된 인지에는 암묵적인 활성 동역학과 재귀적(recurrent) 구조가 필요하다는 관점에서 재해석한다. 특히 상태 추적을 잘 수행하려면 과거 토큰을 다시 조회하는 능력만으로는 부족하며, 환경 변화에 맞춰 내부 표현을 지속적으로 갱신하는 계산 메커니즘이 별도로 필요하다는 점을 강조한다. 이러한 문제의식 위에서 논문은 재귀적 및 연속 사고(continuous-thought) 계열의 트랜스포머 아키텍처를 체계적으로 정리하는 분류 체계를 제안한다. 저자들은 모델을 재귀 축(recurrence axis)과 입력 토큰 대비 재귀 단계 수의 비율이라는 두 기준으로 나누어, 깊이 방향에서 반복이 일어나는지, 입력 스텝 방향에서 일어나는지, 혹은 둘이 결합되는지를 구분한다. 이 틀은 단순히 여러 변형 모델을 나열하는 데 그치지 않고, looped transformer, blockwise recurrent 모델, latent-thought 모델, 상태공간모델(State-Space Model, SSM) 등을 하나의 좌표계에 올려놓고 비교할 수 있게 해 준다. 또한 동적 깊이(dynamic depth)나 명시적·잠재적 사고(explicit or latent thinking)처럼 계산을 외부로 늘리는 우회책이 성능을 높일 수는 있어도, 계산량과 메모리 측면에서 비효율적이라는 점을 비판적으로 짚는다. 대신 저자들은 더 유망한 방향으로 강화된 상태공간모델과 거친 재귀(coarse-grained recurrence)를 제안하며, 이는 현대 파운데이션 모델에 상태 추적을 보다 자연스럽게 통합하기 위한 설계 원리로 제시된다. 결국 이 논문의 핵심 기여는 트랜스포머의 한계를 단순한 표현력 부족으로 보지 않고, 상태를 어디에 저장하고 어떤 방식으로 갱신할 것인가라는 동역학적 질문으로 전환했다는 데 있다. 이런 관점은 트랜스포머가 강한 이유를 재조회와 지름길 추론에만 두지 않고, 앞으로의 연구가 더 정교한 재귀 구조를 통해 실제 의미의 상태 추적을 구현해야 한다는 방향을 분명하게 제시한다.

arXiv:2604.16529cs.SE

Scaling Test-Time Compute for Agentic Coding

테스트 시점 스케일링(test-time scaling)은 대규모 언어 모델(LLM)을 향상시키는 강력한 방법이 되었습니다. 하지만 기존 방법은 짧고 경계가 분명한 출력에는 잘 맞는 반면, 장기적인 코드 에이전트(agentic coding)의 긴 실행 궤적에는 잘 적용되지 않습니다. 이 설정에서는 단순히 더 많은 시도를 생성하는 것보다, 이전 경험을 효과적으로 선택하고 재사용할 수 있는 형태로 표현하는 것이 핵심 과제가 됩니다. 저자들은 각 롤아웃(rollout) 궤적을 중요한 가설, 진행 상황, 실패 양상을 보존하는 구조화된 요약으로 변환하는 테스트 시점 스케일링 프레임워크를 제안합니다. 이 표현을 바탕으로 병렬 스케일링(parallel scaling)에서는 Recursive Tournament Voting(RTV)을 통해 소규모 비교를 반복하며 롤아웃 요약의 집단을 점진적으로 좁혀 나갑니다. 순차 스케일링(sequential scaling)에서는 Parallel-Distill-Refine(PDR)을 에이전트 환경에 맞게 확장해, 이전 시도에서 정제된 요약을 조건으로 새로운 롤아웃을 생성합니다. 이 방법은 SWE-Bench Verified와 Terminal-Bench v2.0에서 최신 코드 에이전트의 성능을 일관되게 향상시켰으며, 예를 들어 Claude-4.5-Opus는 SWE-Bench Verified에서 70.9%에서 77.6%로, Terminal-Bench v2.0에서 46.9%에서 59.1%로 개선되었습니다.

arXiv:2604.15851cs.LG

DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy

차등 개인정보보호(differential privacy, DP)는 데이터 프라이버시를 보장하는 핵심 기법이지만, 실제 알고리즘이 특정 보장을 만족하는지 판정하는 과정은 전문가 수준의 추론을 요구해 비전문가에게 큰 장벽이 됩니다. 이러한 문제의식에서 DPrivBench는 대규모 언어 모델(large language models, LLMs)이 DP 추론을 어느 수준까지 자동화할 수 있는지를 검증하기 위한 벤치마크로 제안되었습니다. 각 문제는 주어진 함수나 알고리즘이 명시된 가정 하에서 특정 DP 보장을 만족하는지를 예 또는 아니오로 판단하도록 구성되어, 모델이 단순한 정의 암기보다 논리적 연결과 조건 검토를 수행해야 하도록 설계되었습니다. 특히 벤치마크는 교과서적 메커니즘과 연구 문헌의 고난도 알고리즘을 함께 포함해, 기본적인 민감도 기반 추론부터 복잡한 조건부 보장 검증까지 폭넓게 시험합니다. 구성 방식도 매우 체계적입니다. Category 1에서는 49개의 함수 은행(function bank)을 바탕으로 Laplace 메커니즘, Gaussian 메커니즘, Report-Noisy-Max, Permute-and-Flip 등 여섯 가지 민감도 기반 기법을 템플릿으로 결합하여, 노이즈 스케일과 전역 민감도(global sensitivity)의 관계를 정확히 이해해야만 풀 수 있는 문제를 만듭니다. 긍정 예시와 부정 예시는 거의 동일한 형태를 유지하되 노이즈 계수만 미세하게 바꾸어, 단순한 패턴 매칭이나 표면적 유사성으로는 정답을 맞히기 어렵게 만들었습니다. Category 2에서는 프라이버시 어카운팅, DP 통계, DP 기반 기계학습, 데이터 적응형 메커니즘 등 네 축 아래 16개 토픽을 다루며, 알고리즘 설명, 가정, 보장 중 하나만 의도적으로 변형한 음성 예시를 통해 논리적 추론의 견고함을 점검합니다. 이처럼 두 범주는 서로 다른 수준의 추론 능력을 분리해 측정하도록 설계되어, 모델이 어디에서 실패하는지를 정밀하게 진단할 수 있게 합니다. 실험에서는 총 11개의 LLM을 평가하고 출력 형식을 yes/no로 고정해 채점의 일관성을 높였으며, 그 결과 가장 강한 모델조차 교과서 수준에서는 높은 성능을 보였지만 연구 수준의 복잡한 알고리즘으로 갈수록 급격히 약해졌습니다. 특히 일부 모델은 익숙한 메커니즘에서는 잘 작동했지만, 유사한 정리나 보장식을 서로 혼동하거나 필수 가정을 놓치는 구조적 오류를 반복했습니다. 이는 현재 LLM이 DP의 기본 개념 일부는 활용할 수 있으나, 실제 연구와 검증에 필요한 세밀한 판단까지 안정적으로 수행하기에는 아직 큰 간극이 있음을 보여줍니다. 동시에 이러한 실패 분석은 향후 검색 결합 추론, 더 정교한 보상 설계, 전문가 검증 보조 시스템 등 자동화된 DP 추론을 개선할 수 있는 유망한 방향을 제시합니다. 결과적으로 DPrivBench는 차등 개인정보보호 분야에서 LLM의 추론 역량을 평가하는 기준점이자, 수학적 추론 벤치마크를 보완하는 중요한 연구 인프라로서 의미를 갖습니다.

arXiv:2604.15505cs.CL

PolicyBank: Evolving Policy Understanding for LLM Agents

대규모 언어 모델(LLM) 에이전트가 조직의 정책 아래에서 도구를 사용해 업무를 수행하는 환경에서는, 단순히 작업을 성공적으로 끝내는 것만으로는 충분하지 않으며, 자연어로 주어진 권한 제약과 절차를 얼마나 정확히 이해하고 따르는지가 핵심 과제가 됩니다. 그러나 실제 정책 문서는 애매한 표현, 생략된 예외, 논리적 공백을 포함하는 경우가 많아, 에이전트가 표면적으로는 규칙을 준수하는 것처럼 보여도 실제 요구사항과 어긋난 행동을 반복할 수 있습니다. 저자들은 이러한 문제를 실행 능력의 한계가 아니라 정책 해석의 불완전성으로 재정의하며, 명세된 정책(specified policy)과 실제 요구 정책(required policy) 사이의 차이를 메우는 방향으로 접근합니다. 이를 위해 제안된 PolicyBank는 정책을 불변의 정답으로 저장하는 대신, 도구 수준에서 구조화된 정책 통찰을 축적하고 사전 배포 테스트 과정에서 얻는 교정 피드백을 바탕으로 이를 반복적으로 갱신하는 메모리 메커니즘입니다. PolicyBank의 핵심 방법론은 정책을 태스크 단위가 아니라 도구 기능 수준으로 분해해 저장하고, 각 항목을 TRIGGER, PRECONDITIONS, ELIGIBILITY, ACTION과 같은 구조로 정리한 뒤, 정책 문장과 실제 요구 간의 차이를 KEY INSIGHT로 누적하는 데 있습니다. 이렇게 하면 에이전트는 단순히 과거 성공 사례를 기억하는 수준을 넘어, 어떤 상태에서 어떤 행동이 허용되어야 하는지를 더 정교하게 추론할 수 있으며, 잘못된 준수(compliant but wrong)를 강화하는 기존 메모리의 한계를 줄일 수 있습니다. 또한 PolicyBank는 retrieve_policy()라는 도구형 검색을 통해 현재 문맥과 관련된 정책 조각만 능동적으로 불러오도록 설계되어, 긴 대화와 복잡한 상황 변화 속에서도 필요한 규칙을 유연하게 참조할 수 있게 합니다. 정책 갱신 단계에서는 별도의 Policy Agent가 태스크 궤적과 개발자 피드백을 검토하여 새 규칙을 추가하거나 기존 규칙을 수정하는데, 이 과정에서 이진 보상과 자연어 설명을 함께 활용함으로써 단순한 성공 여부가 아니라 실패 원인의 구조를 학습하도록 유도합니다. 이 연구의 또 다른 중요한 기여는 평가 문제를 재구성한 데 있습니다. 저자들은 널리 쓰이는 도구 호출 벤치마크인 τ-Bench를 확장해, 실행 실패(Type I execution failure)와 정렬 실패(Type II alignment failure)를 분리할 수 있는 정책 갭(policy gap) 테스트 환경을 구축했습니다. 여기서 실행 실패는 에이전트가 정책 자체를 제대로 따르지 못하는 경우를 뜻하고, 정렬 실패는 정책 문서대로 행동했지만 그 문서가 실제 요구를 충분히 반영하지 못해 결과적으로 잘못된 행동이 되는 경우를 의미합니다. 이러한 구분은 기존의 메모리나 가드레일 방식이 주로 전자를 다루고 후자는 놓치고 있었음을 드러내며, 정책 이해 자체를 진화시켜야 한다는 논문의 문제의식을 분명하게 보여 줍니다. 실험적으로도 기존 메모리 메커니즘은 정책 갭 시나리오에서 거의 성능을 내지 못한 반면, PolicyBank는 인간 오라클 대비 최대 82%까지 격차를 줄이며, 피드백 기반 정책 재해석이 실제로 유효함을 입증했습니다. 정성적 분석에서도 PolicyBank는 정책이 한 번의 수정으로 완성되는 정적인 규칙이 아니라, 반복적인 상호작용 속에서 경계와 예외가 점진적으로 정교해지는 동적 대상임을 보여 줍니다. 특히 설명이 포함된 피드백은 단순한 이진 보상보다 훨씬 효과적으로 작동했는데, 이는 정책 갱신이 단순한 행동 모방이 아니라 잘못된 명세를 재해석하는 추론 과정에 가깝다는 점을 시사합니다. 결과적으로 이 연구는 LLM 에이전트의 안전성과 준수성을 높이기 위해서는 실행을 막는 방어 장치만으로는 부족하며, 에이전트 내부의 정책 이해를 계속 진화시키는 메커니즘이 필요하다는 점을 설득력 있게 제시합니다.

arXiv:2604.15464cs.PF

Ragged Paged Attention: A High-Performance and Flexible LLM Inference Kernel for TPU

대규모 언어 모델(Large Language Model, LLM)의 배포가 비용 효율이 높은 텐서 처리 장치(Tensor Processing Unit, TPU)로 빠르게 이동하는 가운데, 추론 성능과 총소유비용(total cost of ownership, TCO)을 동시에 만족시키는 커널 설계는 여전히 중요한 과제로 남아 있습니다. 특히 현대 서빙 환경에서는 요청 길이와 배치 구성이 계속 달라지는 가변형(ragged) 실행 패턴이 일반적이어서, GPU 중심으로 발전해 온 기존 어텐션 커널을 그대로 옮기는 것만으로는 TPU의 하드웨어 잠재력을 충분히 끌어내기 어렵습니다. 이러한 문제의식 속에서 제안된 Ragged Paged Attention(RPA)은 TPU의 실행 구조에 맞추어 LLM 추론을 다시 설계한 고성능·유연한 어텐션 커널입니다. 저자들은 특히 디코드 단계에서의 KV 캐시 읽기 중심 메모리 병목과, 프리필 단계에서의 대규모 행렬곱을 얼마나 효율적으로 가속하느냐가 서로 다른 핵심이라고 보고, 이를 하나의 범용 접근이 아니라 워크로드 특성에 따라 다르게 최적화해야 한다고 주장합니다. RPA의 방법론은 세 가지 축으로 정리됩니다. 첫째, 미세 타일링(fine-grained tiling)을 통해 ragged memory를 세밀한 단위로 분해하고, 동적 슬라이싱이 가능한 형태로 재배치하여 TPU의 행렬 연산 장치인 MXU(Matrix Multiply Unit)를 더 효율적으로 활용합니다. 둘째, KV 캐시 갱신과 어텐션 계산을 분리하지 않고 하나의 맞춤형 소프트웨어 파이프라인으로 엮어 데이터 이동과 연산을 겹치게 함으로써, 메모리 접근 비용을 줄이고 실행 지연을 숨깁니다. 셋째, 분포 인지 컴파일(distribution-aware compilation)을 적용해 디코드, 프리필, 혼합 워크로드 각각에 특화된 커널을 생성함으로써, 변화하는 요청 분포에 맞는 최적 실행 경로를 제공합니다. 이 과정에서 레이아웃 설계 역시 핵심적인 역할을 합니다. 특히 그룹드 쿼리 어텐션(Grouped Query Attention, GQA) 구조에서 쿼리, 키, 값의 축 순서를 TPU 친화적으로 재구성하여, 공유되는 키와 값을 여러 쿼리 헤드가 반복적으로 재사용할 수 있도록 만들고, 불필요한 transpose 비용은 KV transpose fusion으로 로드 경로 안에 흡수합니다. 이러한 설계는 단순한 메모리 최적화를 넘어, TPU의 계산 계층과 데이터 계층을 함께 고려한 시스템 수준의 방법론이라는 점에서 의미가 큽니다. 다시 말해 RPA는 어텐션을 빠르게 만드는 데 그치지 않고, 동적 길이 요청이 섞이는 실제 서빙 조건에서 하드웨어 자원을 어떤 순서와 구조로 배치해야 하는지를 구체적으로 보여 줍니다. 평가 결과는 이러한 설계의 타당성을 뒷받침합니다. Llama 3 8B를 TPU7x에서 실행했을 때 RPA는 디코드에서 최대 86%의 메모리 대역폭 활용률(memory bandwidth utilization, MBU), 프리필에서 최대 73%의 모델 FLOPs 활용률(model FLOPs utilization, MFU)을 달성하여, 각 단계의 병목에 맞는 최적화를 실제 성능으로 연결했습니다. 또한 vLLM과 SGLang의 주요 TPU 백엔드로 통합되었다는 점은, 이 방법이 연구용 프로토타입을 넘어 생산 환경에 적용 가능한 수준의 기반 기술임을 보여 줍니다. 종합하면 이 연구는 TPU에서의 LLM 추론이 단순한 포팅 문제가 아니라, 가변형 실행 패턴과 캐시 관리, 데이터 레이아웃, 컴파일 전략을 함께 재구성해야 하는 종합적 시스템 문제임을 설득력 있게 제시하며, 향후 TPU 기반 서빙 커널 설계의 중요한 기준점을 제시합니다.