PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12177v1cs.AI

지리공간 기반 모델의 새로운 패러다임: 사전학습에서 에이전틱 추론까지

The Emerging Paradigm of Geospatial Foundation Models: From Pre-Training to Agentic Reasoning

위성 및 항공 영상 분석은 기반 모델(foundation models)의 등장으로 새로운 시대에 접어들었다. 본 논문은 다양한 방법론을 통해 대규모 지리공간 데이터셋에서 사전학습된 인공지능/머신러닝(AI/ML) 모델인 지리공간 기반 모델(Geospatial Foundation Models, GeoFMs)의 개념을 설명한다. 먼저 GeoFMs가 가능하게 하는 핵심 패러다임 전환, 즉 대규모 모델 제공자가 연산 집약적인 사전학습을 수행하고 도메인 전문가가 특정 임무 핵심 작업을 위해 이러한 모델을 신속하게 파인튜닝하거나 프롬프트할 수 있는 업무 분담을 설명한다. 이 접근법은 하류 작업의 보안과 기밀성을 유지하면서 최첨단 AI/ML에 대한 접근을 민주화한다. 다음으로, 마스킹 자동 인코딩과 같은 자기지도학습 기법으로 생성된 파인튜닝 가능한 비전 모델과, 개방 어휘 이미지 분석과 같은 제로샷 작업을 가능하게 하는 대조 학습으로 생성된 비전-언어 모델을 구분하면서, 다양한 유형의 GeoFMs가 열어주는 새로운 역량을 탐구한다. 이어서 성능-비용 분석부터 광범위한 MLOps 생태계에 이르기까지 GeoFMs를 운영화하기 위한 실무적 고려사항을 논의한다. 이를 위해 모델 적응 전략의 분류체계를 제시하고, 도메인 전문가가 특정 임무 집합에 대해 가장 비용 효율적인 적응 접근법을 선택할 수 있는 프레임워크를 제안한다. 마지막으로, 대규모 언어 모델(LLM)이 지능형 오케스트레이터로 작동하여 GeoFMs를 도구로 활용해 자연어로 고수준 사용자 질의에 답하고 복잡한 분석 워크플로를 자동화하는 에이전틱 지리공간 추론(Agentic Geospatial Reasoning)의 전향적 비전을 제시하며, 이 분야를 지각(perception)에서 인지(cognition)로 이동시킨다.

arXiv:2607.12085v1cs.AI

대화형 에이전트의 다차원 평가 운영화: 선택적 재평가 및 모델 벤치마킹을 갖춘 확장 가능한 거버넌스 파이프라인

Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking

소매 대화형 에이전트를 평가하려면 의도 정렬(intent alignment), 사실성(factuality), 유용성(helpfulness), 명확성(clarity), 톤(tone), 전반적인 응답 품질을 판단하기 위해 어휘 중복(lexical-overlap) 지표를 넘어서는 방법이 필요합니다. LLM-as-a-judge 방법은 인간 평가에 대한 확장 가능한 대안을 제공하지만, 프로덕션 배포는 거버넌스, 재현성, 비용, 스키마 일관성, 추적 가능성, 신뢰성 측면에서 과제를 야기합니다. 우리는 소매 대화형 시스템의 대규모 평가를 위한 거버넌스가 적용된 설정 기반 파이프라인인 GenAI Evaluation을 제시합니다. 이 파이프라인은 프로덕션 챗봇 로그를 정규화, 샤딩, 비동기 실행, 스키마 제약 LLM 채점을 통해 처리합니다. 해당 프레임워크는 유용성, 진실성, 명확성, 톤 정렬, 번역 특화 차원을 평가합니다. 선택적 재평가는 불완전하거나 형식 오류가 있거나 스키마에 맞지 않는 레코드만 처리하며, 스키마 잠금, 버전 관리된 설정, 검증 로그, 레코드 수준 출처 정보가 감사 가능성(auditability)을 지원합니다. 해당 프레임워크는 하루 약 50,000건의 레코드를 처리하며, 200만 건 이상의 상호작용을 평가했습니다. 검증에는 4명의 훈련된 어노테이터가 라벨링한 12,980건의 층화 무작위 인간 라벨 레코드를 사용했습니다. 분류는 14개 의도(intent), 156개 하위 의도(sub-intent), 18개 주요 도메인, 129개 하위 도메인을 포함했습니다. 파이프라인은 거시 F1 점수 0.93과 번역에 대해 89%의 인간 수용 가능성(human-acceptability) 정확도를 달성했습니다.

arXiv:2607.12077v1cs.AI

그래프 피드백이 오픈 가중치 언어 모델 집단에서 합의와 클라이크 형성을 제어한다

Graph Feedback Controls Consensus and Clique Formation in Open-Weight Language-Model Populations

다중 에이전트 언어 모델 시스템은 점점 더 지역적 상호작용을 라우팅하고 있으나, 런타임 상호작용 그래프는 종종 구현 세부 사항으로 취급된다. 우리는 네이밍 게임(naming-game) 프로토콜을 사용하여 1.1B~32B 파라미터에 걸친 오픈 가중치 LM 집단에서 관습 형성을 연구한다. 토크나이저-안전(tokenizer-safe) 라벨에 대한 제한된 첫 토큰 점수를 통해 프롬프트 조건화된 점수-상태 분포를 측정하고, 상태-유사도 그래프를 구성하며, 샘플링된 라벨 일치와 잠재 상태 공간 합의를 분리할 수 있다. 통제된 개입 전반에서, 주요 오픈 가중치 복구 그리드에서는 보존된 파트너-라벨 증거가 필요하지만 충분하지 않다: 동류 선호(homophilous) 임계값-유사도 라우팅은 교차-베이sin(cross-basin) 노출을 제거하고 분열을 증폭하는 반면, 브릿지 탐색(bridge-seeking) 라우팅은 메모리가 가용할 때 종종 분열을 복구한다. 3-시드 혼합 4-모델 그리드에서 임계값-유사도는 189개 setting-seed 실행에서 최종 행동적 또는 상태 합의를 전혀 달성하지 않는 반면, 상태-성분 및 라벨-불일치 브릿지는 메모리 보존 18회 실행 중 14회에서 최종 행동적 합의를 회복한다. 동질 모델 집단 전반에서 보존된 이력은 일반적으로 분열된 역학을 합의 쪽으로 이동시킨다; 가장 명확한 사례는 Qwen2.5-32B로, 18개의 보존-이력 well-mixed 설정 모두에서 안정적인 행동적 및 최종 상태 합의에 도달하는 반면, 임계값-유사도는 189개 설정에서 어느 형태의 합의에도 도달하지 않는다. 상태 임계값, 집단 크기, 어휘 크기에 대한 강건성은 질적 순서를 유지하며, 초기 윈도우 그래프-에너지 특징은 그리드 내 진단에 유용하다.

arXiv:2607.12058v1cs.SE

AutoTrace: 에이전트 기반 절차 간 탐험을 통한 패치에서 트리거까지

AutoTrace: From Patches to Triggers via Agentic Interprocedural Exploration

취약점 수정 커밋이 주어졌을 때, 트리거 위치 특정(trigger localization)은 어떤 특정 문(statement)이 취약한 프로그램 상태를 구체적인 불안전 연산으로 전환시키는지를 묻는다. 이 문제는 이진 취약점 탐지보다 더 어렵다. 답은 절차 간, 인과적 추론을 요구하기 때문이다. 실제 CVE의 상당 부분에서 트리거 문은 패치된 함수 바깥 여러 호출 층에 위치하며, 정적 규칙 집합과 패턴 매칭 언어 모델 모두의 범위를 벗어난다. 우리는 AutoTrace를 제시한다. 이는 코드 속성 그래프(code property graph)를 층별로 탐험하여 취약점 트리거를 특정하는 에이전트 기반 파이프라인이다. LLM 에이전트가 다음에 어디를 살펴볼지 결정하고, 결정론적 허용 가능성 게이트(deterministic admissibility gates)가 트리거를 보고하기 전에 어떤 증거가 필요한지 결정한다. 에이전트는 자체 권한으로 트리거를 받아들이지 않으며, 보고된 모든 트리거는 그래프에서 도출된 명시적 증거에 의해 뒷받침된다. 따라서 파이프라인은 근거 없는 모델 판단에 의존하지 않고 절차 내 및 절차 간 취약점을 모두 다룬다. 전체 InterPVD 벤치마크에서 AutoTrace는 75.0% VulnHit 및 80.8% FuncHit를 달성하여, 동일한 코퍼스에서 이전 최신 기술(state of the art)을 능가한다. 동일한 메커니즘을 기반으로, 우리는 SinkTrace-Bench를 구축한다. 이 데이터셋은 각 취약점을 공격자 제어 입력에서 전파(propagation)를 거쳐 위험한 연산까지 이어지는 source-to-sink(S2S) 인과 사슬로 드러내며, 매칭된 취약 및 패치된 프로그램 상태에서 추출된다. 이는 검증자 확인(verifier-confirmed) 1,542개의 완벽하게 균형 잡힌 취약/안전 샘플로 구성되며, 라벨 충실도는 전문가 주석에 대해 감사(audit)했다. 이를 통해 최첨단 LLM을 벤치마킹한 결과, 가장 강력한 모델조차 매칭된 쌍을 구분하는 데 어려움을 겪는 것을 발견하며, 트리거 위치 특정이 겨냥하는 인과 추론 격차를 드러낸다. 아티팩트는 https://github.com/Erroristotle/AutoTrace 에서 이용할 수 있다.

arXiv:2607.11951v1cs.AI

GRID: 엔터프라이즈 SQL 생성을 위한 문법 레일 디코딩

GRID: Grammar-Railed Decoding for Enterprise SQL Generation

대규모 언어 모델(LLM)은 SQL을 작성할 수 있지만, 엔터프라이즈 배포에는 그럴듯한 텍스트 이상이 요구된다. 출력은 구문적으로 유효해야 하며, 역할별·스키마별 정책을 준수해야 하고, (최선을 다하는 수준이 아닌) 증명 가능한 보장을 담아야 하며, 생성이 길어져도 느려지면 안 되고, 모든 결정에 대한 규정 준수 수준의 기록을 남겨야 한다. 우리는 GRID(Grammar-Railed Decoding, 문법 레일 디코딩)를 제안한다. 이는 토큰 시퀀스가 아니라 파서 구성(렉서 스캔 상태 × LALR(1) 스택)에 정확한 다음 토큰 마스크를 키잉하는 문법 제약 디코딩 엔진이며, 점진적으로 전진하는 LALR(1) 파서 자체를 viable-prefix 오라클로 사용한다. LLM 토큰은 바이트 수준 트라이 탐색으로 문법 터미널에 연결되며, 문맥 독립/문맥 의존 분할을 통해 캐시 키 건전성이 구조적으로 성립한다. 역할 기반 접근 제어(RBAC)는 언어에 컴파일된다. 역할 투영이 문법의 생성 규칙을 부분집합으로 만들고 스키마 어휘가 식별자 터미널을 제한하므로, 금지된 동사와 식별자는 마스크 수준에서 도달할 수 없다. 네 가지 보장(건전성, 완전성, 종료성, 토큰당 거의 일정한 비용)은 명시적 전제 조건과 함께 제시되며, 각각 테스트 또는 벤치마크와 짝을 이룬다. Rust 커널은 토큰당 마스크를 중앙값 3.6–6.7μs로 가져오며, 두 토크나이저에서 오거부 0건으로 llguidance의 p50·p90을 앞선다. 토큰당 가드 비용은 n=16,000에서 위치에 무관하게 일정하다. Spider에서 제약 디코딩은 0.5B에서 실행 정확도 +13점의 가치가 있으며, 증명적으로 마스크로 강제할 수 없는 잔여(컬럼 수준 정책)에 대한 체커 안내 수리 1회 패스는 7B 모델을 94.5% 실행 가능으로 끌어올린다. 해시 연쇄 토큰별 감사 추적은 100% 변조 탐지와 함께 비트 단위로 동일하게 재현된다. 마스크가 할 수 없는 것(분포 충실도, 컬럼 수준 RBAC, 비-LALR(1) 언어)과 측정된 비용이 남는 지점을 솔직히 밝힌다.

arXiv:2607.11920v1econ.EM

주관적 기대 효용 최대화에 대한 민감도: 방법론 연구 및 LLM 의사결정에 대한 예시 적용

Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

불확실성 하에서 내린 결정을 평가하기는 라벨이 붙은 결과가 희소하거나, 비용이 크거나, 운에 의해 교란될 때 어렵다. 우리는 주관적 기대 효용(SEU) 최대화를 명시된 기준으로 간주하고, 에이전트가 이에 부합하는 정도를 나타내는 단계적 척도인 SEU 민감도를 정의한다. 이를 위한 수단은 SEU 값을 갖는 대안들에 민감도 매개변수 $α$를 둔 소프트맥스 선택 모델이며, 기여는 $α$ 및 신념·효용 매개변수 $(β, δ)$에 대한 일련의 식별 가능성 결과로, Stan에서 사전 예측 검사, 매개변수 복원, 시뮬레이션 기반 보정(SBC)을 통해 검증되었고 유한 표본 한계는 그대로 유지된다. 불확실 선택만 있는 모델 $m_0$에서 $α$는 기대 효용 벡터 $η$가 주어지면 식별 가능하며 선명하게 복원되지만, $(β, δ)$는 약하게만 정보를 얻는다: 사후분포는 거의 수축하지 않으며 $β$-$δ$ 절충에 집중된다. 확장 모델 $m_1$에서 $δ$는 원칙적으로 $β$가 없는 위험 블록을 통해 식별 가능해지지만, 현실적인 표본 크기에서의 실질적 복원 이득은 무시할 만하다(동일 개수 기준 신뢰구간 폭 감소 1% 미만), 그리고 그 블록은 동일 선택 개수에서 검출된 $α$ 정밀도 이득을 제공하지 않는다. 이 둘은 서로 다른 현상이다: $δ$의 경우 식별 가능성이 현실적인 $n$에서 정밀한 추정 가능성을 함의하지 않으며, $α$의 경우 식별 가능성은 유한 $n$ 정밀도를 지배하는 요인에 대해 말하지 않는다. 두 모델 모두에서 공동 사후분포가 약하게 정보를 얻는 경우에도 한계 SBC는 통과한다 — 우리가 정밀히 구분하는 경계이다. 2×2 적용(GPT-4o와 Claude 3.5 Sonnet 각각에 대해 보험 청구 분류와 엘스버그 스타일 도자기 문제, 샘플링 temperature를 조작 변수로)이 실제 LLM 선택 데이터에서 처음부터 끝까지 실행되어, 네 셀 중 두 셀에서 구조화된 비교적 $α$ 효과를 검출한다.

arXiv:2607.11890v1cs.CY

의견도 많고 LLM도 많다: 개방형 설문 분석에서 대규모 언어 모델과 전통적 머신러닝 비교

So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis

개방형 설문은 귀중한 통찰을 제공하지만, 대규모로 분석하기는 악명 높을 정도로 어렵다. 텍스트 분류에 전통적 머신러닝을 적용한 선행 연구("So Many Responses, So Little Time: A Machine-Learning Approach to Analyzing Open-Ended Survey Data") [1]를 바탕으로, 본 연구는 서로 다른 대규모 언어 모델(LLM)이 NSSE 개방형 설문 응답을 어떻게 이해하고 분석하는지 조사한다. 여러 최신 LLM—OpenAI의 GPT 시리즈, Twitter-roBERTa-base 모델, Meta의 LLaMA—에 초점을 맞추고, 감성 분석 및 주제 분류와 같은 과제에서 이들의 성능을 이전 머신러닝 모델과 비교한다. 본 연구 분석은 모델 간 일치도, 분류 정확도, 그리고 추론의 해석 가능성을 평가한다. 결과는 현재 LLM이 분류 정확도에서 전통적 머신러닝 모델을 일관되게 능가한다는 것을 보여 주며, 특히 학생 응답의 복잡한 정서 및 주제 패턴 이해에서 두드러진다. LLM이 정확도는 우수하지만, 예측을 얼마나 명시적이고 일관되게 정당화하는지, 그리고 범주 경계를 적용하는 방식에서는 크게 다르다. 이러한 차이는 정성 분석에 LLM을 사용할 때 중요한 트레이드오프를 부각한다: 예측력의 증가는 일관성과 설명 가능성의 문제를 수반한다. 본 연구 결과는 대규모 정성 연구에 다양한 LLM을 활용할 때의 이점과 단점을 보여 주며, 자동화와 해석적 엄밀성의 균형을 맞추려는 연구자들을 위한 실용적 조언을 제공한다.

arXiv:2607.11019v2cs.AI

QwenPaw-Data: 자율 엔터프라이즈 데이터 분석을 위한 사실, 방법론, 실행의 통합

QwenPaw-Data: Bridging Facts, Methodology, and Execution for Autonomous Enterprise Data Analytics

엔터프라이즈 데이터 분석은 자율 에이전트의 독자적인 새로운 영역으로 부상하고 있다. 범용 인터랙션 및 소프트웨어 엔지니어링과 비교하여, 이 분야는 개방적이고 모호하며 지속적으로 진화하는 환경에서 운용된다. 이러한 특성은 시맨틱, 방법론, 실행, 진화를 시스템의 일급 관심사로 다루는 데이터-에이전트 아키텍처를 필요로 한다. 이를 위해 우리는 엔터프라이즈 지능형 데이터 분석을 위해 설계된 에이전틱 데이터 시스템인 QwenPaw-Data를 소개한다. QwenPaw-Data는 데이터 웨어하우스, 대시보드, 문서, 인터랙션 로그, 과거 태스크로부터 이질적인 자산을 재사용 가능하고 거버넌스 가능하며 진화 가능한 분석 자산으로 통합한 후, 자연어 요청을 데이터 이해, 검색, 분석, 보고서 생성, 의사결정 지원에 걸친 엔드-투-엔드 분석 워크플로우로 전환한다. 그 아키텍처는 세 가지 협력적 서브시스템으로 문제를 분해한다: DataBridge는 상호 연결된 메타데이터, 지식, 추적 그래프를 통해 신뢰할 수 있는 시맨틱 그라운딩을 제공하고, Skill-Hub는 전문가적 분석 방법론을 재사용 가능하고 검증 가능한 스킬로 성문화하며, Host는 이러한 증거 및 방법 자산을 제어 가능한 아티팩트 중심의 런타임 실행으로 구현한다. 이 서브시스템 전반에 걸쳐 시맨틱, 방법, 추적, 피드백이 지속적으로 시스템에 축적되어 자기 진화적 자산 플라이휠을 형성한다. 공개 벤치마크 및 실제 산업용 BI 워크로드에 대한 실험에서 QwenPaw-Data는 검증 가능한 데이터 접근 능력과 고차원 분석 품질 모두를 향상시킴으로써, 신뢰할 수 있고 추적 가능하며 지속적으로 개선되는 엔터프라이즈 데이터 에이전트를 위한 실용적인 기반을 제공함을 보여준다.

arXiv:2607.10526v2cs.AI

에이전트는 동의만 하지 않고 기억한다: 상태 유지 개인 에이전트에서의 지속적 아첨 벤치마킹

Agents Don't Just Agree, They Remember: Benchmarking Persistent Sycophancy in Stateful Personal Agents

상태 유지 개인 에이전트(stateful personal agent)는 점점 더 장기 사용자 프로필, 에피소딕 메모리, 재사용 가능한 스킬을 관리하게 되었다. 이러한 지속성(persistence)은 대화적 아첨(conversational sycophancy)을 상태 쓰기 실패(state-writing failure)로 전환시킨다. 즉, 사용자 중심의 주장이 수용되면 지속적인 선호, 배경 사실, 또는 워크플로우로 커밋되어 원래 대화가 사라진 이후에도 재사용될 수 있다. 우리는 이를 지속적 아첨(persistent sycophancy)이라 명명하고, 개인 에이전트 아첨 벤치마크(PASB, Personal Agent Sycophancy Benchmark)를 소개한다. PASB는 1,600개의 태스크로 구성된 벤치마크로, 대화 중 주장이 수용되고 에이전트의 지속적 상태(durable agent state)에 기록된 후 이후의 중립적 질의에서 재사용되는지를 추적한다. 사전 작성된 메모리를 제공하는 기존 벤치마크와 달리, PASB는 무엇을 저장할지 스스로 결정하는 실제 에이전트(Hermes-Agent와 OpenClaw)를 평가한다. 네 가지 시나리오 프레이밍과 네 가지 시간적 전달 패턴을 결합하고, 다섯 턴의 지속(persist) 단계와 초기화된 세 턴의 질의 단계를 분리함으로써 쓰기 과정을 고립시켜, 하위 효과가 오직 지속적 상태에서만 발생하도록 보장한다. 12개 모델에 걸쳐, 커밋 경계(commit boundary)가 핵심 변곡점임이 확인되었다. 세션 한정 에피소드에서의 45.0%에서 커밋 이후 71.9%로 하위 실패율이 증가하며, 27.0 퍼센트 포인트의 일관된 증가를 보인다. 커밋된 주장은 세 가지 쓰기 시점 패턴을 보인다: 지위 승격(status promotion), 출처 제거(attribution removal), 범위 확장(scope broadening). 이러한 패턴은 메모리 유사 또는 절차적 프레이밍, 반복적 강화, 심지어 도메인 경계를 넘어서도 강화된다. 이러한 결과는 에이전트 아첨이 근본적으로 상태 쓰기 거버넌스 문제임을 보여준다. 사용자 콘텐츠가 지속적 메모리에 커밋된 이후에는, 안전성이 에이전트가 말하는 것뿐만 아니라 기록하는 것도 통제해야 한다. PASB는 저장된 콘텐츠의 출처, 역할, 범위를 응답 수준의 완화 조치 이상으로 보존하면서 위험한 커밋을 차단하는 데 필요한 쓰기 시점 제어 수단을 식별한다.

arXiv:2607.06624v2cs.AI

AgentLens: 코딩 에이전트 평가를 위한 프로덕션 평가 기반 궤적 리뷰

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

대화형 코드 에이전트를 위한 프로덕션 평가 기반 벤치마크인 AgentLens를 제시한다. 대부분의 코드 에이전트 벤치마크는 한 번의 실행을 단일 비트로 축소한다—과제가 통과했는가?—하지만 실제로 이러한 에이전트를 사용하는 사람들은 전체 궤적을 경험한다: 에이전트가 지시를 따르는 방식, 도구를 사용하는 방식, 자신의 작업을 검증하는 방식, 실수로부터 회복하는 방식, 그리고 그 과정에서 사용자와 소통하는 방식. AgentLens는 그 전체 궤적을 평가한다. 객관적 검사가 존재하는 형식 검증을 대규모 언어 모델(LLM)이 작성한 궤적 리뷰 및 나란히 비교와 결합하여, 각 실행마다 점수가 그렇게 된 이유에 대한 읽기 쉬운 설명을 제공한다. 이로 인해 AgentLens는 모델 순위 매기기 이상의 용도로 유용하다: 모델 행동을 진단하고, 자체 에이전트의 연속 버전을 비교하며, 야간 평가 파이프라인에서 제품 회귀를 포착하는 데 사용한다. 벤치마크는 https://github.com/agent-lens/agent-lens-bench 에서 오픈 소스로 공개한다.

arXiv:2607.06233v2cs.AI

TOFFEE 시연: 대규모 데이터 에이전트 궤적 합성을 위한 학습 기반 시스템

Demonstrating TOFFEE: A Learned System for Synthesizing Data Agent Trajectories at Scale

TOFFEE는 이질적인 엔터프라이즈 환경에서 데이터 에이전트의 일반화 한계를 극복하기 위해, 몬테 카를로 트리 탐색(MCTS)과 적응형 모델 선택, 태스크 간 접두 컨텍스트 재사용을 결합하여 고품질 데이터 에이전트 궤적을 대규모로 합성하는 시스템이다. TOFFEE로 합성한 궤적으로 파인튜닝한 모델(TOFFEE-27B)은 KramaBench와 DSBench에서 OpenAI o3 같은 프론티어 추론 모델을 능가하며, 지도 파인튜닝(SFT) 및 문맥 내 학습(ICL) 데모 두 가지 용도로 활용 가능함을 실증한다.

arXiv:2607.02374v2cs.AI

DRIFTLENS: Measuring Memory-Induced Reasoning Drift in Personalized Language Models

개인화된 대규모 언어 모델(LLM)이 사용자 속성(나이, 직업, 장애 여부 등)을 메모리로 주입할 때 최종 답변은 그대로여도 추론 과정 자체가 달라지는 현상(symbolic drift)을 정량화하기 위해, 정답 없이 가치 온톨로지 기반의 추론 궤적 발산을 측정하는 프레임워크 DRIFTLENS를 제안한다. 4개의 LLM과 10개의 사용자 속성 카테고리에서 중·대규모의 추론 드리프트가 확인되었으며, GRPO·DPO 기반 사후학습(post-training)으로 드리프트를 줄일 수 있었지만 어느 방법도 모든 모델에서 일관되게 우세하지 않았고 하위 능력·유용성과의 트레이드오프가 존재함을 보인다.

arXiv:2606.29537v2cs.AI

OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.

arXiv:2606.27443v2cs.AI

다중 에이전트 LLM 팀에서 성격 구성은 언제 중요한가?

When Does Personality Composition Matter for Multi-Agent LLM Teams?

성격 프롬프팅(personality prompting)은 대규모 언어 모델(LLM)의 의사소통 방식을 형성하지만, 이러한 행동 변화가 객관적 과제 결과에 영향을 미치는지는 아직 충분히 탐구되지 않았다. 선행 연구에 따르면 낮은 친화성(agreeableness)으로 프롬프트된 에이전트는 적대적 언어를 생성하고, 높은 친화성으로 프롬프트된 에이전트는 협력적으로 변하지만, 의사소통 스타일과 과제 성능 간의 관계는 여러 도메인에 걸쳐 체계적으로 검토되지 않았다. 본 연구에서는 구조화된 코딩, 개방형 연구 협업, 경쟁적 협상의 세 가지 과제 도메인에서 frontier LLM의 성격 특성을 조작하여, 성격 구성이 다중 에이전트 팀 성능에 중요한지를 조사한다. 성격 효과는 과제 구조에 크게 의존함을 밝혔다. 코딩 과제에서는 낮은 친화성이 큰 의사소통 변화를 유발하지만, 마일스톤 달성에는 거의 영향을 미치지 않는다. 개방형 협업과 협상에서는 동일한 조작이 성능을 상당히 저하시킨다. 다중 에이전트 시스템 설계에 대한 함의와 성격 조작의 한계를 논의한다.

arXiv:2606.17930v2cs.AI

추론 연산이 프론티어 LLM 평가를 형성하는 방식

How Inference Compute Shapes Frontier LLM Evaluation

AI 평가는 도구 사용과 반복적 문제 해결을 수반하는 더 긴 궤적(trajectory)에서 이점을 얻는 더 어려운 과제로 점점 이동하고 있다. 그 결과 성능은 테스트 시점에 사용 가능한 연산의 양과 배분("추론 연산", inference compute)에 점점 더 민감해지고 있다. 그럼에도 많은 평가는 여전히 단일한 제한적 예산에서 성능을 보고하며, 이는 낮은 점수가 모델의 근본적 능력보다는 평가 설정을 반영할 수 있음을 의미한다. 이를 검증하기 위해, 우리는 소프트웨어 공학, 수학, 의학, 사이버보안에 걸친 7개의 어려운 벤치마크에서 최대 12개의 프론티어 언어 모델을 평가했다. 우리는 세 가지 단순한 추론 스케일링(inference-scaling) 개입을 결합한 통제된 설정을 사용했다: 더 큰 토큰 예산, 컨텍스트 압축(context compaction), 그리고 모델 자체 또는 최소한의 정확성 피드백(correctness feedback)에 의해 안내되는 반복 제출 시도. 우리는 세 가지 주요 결과를 발견했다. 첫째, 더 큰 토큰 예산은 사이버보안, FrontierMath, Humanity's Last Exam, TerminalBench를 포함해 여러 도메인의 벤치마크에서 성능을 상당히 향상시킨다. 둘째, 고정 예산 평가는 모델이 발전함에 따라 프론티어 역량을 점점 더 과소평가할 수 있다. 최신 모델은 큰 예산에서 더 높은 성능에 도달하며, 여기서 더 어려운 과제를 해결할 수 있게 되고 더 안정적으로 해결한다. 셋째, 벤치마크마다 어떤 추론 스케일링 방법이 가장 도움이 되는지가 다르다: 반복 제출은 전반적으로 성능을 향상시키지만, 더 큰 토큰 예산, 외부 피드백, 병렬 시도의 가치는 벤치마크에 따라 달라진다. 전반적으로 우리 결과는 벤치마크 점수가 프로토콜에 의존적임을 보여준다. 따라서 우리는 평가가 추론 시 연산의 함수로서 역량을 보고하고, 프로토콜 선택을 명시적으로 기술하며, 특히 안전성 또는 정책 관련 맥락에서 일치하는 예산 하에서 넓은 공유 연산 범위에 걸쳐 모델 세대를 비교해야 한다고 주장한다.

arXiv:2605.10834v2cs.AI

제어된 환경에서 실전까지: 실제 환경을 위한 펜테스팅 에이전트 평가

From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World

AI 펜테스팅 에이전트는 공격적 보안 시스템으로서 신뢰도가 점점 높아지고 있지만, 현재 벤치마크는 여전히 실제 환경 대상에서 어떤 에이전트가 가장 우수한 성능을 낼지에 대한 제한적인 가이던스만 제공한다. 기존 평가 프로토콜은 단순화되었거나 협소한 설정에서 캡처 더 플래그(capture-the-flag), 원격 코드 실행(remote code execution), 익스플로잇 재현(exploit reproduction), 또는 궤적 유사성(trajectory similarity)과 같은 사전 정의된 목표를 평가하고 최적화한다. 이러한 도구들은 제한된 역량을 측정하는 데 가치가 있으나, 현실적인 펜테스팅에 요구되는 복잡성, 개방형 탐험, 그리고 전략적 의사결정을 충분히 포착하지 못한다. 본 논문에서는 평가를 과제 완료에서 검증된 취약점 발견으로 전환하는 실용적인 평가 프로토콜을 제시하며, 이를 통해 여러 공격 표면과 취약점 유형에 걸쳐 충분히 복잡한 대상에서 평가를 가능하게 한다. 이 프로토콜은 취약점 식별을 위해 구조화된 그라운드 트루스(ground-truth)와 LLM 기반 의미 매칭을 결합하고, 현실적인 모호성 하에서 발견 결과를 채점하기 위한 이분 해석(bipartite resolution), 지속적인 그라운드 트루스 유지보수, 확률적 에이전트의 반복 및 누적 평가, 효율성 지표, 그리고 지속 가능한 실험을 위한 축소 스위트 선택을 포함한다. 이 프로토콜은 AI 펜테스팅 에이전트의 보다 현실적이고 운영적으로 유익한 비교를 가능하게 함으로써 최신 기술 수준을 확장한다. 재현 가능성을 위해 제안된 평가 프로토콜에 대한 전문가 주석 그라운드 트루스와 코드도 공개한다: https://github.com/ethiack/ethibench.

arXiv:2604.27374v2cs.AI

지도학습 금융 NLP의 측정 리스크: JF-ICR에서의 루브릭 및 지표 민감도

Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR

대규모 언어 모델(LLM)이 실적 발표 전화회의, 투자자 관계 Q&A, 가이던스, 공시 언어를 신뢰할 수 있는 독자로 자리 잡으면서, 지도학습 금융 NLP 벤치마크는 모델 선택과 배포를 위한 의사결정 근거로 점점 더 많이 활용되고 있다. 여기에는 골드 라벨이 그러한 근거를 객관적으로 만든다는 숨은 가정이 깔려 있다. 그러나 벤치마크의 평가 기준 자체가 루브릭 문구, 지표 선택, 또는 집계 정책에 민감할 때 이 가정은 무너진다. 우리는 Japanese Financial Implicit-Commitment Recognition(JF-ICR)에서 이러한 측정 리스크를 연구한다(고정된 253개 항목 테스트 분할 × 4개 프론티어 LLM × 5개 루브릭 × 3개 temperature × 5개 서열 지표). 세 가지 결과가 뒤따른다. 첫째, 루브릭 문구는 모델이 부여한 라벨을 실질적으로 바꾼다: R2–R3 일치율은 70.0%에서 83.4%까지 범위를 보이며, 지배적인 변화는 +1/0 암묵적 커밋먼트(implicit-commitment) 경계 근처에서 나타난다. 이 패턴은 화용론적 경계 해석과 일치하지만, 현재 루브릭 변형이 의미, 예시, 장황함을 혼동하기 때문에 검증된 언어학적 인과 주장은 아니다. 둘째, JF-ICR 클래스 분포 하에서는 모든 지표가 계속해서 정보를 제공하는 것은 아니다. within-one accuracy는 근접 오답이 점수를 받고 다수 클래스가 지배하기 때문에 너무 쉽고, worst-class accuracy는 가장 희귀한 클래스에 예시가 단 2개뿐이라 너무 노이즈가 크다. 따라서 exact accuracy, macro-F1, weighted \k{appa}가 우리의 운영 규칙 하에서 식별 가능한(identifiable) 지표이다. 셋째, 순위 주장은 이러한 지표 식별 가능성 감사(audit) 이후에만 더 방어 가능해진다: Bradley–Terry, Borda, Ranked Pairs는 식별 가능한 지표 부분집합에서 일치하지만, 5개 지표 전체 스윕은 가장 근접한 쌍에서 불일치를 만든다. 본 기여는 새로운 리더보드가 아니라, 골드 라벨이 존재하지만 평가 기준은 여전히 거버넌스가 필요한 지도학습 금융 벤치마크를 위한 보고 절차(reporting discipline)이다.

arXiv:2603.24787v2cs.AI

ReLope: 다중모달 LLM 라우팅을 위한 KL 정규화 LoRA 프로브

ReLope: KL-Regularized LoRA Probes for Multimodal LLM Routing

라우팅은 가벼운 모델과 강력하지만 비용이 많이 드는 대형 모델을 결합하는 대규모 언어 모델(LLM) 시스템에서 성능과 비용의 균형을 맞추는 유망한 전략으로 떠오르고 있다. 최근 연구들은 은닉 상태(hidden states)를 이용해 소형 모델의 정답 여부를 예측하는 프로브 라우팅(probe routing)이 텍스트 전용 LLM에서 효과적인 해결책을 제공한다는 것을 보여준다. 그러나 우리는 이러한 프로브가 다중모달 LLM(MLLM)에 적용될 때 상당히 성능이 저하됨을 관찰한다. 경험적 분석을 통해, 시각 입력의 존재가 은닉 상태의 정답 신호 분리성을 약화시켜 표준 프로브 설계로는 추출하기 어렵게 만든다는 것을 발견한다. 이 문제에 대응하기 위해, 우리는 MLLM에서 프로브 라우팅을 개선하기 위한 두 가지 상보적인 접근법을 제안한다. 먼저, 어텐션 점수를 기반으로 이전 층의 은닉 상태를 집계하여 분산된 정답 신호를 복구하는 Attention Probe를 제안한다. 둘째, 경량 LoRA 어댑터를 삽입하고 KL 정규화(KL regularizer)를 적용하여 라우팅 인식(routing-aware) 표현을 학습하는 KL 정규화 LoRA 프로브(ReLope)를 제시한다. 종합적인 실험은 우리 방법이 일관되게 베이스라인을 능가함을 보여주며, 이는 은닉 상태의 품질 향상이 MLLM에서 효과적인 라우팅의 핵심임을 시사한다. 코드는 https://github.com/Spinozaaa/ReLope 에서 이용할 수 있다.

arXiv:2602.16727v2cs.AI

확장 가능한 LLM 기반 인간 이동 시뮬레이션을 위한 이동성 인식 캐시 프레임워크

Mobility-Aware Cache Framework for Scalable LLM-Based Human Mobility Simulation

대규모 인간 이동 시뮬레이션은 인구 이동 패턴을 이해하고 도시 계획, 유행병 대응, 교통 분석 등 실세계 지리공간 응용을 지원하는 데 근본적이다. 최근 연구들은 구조화된 추론을 사용하여 현실적인 이동 행동을 시뮬레이션하기 위해 대규모 언어 모델(LLM)을 인간 에이전트로 활용하지만, 높은 계산 비용이 확장성을 제한한다. 이에 우리는 재구성 가능한 캐시를 활용하여 효율적인 대규모 인간 이동 시뮬레이션을 가능하게 하는 이동성 인식 캐시 프레임워크 MobCache를 설계한다. MobCache는 (1) 각 추론 단계를 잠재 공간 임베딩으로 인코딩하고 잠재 공간 평가기를 사용하여 추론 단계의 재사용과 재결합을 가능하게 하는 추론 구성요소, (2) 이동 법칙 제약 지식 증류로 학습된 경량 디코더를 사용하여 잠재 공간 추론 연쇄를 자연어로 변환함으로써 충실도를 유지하면서 시뮬레이션 효율을 개선하는 디코딩 구성요소로 구성된다. 실험 결과 MobCache는 최신 LLM 기반 방법과 동등한 수준의 성능을 유지하면서 여러 차원에서 효율성을 크게 향상시킴을 보여준다.

arXiv:2602.06486v4cs.AI

JADE: 개방형 전문 과제를 위한 전문가 기반 동적 평가

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

개방형 전문 과제에서 에이전트형 AI를 평가할 때는 엄밀성과 유연성 사이의 근본적인 딜레마가 존재한다. 정적 루브릭은 엄밀하고 재현 가능한 평가를 제공하지만 다양한 유효한 응답 전략을 수용하지 못하는 반면, LLM-as-a-judge 접근법은 개별 응답에 적응하지만 불안정성과 바이어스에 취약하다. 인간 전문가는 도메인 기반 원칙과 동적이고 주장(claim) 수준의 평가를 결합하여 이 딜레마를 해결한다. 이 과정에서 영감을 받아, 우리는 이중 층 평가 프레임워크인 JADE를 제안한다. 1층은 전문가 지식을 사전 정의된 평가 스킬(evaluation skills) 집합으로 인코딩하여 안정적인 평가 기준을 제공한다. 2층은 보고서별 주장 수준 평가를 수행하여 다양한 추론 전략을 유연하게 평가하며, 반박된 주장에 기반한 결론을 무효화하는 증거 의존성 게이팅(evidence-dependency gating)을 적용한다. BizBench 실험에서 JADE는 평가 안정성을 개선하고, 통합적 LLM 기반 평가자가 놓치는 중요한 에이전트 실패 모드를 드러낸다. 또한 전문가가 작성한 루브릭과의 강한 정렬(alignment), 그리고 의료 및 10개 도메인 전문 평가 설정을 아우르는 HealthBench와 DR.BENCH로의 효과적인 전이(transfer)를 입증한다. 코드와 데이터는 https://github.com/smiling-world/JADE 에서 이용할 수 있다.